• 제목/요약/키워드: 데이터 일반화

검색결과 677건 처리시간 0.027초

공간적 상관관계가 존재하는 이산형 자료를 위한 일반화된 공간선형 모형 개관 (Review of Spatial Linear Mixed Models for Non-Gaussian Outcomes)

  • 박진철
    • 응용통계연구
    • /
    • 제28권2호
    • /
    • pp.353-360
    • /
    • 2015
  • 공간적으로 관측되는 연속형 자료를 분석하는 모형으로 공간적 상관관계를 고려한 다양한 정규모형이 지난 수십 년간 제안되었다. 그 중에서 공간효과를 랜덤효과로 모형화하는 공간선형모형(Spatial Linear Mixed Model; SLMM)이 가장 널리 활용되는 모형 중 하나일 것이다. 연결함수(link function)을 사용하면 SLMM을 비정규 데이터도 적용할 수 있는 일반화된 공간선형모형(Spatial Generalized Linear Mixed Model; SGLMM)으로 자연스럽게 확장할 수 있다. 이 논문에서는 가장 널리 활용되는 SGLMM을 알아보고 실제 데이터 적용사례를 R 패키지를 활용하여 제시하고자 한다.

CutMix 알고리즘 기반의 일반화된 밀 머리 검출 모델 (Generalized wheat head Detection Model Based on CutMix Algorithm)

  • 여주원;박원준
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
    • /
    • pp.73-75
    • /
    • 2024
  • 본 논문에서는 밀 수확량을 증가시키기 위한 일반화된 검출 모델을 제안한다. 일반화 성능을 높이기 위해 CutMix 알고리즘으로 데이터를 증식시켰고, 라벨링 되지 않은 데이터를 최대한 활용하기 위해 Fast R-CNN 기반 Pseudo labeling을 사용하였다. 학습의 정확성과 효율성을 높이기 위해 사전에 훈련된 EfficientDet 모델로 학습하였으며, OOF를 이용하여 검증하였다. 최신 객체 검출 모델과 IoU(Intersection over Union)를 이용한 성능 평가 결과, 제안된 모델이 가장 높은 성능을 보이는 것을 확인하였다.

  • PDF

트랜스포머의 일반화 성능에 영향을 주는 로스 랜드스케이프 연구 (A Study on Loss Landscape Affecting the Performance Generalization of Transformer)

  • 최민기;이소은;허종욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.517-519
    • /
    • 2022
  • 뉴럴 네트워크는 학습에 사용하는 파라미터를 문제에 맞게 최적화하여 일반화 성능을 향상시키는 것이 목적이다. 선행 연구들은 다차원의 로스 랜드스케이프(loss landscape)를 시각화하는 방법을 탐구하며, 모델의 일반화 측면에서 어떤 영향을 주는지 탐구한다. 하지만 아직까지 로스 랜드스케이프가 근본적으로 일반화 성능에 어떠한 영향을 주는지 잘 알려져 있지 않으며, 평평하거나 경사진 로스 랜드스케이프 중 어떤 형태가 일반화 성능에 더 효과적인지 여러 의견이 나뉜다. 따라서 우리는 로스 랜드스케이프가 일반화 성능과 연관 있음을 실험을 통해 파악한다. 나아가 비전문제에서 MSA(multi-head self-attention) 레이어를 기반으로 구성된 트랜스포머 구조를 사용해 작은 유도 편향(inductive bias)을 가지며 소규모 데이터 셋 체제에서의 단점을 보완한다. 결론적으로 평평한 로스 랜드스케이프가 일반화 성능에 긍정적인 영향을 끼친다는 것을 관찰한다.

소축적 지도제작을 위한 데이터 감축 기법에 관한 연구 (A Study on the Data Reduction Techniques for Small Scale Map Production)

  • 곽강율;이호남;김명배
    • 한국측량학회지
    • /
    • 제13권1호
    • /
    • pp.77-83
    • /
    • 1995
  • 수치지도 제작의 일반화 기법은 대축척 실측 지도를 이용한 소축척 편집 지도의 자동 제작과 수치 지도 데이터 베이스 구축 등의 활용 분야에 필수적 요소이다. 본 연구는 수작업으로 처리되고 있는 편집도의 제작을 자동화하기 위한 방안으로 디지탈 환경하에서의 일반화 기법에 대한 연구로서 Zero-Crossing알고리즘을 국립지리원 발행 l/5,000지도 6도엽에 포함되어 있는 전남 여수 일대의 해안선에 적용, 다양한 단순화 허용 범위에 의해 수치 지도를 제작하여 편집도와 도해적인 표현 방법에 대한 문제점을 비교 분석하였다. 또한, Zero-Crossing알고리즘에 의한 단순화의 효용성을 입증하기 위해 Douglas-Peucker알고리즘을 이용한 단순화 결과와 비교 분석을 하였으며, 단순화의 허용 범위별로 일반화가 이루어진 수치 지도와 수작업으로 제작된 편집도와의 비교를 통해 일반화된 Line에 대한 평가를 도출하고, 단순화 허용 범위의 선택에 따른 효율성을 판단하기 위해 일반화 처리 결과의 데이타 용량을 분석하였다.

  • PDF

일반화된 연관규칙 발견을 위한 Level-based Data Mining 시스템 (Level-based Data Mining System for Generalized Association Rules)

  • 김온실;박승수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.43-45
    • /
    • 2001
  • 데이터로부터 숨겨진 패턴을 추출하는 데이터마이닝 기법 중에서 연관규칙은 대용량의 데이터베이스에서 단위 트랜잭션 당 동시에 발생할 확률이 높은 항목들의 유형을 발견하는 기법이다. 연관규칙 탐사에서 개념계층(taxonomy)을 사용하여 보다 포괄적인 의미를 갖는 규칙을 찾아내는 연구가 일반화된 연관규칙이며 이를 통해 일반화 이전에는 간과될 수 있는 중요한 규칙을 발견할 수 있다. 일반화된 연관규칙에 관한 기존의 접근방법은 후보항목집합의 각 항목에 대한 개념계층상의 모든 조상들을 트랜잭션에 추가한 후 확장된 트랜잭션에 대해 지지도를 계산하는 방법이며. 이렇게 되면 연관규칙의 단점중의 하나인 계산량 문제가 더욱 두드러지게 된다. 이에 본 연구에서는 모든 개념계층 레벨이 아닌, 사용자가 관심 있는 레벨로 제한된 환경에서 연관규칙 탐사를 수행하여 규칙생성의 복잡도를 줄이는 시스템을 구현하였다. 그러나 모든 항목을 한 레벨로 일반화하는데는 무리가 따르기 때문에 관심있는 항목의 경우 일반화 레벨을 따로 명시할 수 있도록 하여 사용자가 원하는 규칙을 발견하도록 하였다.

  • PDF

일반화 기반 분류기법을 이용한 산불예측시스템 설계 및 구현 (Design and Implementation of Forest Fire Prediction System using Generalization-based Classification Method)

  • 김상호;김대진;류근호
    • 한국지리정보학회지
    • /
    • 제6권1호
    • /
    • pp.12-23
    • /
    • 2003
  • 정보산업의 급속한 발전은 축적되어 있는 대규모의 데이터로부터 보다 가치 있는 정보 생성 및 정확한 데이터 분석 능력을 요구하고 있다. 특히 데이터마이닝 기법을 이용하여 주어진 데이터간의 연관관계를 도출하고, 얻어진 패턴을 바탕으로 미래를 예측하는 방법은 주목을 받고 있다. 이 연구에서는 속성중심 귀납방법과 분류규칙을 통합한 일반화 기반의 분류기법을 제안하였고, 간결한 모델의 구축 및 규칙 추출을 수행하였다. 또한 일반화 기반 분류 예측시스템에 산불데이터를 적용하여, 기상 데이터와 산불발생 사이의 관련성을 분석하고 효율적인 예측을 수행하였다. 이 연구에서 제시한 기법은 반복적으로 발생하는 자연재해에 대한 분석 및 예측, 에너지의 수요량 예측등과 같이 실생활의 중요한 부분들에 다양하게 응용할 수 있다.

  • PDF

SCADA 시스템에서 XML 기반의 데이터 매핑 방법론 연구 (A study on XML based methodology of data mapping for SCADA System)

  • 주승환;이재경;박준영;이준신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.711-713
    • /
    • 2013
  • 본 연구의 목적은 SCADA 시스템을 이용하여 전력, 발전설비, 송유시설, 가스처리, 도로교통, 폐수처리 등 사회인프라 구조물에 대한 능동적 재난관리 및 방지 방법론을 개발하는 것이다. SCADA 시스템은 원격으로 제어기능을 수행하고, 운영 성능 분석 및 보고하기 위한 컴퓨팅 시스템이다. 여러 제작사의 이기종 설비 시스템들을 단일 SCADA 시스템에서 관리하기 위해서는 이기종간의 데이터 호환과 정보 수집의 일반화가 필요하며, 본 연구에서는 이를 XML 기반의 데이터 통신을 통해 해결하고자 하였다. 본 연구에서는 해상풍력발전 설비의 이기종간 데이터 일반화를 목표로 하였고, 나아가 발전 설비 외에도 이기종 단말의 데이터 동기화가 필요한 경우에 XML을 이용한 이기종 단말의 데이터 수집 방법론을 활용할 수 있을 것이다.

동적 데이터를 위한 프라이버시 보호 기법 (Privacy Preserving Data Publication of Dynamic Datasets)

  • 이주창;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.254-257
    • /
    • 2007
  • 정보기술의 발달로 정보를 수집, 관리, 공유하기가 용이해 짐에 따라 여러 조직이나 기관에서는 개인정보를 수집해 관리하고 있다. 수집한 개인정보를 통계나 연구 등을 목적으로 배포할 때 개인의 프라이버시를 보호하기 위해 k-anonymity 와 l-diversity 원리가 제안되었고 이를 기반으로 하는 프라이버시 보호 기법들이 제안되었다. 그러나 기존 방법들은 정적인 데이터를 단 한번 배포하는 것을 가정하기 때문에 지속적으로 데이터에 삽입이나 삭제가 발생하는 동적 데이터 환경에 그대로 적용하기 적합하지 않다. 본 논문에서는 동적 데이터 환경에서 l-diversity 을 유지하면서 데이터 삽입과 삭제를 효율적으로 처리할 수 있는 기법을 제안한다. 제안 기법은 일반화를 사용하지 않기 때문에 일반화에서 발생하는 정보의 손실이 발생하지 않고 삽입과 삭제의 처리가 간단한 것이 특징이다.

네트웍 앙상블을 위한 관찰 학습 알고리즘 (Observational Learning Algorithm for Network Ensemble)

  • 장민;조성준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
    • /
    • pp.336-338
    • /
    • 1999
  • 본 논문에서는 사회 학습의 이론의 하나인 관찰 학습 이론에 기반한 네트웍 앙상블을 위한 관찰 학습 알고리즘을 제안한다. 하나의 네트웍이 학습할 대 함께 학습되는 다른 네트웍들을 이용하여 가상 데이터를 생성하여 학습에 이용하므로써 데이터가 부족한 경우 네트웍이 과학습 되는 것을 방지고 각 네트웍의 일반화 성능을 향상시키는 동시에 앙상블의 성능도 향상시킨다. 제안된 방법을 사인 함수의 근사 문제와 중첩된 두 정규 분포의 분류 문제에 적용하고 단일 네트웍, 네트웍 위원회, Bagging 알고리즘과 비교하여 제안된 방법의 일반화 성능의 우수성을 보였다.

  • PDF

복합표본조사 데이터 분석을 위한 회귀모형 접근법의 비교: 소규모사업체조사 데이터 분석을 중심으로 (Comparison of Regression Model Approaches fined to Complex Survey Data)

  • 이기재
    • 한국조사연구학회지:조사연구
    • /
    • 제2권1호
    • /
    • pp.73-86
    • /
    • 2001
  • 본 논문은 복합표본조사 분석에서 회귀모형 접근법으로 사용되는 모형 기반 접근법, 설계 기반 접근법과 일반화 추정 방정식 접근법을 설명하고, 이들을 실증적으로 비교한 것이다. 또한 설계 기반 접근법과 일반화 추정 방정식 접근법에 대해서 설계효과와 가중치 효과 분석을 통해서 표본 설계가 모수 추정에 미치는 영향을 살펴보았다.

  • PDF