• 제목/요약/키워드: 데이터 기반 모델

검색결과 6,375건 처리시간 0.046초

데이터 불균형 기법의 부작용 완화를 위한 어텐션 기반 앙상블 (Attention-Based Ensemble for Mitigating Side Effects of Data Imbalance Method)

  • 박요한;최용석;;이공주
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.546-551
    • /
    • 2023
  • 일반적으로 딥러닝 모델은 모든 라벨에 데이터 수가 균형을 이룰 때 가장 좋은 성능을 보인다. 그러나 현실에서는 특정라벨에 대한 데이터가 부족한 경우가 많으며 이로 인해 불균형 데이터 문제가 발생한다. 이에 대한 해결책으로 오버샘플링과 가중치 손실과 같은 데이터 불균형 기법이 연구되었지만 이러한 기법들은 데이터가 적은 라벨의 성능을 개선하는 동시에 데이터가 많은 라벨의 성능을 저하시키는 부작용을 가지고 있다. 본 논문에서는 이 문제를 완화시키고자 어텐션 기반의 앙상블 기법을 제안한다. 어텐션 기반의 앙상블은 데이터 불균형 기법을 적용한 모델과 적용하지 않은 모델의 출력 값을 가중 평균하여 최종 예측을 수행한다. 이때 가중치는 어텐션 메커니즘을 통해 동적으로 조절된다. 그로므로 어텐션 기반의 앙상블 모델은 입력 데이터 특성에 따라 가중치를 조절할 수가 있다. 실험은 에세이 자동 평가 데이터를 대상으로 수행하였다. 실험 결과로는 제안한 모델이 데이터 불균형 기법의 부작용을 완화하고 성능이 개선되었다.

  • PDF

영화 메타데이터의 증가에 따른 콘텐츠 기반 추천 시스템 성능 향상 (Performance Improvement of a Contents-based Recommendation System by Increasing Movie Metadata)

  • 서진경;최다정;백주련
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.23-26
    • /
    • 2022
  • OTT 서비스의 이용자가 폭발적으로 증가하고 있는 지금, 사용자에게 맞춤형 상품을 추천하는 것은 해당 서비스에서 중요한 사안이다. 본 논문에서는 콘텐츠 기반 추천 시스템의 모델을 제안하고, 영화 데이터를 추가 해가며 예측력을 높일 최종적인 모델을 채택하고자 한다. 이를 위해 GroupLens와 Kaggle에서 영화 데이터를 수집하고 총 1111개의 영화, 943명의 사용자에게서 나온 71026개의 영화 평가 데이터를 이용하였다. 모델 평가 결과, 장르와 키워드만을 이용한 추천 시스템 모델의 RMSE는 1.3076, 단계적으로 데이터를 추가해 최종적으로 장르, 키워드, 배우, 감독, 나라, 제작사를 이용한 추천 시스템 모델의 RMSE는 1.1870으로 모든 데이터를 추가한 모델의 예측력이 더 높았다. 이에 따라 장르, 키워드, 배우, 감독, 나라, 제작사를 이용해 구현한 모델을 최종적인 모델로 채택, 무작위로 추출한 한 명의 사용자에 대한 영화 추천 리스트를 뽑아낸다.

  • PDF

서로 다른 시계열 데이터들간 통합 활용을 고려한 해시 함수 기반 학습 모델 관리 플랫폼 (Learning model management platform based on hash function considering for integration from different timeseries data)

  • 유미선;문재원
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.45-48
    • /
    • 2022
  • IoT 기술의 발전 및 확산으로 다양한 도메인에서 서로 다른 특성의 시계열 데이터가 수집되고 있다. 이에 따라 단일 목적으로 수집된 시계열 데이터만 아니라, 다른 목적으로 수집된 시계열 데이터들 또한 통합하여 분석활용하려는 수요 또한 높아지고 있다. 본 논문은 파편화된 시계열 데이터들을 선택하여 통합한 후 딥러닝 모델을 생성하고 활용할 수 있는 해시함수 기반 학습 모델 관리 플랫폼을 설계하고 구현하였다. 특정되지 않은 데이터들을 기반하여 모델을 학습하고 활용할 경우 생성 모델이 개별적으로 어떤 데이터로 어떻게 생성되었는지 기술되어야 향후 활용에 용이하다. 특히 시계열 데이터의 경우 학습 데이터의 시간 정보에 의존적일 수밖에 없으므로 해당 정보의 관리도 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 해시 함수를 이용해서 생성된 모델을 계층적으로 저장하여 원하는 모델을 쉽게 검색하고 활용할 수 있도록 하였다.

  • PDF

인공신경망 모델을 이용한 지천유입이 있는 대하천의 수질예측 (Prediction of Water Quality in Large Rivers with Tributary Input using Artificial Neural Network Model)

  • 서일원;윤세훈;정성현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.45-45
    • /
    • 2018
  • 오염물의 혼합거동을 해석하기 위해 물리기반 모델을 이용하는 경우 모델을 구축하고 운용하는데 많은 시간과 재정이 소요되며 현장검증을 통한 검증이 반드시 필요하다. 하지만 데이터 기반 모델의 경우 축적된 데이터만으로도 예측을 수행할 수 있으며 물리기반모델에 비해 결정해야할 입력인자가 적어 모델운용이 용이하다는 장점이 있다. 다양한 데이터 모델 중 인공신경망(ANN) 모델은 데이터가 가지는 불확실성 및 비정상성, 복잡한 상호관련성에 효과적으로 대응할 수 있는 모델로 수자원 및 환경 분야에서 자주 사용되고 있다. 본 연구에서는 인공신경망 모델을 이용하여 지천유입이 있는 대하천의 수질인자 (pH, 전기전도도, DO, chl-a)를 예측하였다. 다른 데이터기반 모델과 같이 인공신경망 모델 또한 수집된 데이터 질에 크게 영향을 받으며, 내부 입력인자의 선택이 모델의 예측 결과에 큰 영향을 미친다. 이러한 인공신경망 모델의 특성을 바탕으로 예측모형의 정확도를 향상하기 위해서는 크게 데이터 처리부분과 모델구축 부분에서의 접근이 필요하다. 본 연구에서는 데이터 처리 과정에서 연구대상지점의 각각의 수질인자가 가지는 분포 특성을 유지하기 위해 층화표츨추출법을 이용하여 데이터를 구성하였다. 모델의 구축 과정에서는 초기가중치 값의 영향을 줄이기 위해 앙상블기법을 사용하였으며, 좀 더 견고하고 정확한 결과를 예측하기 위해 탄력적 역전파알고리즘을 추가하였다. 추가적으로 합류 후 본류의 미 계측지역 수질 예측 정확도 향상을 위해 본류의 수질인자뿐만 아니라 지류의 수질인자를 입력자료로 사용하여 모의를 수행하였다. 또한 동일 구간에서 수행한 현장추적자실험 자료를 이용하여 수질인자의 분포특성을 비교, 검증하였다. 개발된 모델을 이용하여 낙동강과 금호강 합류부 하류의 수질인자를 예측한 결과 지류의 수질인자를 입력자료로 추가한 경우 예측의 정확도가 증가하였으며, 현장실험 자료를 통해 밝혀진 오염물의 거동현상을 인공신경망 모델로도 동일하게 재현하는 것으로 나타났다. 본 연구에서 제안한 인공신경모델을 이용한다면 물리기반 수치모델을 대체하여 지천으로 유입된 오염물의 거동을 정확하고 효율적으로 파악할 수 있을 것이다.

  • PDF

사전 기반 자질과 동적 마스킹을 이용한 ELECTRA 기반 개체명 인식 (Named Entity Recognition based on ELECTRA with Dictionary Features and Dynamic Masking)

  • 김정욱;황태선;김봉수;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.509-513
    • /
    • 2021
  • 개체명 인식이란, 문장에서 인명, 지명, 기관명, 날짜, 시간 등의 고유한 의미의 단어를 찾아서 미리 정의된 레이블로 부착하는 것이다. 일부 단어는 문맥에 따라서 인명 혹은 기관 등 다양한 개체명을 가질 수 있다. 이로 인해, 개체명에 대한 중의성을 가지고 있는 단어는 개체명 인식 성능에 영향을 준다. 본 논문에서는 개체명에 대한 중의성을 최소화하기 위해 사전을 구축하여 ELECTRA 기반 모델에 적용하는 학습 방법을 제안한다. 또한, 개체명 인식 데이터의 일반화를 개선시키기 위해 동적 마스킹을 이용한 데이터 증강 기법을 적용하여 실험하였다. 실험 결과, 사전 기반 모델에서 92.81 %로 성능을 보였고 데이터 증강 기법을 적용한 모델은 93.17 %로 높은 성능을 보였다. 사전 기반 모델에서 추가적으로 데이터 증강 기법을 적용한 모델은 92.97 %의 성능을 보였다.

  • PDF

랜덤포레스트기법을 이용한 분변성대장균 예측모델 개발 (Development of fecal coliform prediction model using random forest method)

  • 서일원;최수연
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2016년도 학술발표회
    • /
    • pp.124-124
    • /
    • 2016
  • 하천에서의 분변성대장균은 분변성 오염 정도를 나타내는 지표로서, 이 농도가 높을수록 오염된 하천수와의 접촉을 통한 호흡기, 소화기 및 피부 관련 질병의 발발 확률이 높다고 알려져 있다. 따라서 하천에서의 수영, 수상스키 등과 같은 입수형 친수활동을 할 때, 분변성대장균 농도가 농도 기준 이하인지를 확인하고 이러한 정보를 친수활동에 이용할 필요가 있다. 그러나 분변성대장균의 경우, 현재 자동수질측정망에서 측정되고 있는 다른 수질인자들과는 달리 실시간 측정이 불가능하다고 알려져 있다. 분변성대장균을 측정하는데 있어 최소 18시간 이상이 필요하며, 이러한 분변성대장균 측정 방식은 하천 이용자들이 안전한 친수활동을 영위하는데 있어 적절한 수질 정보를 제공하지 못한다. 그러므로 분변성대장균을 예측하는 모델을 개발하고, 이를 이용하여 실시간 분변성대장균 정보를 생성하여 하천 이용자들에게 제공할 필요가 있다. 본 연구에서는 친수활동이 활발하게 이루어지는 곳 중 하나인 북한강의 대성리 지점에 대해 데이터 기반 모델을 이용하여 분변성대장균을 예측하였다. 데이터 기반 모델은 물리 기반 모델에서 필요한 지형데이터나 비점오염원 등의 초기 오염물의 양에 대한 데이터를 필요로 하지 않고, 대신 독립변수로 사용되는 기상 및 수질데이터를 필요로 한다. 이러한 기상 및 수질데이터는 기존 기상관측소, 수질관측소에서 매일 자동으로 측정되기 때문에 데이터 기반 모델은 물리 기반 모델에 비해 입력데이터를 구성하기가 쉽다는 장점을 지닌다. 이러한 데이터 기반 모델 중 분류 모델은 회귀 모델과 달리 분변성대장균 농도가 일정 수질기준 이상을 넘는지를 바로 예측할 수 있다. 본 연구에서는 분류 모델 중 높은 예측력을 가진다고 알려진 랜덤포레스트(random forest) 기법을 이용하여 분변성대장균 예측 모델을 개발하였다. 분변성대장균 예측 모델은 주어진 기상 및 수질 조건에 대해 분변성대장균이 200 CFU/100ml가 넘는지를 예측하였다. 예측된 분변성대장균이 기준을 넘는 경우를 2등급, 넘지 않는 경우를 1등급으로 명명하였다. 모델을 개발하기 위하여 북한강 대성리 인근 측정소에서 2010년부터 2015년까지 측정된 기상 및 수질데이터를 수집하였다. 수집한 데이터를 훈련 및 검증데이터로 샘플링하였으며, 이 때 샘플링한 데이터가 기존 데이터가 가지고 있던 등급별 비율을 유지하기 위하여 층화샘플링을 하였다. 본 연구에서는 샘플링에 의한 불확실성을 줄이기 위하여 랜덤하게 50번 샘플링된 각각의 훈련데이터에 대해 모델을 개발하였다. 50개의 모델의 검증 결과를 종합한 결과, 전체 예측률은 0.139로 나타났다.

  • PDF

토지 보상비 추정 모델 개발 - 건설CALS데이터와 공공데이터 중심으로 (Development of Land Compensation Cost Estimation Model : The Use of the Construction CALS Data and Linked Open Data)

  • 이상규;김진욱;서명배
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.375-378
    • /
    • 2020
  • 본 연구는 토지 보상비의 추정 모델 개발을 위해서 건설 CALS (Continuous Acquisition & Life-cycle Support) 시스템의 내부데이터와 개별공시지가 및 표준지 공시지가 등의 외부데이터, 그리고 개발된 추정 모델의 고도화를 위한 개별공시가 데이터를 기반으로 생성된 데이터를 활용하였다. 이렇게 수집된 3가지 유형의 데이터를 분석하기 위해서 기존 선형 모델 또는 의사결정나무 (Tree) 기반의 모델상 과적합 오류를 제거할 경우 매우 유용한 알고리즘으로 Decision Tree 기반의 Xgboost 알고리즘을 데이터 분석 방법론으로 토지 보상비 추정 모델 개발에 활용하였다. Xgboost 알고리즘의 고도화를 위해 하이퍼파라미터 튜닝을 적용한 결과, 실제 보상비와 개발된 보상비 추정 모델의 MAPE(Mean Absolute Percentage Error) 범위는 19.5%로 확인하였다.

  • PDF

대출 상환 예측을 위한 의사결정나무모델과 TabNet 간 성능 비교 (Performance comparison between Decision tree model and TabNet for loan repayment prediction)

  • 한수진 ;김현철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.453-455
    • /
    • 2023
  • 본 연구는 은행에서 리스크 관리 자동화를 위해 고객의 대출 상환 여부 예측 모델을 제안하고자 한다. 예측 모델로 금융 데이터 같은 정형데이터에서 전통적으로 높은 성능을 보인 의사결정나무기반 모델 LightGBM, CatBoost, XGB 와 최근 제안된 정형데이터에서 사용할 수 있는 설명 가능한 딥러닝 기반 모델 TabNet 간의 성능 비교를 진행한다. 다만, 대출 상환 여부 데이터는 불균형 클래스 데이터로 구성되어있어 샘플링을 진행한다. SMOTE, Random Under Sampling, 혼합 방식을 비교해 가장 높은 성능의 샘플링 기법을 제안한다. 대출 상환 여부 예측 결과 TabNet 모델이 의사결정나무모델들보다 좋은 성능을 보여 정형데이터에서 의사결정나무 기반 모델을 딥러닝 모델이 대체 할 수 있는 가능성을 확인했다.

위치기반서비스를 위한 공간데이터 모델 표준화 연구 (A Study on Spatial Data Model Standardization for Location Based Service)

  • 이낙훈;김원태;안병익;문재형;시종익
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2002년도 춘계학술대회 논문집
    • /
    • pp.83-88
    • /
    • 2002
  • 최근 들어 무선인터넷 및 모바일 컴퓨팅 기술의 급속한 발전과 함께 향후 그 수요가 증대될 것으로 예상되는 분야가 위치기반 서비스(LBS: Location Based Service) 기술이다. 위치기반 서비스는 이동 통신을 통하여 사람 및 사물의 위치를 파악하고 이를 활용한 부가 응용 서비스로 국가 정보기술 인프라의 주요 영역을 점유하고 있는 GIS의 차세대 핵심 기술로 발전이 예상되는 분야이다[3][4]. 현재 3GPP나 3GPP2, OGC, LIF와 같은 여러 표준화 기구 및 산업체에서 위치기반 서비스와 이를 위한 시스템에 대한 연구가 진행중이며 위치기반 서비스를 위한 데이터 모델 표준화 연구는 거의 이루어지지 않고 있는 상황이다. 위치기반 서비스를 위한 데이터 표준화 모델은 이미 구축된 공간 데이터베이스의 재사용과 위치기반 서비스들간의 상호 운용성을 지원할 수 있어야 한다. 본 연구에서는 위치기반 서비스들 간의 상호 호환 및 통합을 가능하게 하고, 기존 공간데이터베이스와 연계하여 이 데이터를 위치기반 서비스에 활용하기 위한 공간 데이터 표준화 모델을 제안하고자 한다. 이를 위해 위치기반 서비스 표준화 사례를 조사하고, 위치기반 서비스를 위한 공간 데이터 모델을 제시하였다. 본 연구에서는 OpenLS의 위치기반 서비스를 기본서비스로 하고, OpenGIS의 공간 데이터 모델을 기반으로 네 가지 기본 위치 데이터 타입과 모델의 요구 사항을 포함하는 공간 데이터 표준모델을 개발하였다. 위치기반 공간 데이터 표준 모델은 위치기반 서비스와 데이터들과의 연계를 쉽게 하고, 위치기반 서비스들 간의 상호 운용성을 높이며, 기존 사용자 시스템의 수정 없이 인터페이스만을 추가함으로써 표준을 수용할 수 있다.\pm}153.2,\;116.1{\pm}94,\;29.4{\pm}30.3,\;45.1{\pm}44$로 Mel 10군과 Mel 30군이 유의적인 감소를 보였으나(p<0.05) 이들 두 군 간의 차이는 나타나지 않았다. 이상의 결과로, 랫트에서 복강수술 후 melatonin 10mg/kg투여가 복강 내 유착 방지에 효과적이라고 생각된다.-1}{\cdot}yr^{-1}$로서 두 생태계에 축적되었다.여한 3,5,7군에서 PUFA 함량이 증가한 반면, SFA 함량은 감소하여 P/S 비율, n-3P/n-6P 비율은 증가하는 경향이었으며 이는 간장의 인지질, 콜레스테롤 에스테르, 총 지질의 지방산조성에서도 같은 경향을 볼 수 있었다.X>$(C_{18:2})$와 n-3계 linolenic acid$(C_{18:3})$가 대부분을 차지하였다. 야생 돌복숭아 과육 중의 지방산 조성은 포화지방산이 16.74%, 단불포화지방산 17.51% 및 다불포화지방산이 65.73%의 함유 비율을 보였는데, 이 중 다불포화지방산인 n-6계 linoleic acid$(C_{18:2})$와 n-3계 linolenic acid$(C_{18:3})$가 지질 구성 총 지방산의 대부분을 차지하는 함유 비율을 나타내었다.했다. 하강하는 약 4일간의 기상변화가 자발성 기흉 발생에 영향을 미친다고 추론할 수 있었다. 향후 본 연구에서 추론된 기상변화와 기흉 발생과의 인과관계를 확인하고 좀 더 구체화하기 위한 연구가 필요할 것이다.게 이루어질 수 있을 것으로 기대된다.는 초과수익률이 상승하지만, 이후로는 감소하므로, 반전거래전략을 활용하는 경우 주식투자기간은 24개월

  • PDF

노이즈 데이터 정제를 통한 분류모델 성능 향상 (Enhancing Classification Model Performance through Noise Data Refinement)

  • 정운국;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.559-562
    • /
    • 2024
  • 자연어 기반의 분류모델을 개발할 때 높은 성능을 획득하기 위해서는 데이터의 품질이 중요한 요소이다. 특히 무역상품 국제 분류체계 HS-CODE에서 상품명을 기반으로 HS코드를 분류할 때, 라벨링 된 데이터의 품질에 의해서 분류모델의 성능이 좌우된다. 하지만 현실적으로 확보 가능한 데이터셋에는 데이터 라벨링 오류나 데이터로 활용하기에 특징점이 부족한 데이터들이 다수 존재하기도 한다. 본 연구에서는 분류모델 학습 데이터의 정제 방법론으로, 딥러닝 기반 노이즈 검출 알고리즘을 제안한다. 분류 대상의 특징점이 분류 경계값 주변에 존재한다면 분류하기 모호한 노이즈 데이터일 가능성이 높다고 가정하고, 해당 노이즈 데이터를 검출하는 방법으로 딥러닝 기술을 활용한다. 해당 경계값 노이즈 검출 알고리즘으로 데이터를 정제한 뒤 학습모델의 성능비교 결과, 기존 대비 우수한 분류 정확도를 기록하였다.