• 제목/요약/키워드: bayesian analysis

검색결과 975건 처리시간 0.021초

다중 레이블 분류의 정확도 향상을 위한 스킵 연결 오토인코더 기반 레이블 임베딩 방법론 (Label Embedding for Improving Classification Accuracy UsingAutoEncoderwithSkip-Connections)

  • 김무성;김남규
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.175-197
    • /
    • 2021
  • 최근 딥 러닝 기술의 발전으로 뉴스, 블로그 등 다양한 문서에 포함된 텍스트 분석에 딥 러닝 기술을 활용하는 연구가 활발하게 수행되고 있다. 다양한 텍스트 분석 응용 가운데, 텍스트 분류는 학계와 업계에서 가장 많이 활용되는 대표적인 기술이다. 텍스트 분류의 활용 예로는 정답 레이블이 하나만 존재하는 이진 클래스 분류와 다중 클래스 분류, 그리고 정답 레이블이 여러 개 존재하는 다중 레이블 분류 등이 있다. 특히, 다중 레이블 분류는 여러 개의 정답 레이블이 존재한다는 특성 때문에 일반적인 분류와는 상이한 학습 방법이 요구된다. 또한, 다중 레이블 분류 문제는 레이블과 클래스의 개수가 증가할수록 예측의 난이도가 상승한다는 측면에서 데이터 과학 분야의 난제로 여겨지고 있다. 따라서 이를 해결하기 위해 다수의 레이블을 압축한 후 압축된 레이블을 예측하고, 예측된 압축 레이블을 원래 레이블로 복원하는 레이블 임베딩이 많이 활용되고 있다. 대표적으로 딥 러닝 모델인 오토인코더 기반 레이블 임베딩이 이러한 목적으로 사용되고 있지만, 이러한 기법은 클래스의 수가 무수히 많은 고차원 레이블 공간을 저차원 잠재 레이블 공간으로 압축할 때 많은 정보 손실을 야기한다는 한계가 있다. 이에 본 연구에서는 오토인코더의 인코더와 디코더 각각에 스킵 연결을 추가하여, 고차원 레이블 공간의 압축 과정에서 정보 손실을 최소화할 수 있는 레이블 임베딩 방법을 제안한다. 또한 학술연구정보서비스인 'RISS'에서 수집한 학술논문 4,675건에 대해 각 논문의 초록으로부터 해당 논문의 다중 키워드를 예측하는 실험을 수행한 결과, 제안 방법론이 기존의 일반 오토인코더 기반 레이블 임베딩 기법에 비해 정확도, 정밀도, 재현율, 그리고 F1 점수 등 모든 측면에서 우수한 성능을 나타냄을 확인하였다.

텍스트 마이닝을 활용한 신문사에 따른 내용 및 논조 차이점 분석 (A Study on Differences of Contents and Tones of Arguments among Newspapers Using Text Mining Analysis)

  • 감미아;송민
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.53-77
    • /
    • 2012
  • 본 연구는 경향신문, 한겨레, 동아일보 세 개의 신문기사가 가지고 있는 내용 및 논조에 어떠한 차이가 있는지를 객관적인 데이터를 통해 제시하고자 시행되었다. 본 연구는 텍스트 마이닝 기법을 활용하여 신문기사의 키워드 단순빈도 분석과 Clustering, Classification 결과를 분석하여 제시하였으며, 경제, 문화 국제, 사회, 정치 및 사설 분야에서의 신문사 간 차이점을 분석하고자 하였다. 신문기사의 문단을 분석단위로 하여 각 신문사의 특성을 파악하였고, 키워드 네트워크로 키워드들 간의 관계를 시각화하여 신문사별 특성을 객관적으로 볼 수 있도록 제시하였다. 신문기사의 수집은 신문기사 데이터베이스 시스템인 KINDS에서 2008년부터 2012년까지 해당 주제로 주제어 검색을 하여 총 3,026개의 수집을 하였다. 수집된 신문기사들은 불용어 제거와 형태소 분석을 위해 Java로 구현된 Lucene Korean 모듈을 이용하여 자연어 처리를 하였다. 신문기사의 내용 및 논조를 파악하기 위해 경향신문, 한겨레, 동아일보가 정해진 기간 내에 일어난 특정 사건에 대해 언급하는 단어의 빈도 상위 10위를 제시하여 분석하였고, 키워드들 간 코사인 유사도를 분석하여 네트워크 지도를 만들었으며 단어들의 네트워크를 통해 Clustering 결과를 분석하였다. 신문사들마다의 논조를 확인하기 위해 Supervised Learning 기법을 활용하여 각각의 논조에 대해 분류하였으며, 마지막으로는 분류 성능 평가를 위해 정확률과 재현률, F-value를 측정하여 제시하였다. 본 연구를 통해 문화 전반, 경제 전반, 정치분야의 통합진보당 이슈에 대한 신문기사들에 전반적인 내용과 논조에 차이를 보이고 있음을 알 수 있었고, 사회분야의 4대강 사업에 대한 긍정-부정 논조에 차이가 있음을 발견할 수 있었다. 본 연구는 지금까지 연구되어왔던 한글 신문기사의 코딩 및 담화분석 방법에서 벗어나, 텍스트 마이닝 기법을 활용하여 다량의 데이터를 분석하였음에 의미가 있다. 향후 지속적인 연구를 통해 분류 성능을 보다 높인다면, 사람들이 뉴스를 접할 때 그 뉴스의 특정 논조 성향에 대해 우선적으로 파악하여 객관성을 유지한 채 정보에 접근할 수 있도록 도와주는 신뢰성 있는 툴을 만들 수 있을 것이라 기대한다.

동적 $H_2^{15}O$ PET에서 앙상블 독립성분분석법을 이용한 심근 혈류 정량화 방법 개발 (Development of Quantification Methods for the Myocardial Blood Flow Using Ensemble Independent Component Analysis for Dynamic $H_2^{15}O$ PET)

  • 이병일;이재성;이동수;강원준;이종진;김수진;최승진;정준기;이명철
    • 대한핵의학회지
    • /
    • 제38권6호
    • /
    • pp.486-491
    • /
    • 2004
  • 목적: 요소분석법. 독립성분분석법 등이 PET을 이용하여 심근혈류를 비침습적으로 측정하기 위하여 사용되어 왔다. 이론적으로 뛰어나고 새로운 방법인 앙상블 독려성분분석법을 이용하여 $H_2^{15}O$ 동적 심근 PET데이터의 정량분석방법을 개발하였다. 이 연구에서 사용한 앙상블 독려성분분석법을 이용하여 환자의 혈류를 정량화 하였다. 대상 및 방법: 관동맥질환이 의심되어 관류 SPECT를 시행한 환자 20명을 대상으로 $H_2^{15}O$ 동적 심근 PET을 시행한 후 앙상블 독립성분분석법을 이용하여 심근 독립성분영상을 추출하였으며, 좌심실영역과 심근영역에 대한 영상대조도를 조사하였다. 앙상블 학습은 독립성분과 가중치 행렬에 대한 확률분포를 가정하고 베이지안 이론에 의해서 혼합자료에 대한 확률분포를 추정한다. 이렇게 추정한 혼합자료의 확률분포와 실제 분포간의 차이인 Kullback-Leibler 발산치가 최소가 되도록 독립성분과 가중치 행렬을 순차적으로 변화시켜가며 최종 해를 찾는 방식이다. 이 연구에서 사후확률분포는 동적 핵의학 영상에 적합한 비음성제약조건과 함께 수정된 가우시안 분포를 이용하여 최적화 하였다. 혈류량은 심첨부, 중벽 네 부분, 하벽 네 부분의 9개 영역으로 나누어 측정하였으며, 측정결과에 대해 관류 SPECT 소견과 관동맥조영술의 소견과 비교하였다. 결과: 전체 20명의 휴식기 및 부하기 영상에서 5명을 제외한 15명의 데이터에 대해 심근혈류를 측정할 수 있었다. $H_2^{15}O$ 동적 심근 PET에서 앙상블 독립성분분석법을 이용하여 정량화한 휴식기 혈류량은 $1.2{\pm}0.40$ ml/min/g, 부하기 혈류량은 $1.85{\pm}1.12$ml/min/g이었다. 같은 영역에 대해 두 번 측정했을 때 측정된 심근혈류값의 상관계수는 0.99로 재현성이 높았다. 분리된 독립성분영상에서 영상대조도는 좌심실에 대한 심근영역의 비는 평균 1:2.7이었다. 관동맥 조영술을 시행한 9명에서 협착이 없는 분절과 협착이 있는 분절의 혈류예비능에 유의한 차이가 있었다(P<0.01). 또한, 관동맥조영술에서 협착이 확인된 66분절의 심근관류 SPECT 소견에서 가역적 혈류감소를 보인 분절의 혈류예비능이 더 많이 감소되는 경향을 보였으나 통계적 유의성을 보이지는 않았다. 결론: 앙상블 학습을 이용한 독립성분분석방법을 이용하여 심근혈류가 측정이 되었다. 앙상블 독립성분분석법을 이용한 $H_2^{15}O$ 동적 심근 PET 분석방법이 관상동맥 질환의 분석 및 동적 핵의학 영상 데이터의 연구에 도움이 될 것으로 기대된다.

머신러닝 기법을 이용한 납축전지 열화 예측 모델 개발 (Building battery deterioration prediction model using real field data)

  • 최근호;김건우
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.243-264
    • /
    • 2018
  • 현재 전세계 배터리 시장은 이차전지 개발에 박차를 가하고 있는 실정이지만, 실제로 소비되는 배터리 중 가격 대비 성능이 좋고 재충전을 통해 다시 재사용이 가능한 납축전지(이차전지)의 소비가 광범위하게 이루어지고 있다. 하지만 납축전지는 복합적 셀(cell)을 묶어 하나의 배터리를 구성하여 활용하는 배터리의 특성상 하나의 셀에서 열화가 발생하면 전체 배터리의 손상을 가져와 열화가 빨리 진행되는 문제가 존재한다. 이를 극복하기 위해 본 연구는 기계학습을 통한 배터리 상태 데이터를 학습하여 배터리 열화를 예측할 수 있는 모델을 개발하고자 한다. 이를 위해 실제 현장에서 배터리 상태를 지속적으로 모니터링 할 수 있는 센서를 골프장 카트에 부착하여 실시간으로 배터리 상태 데이터를 수집하고, 수집한 데이터를 이용하여 기계학습 기법을 적용한 분석을 통해 열화 전조 현상에 대한 예측 모델을 개발하였다. 총 16,883개의 샘플을 분석 데이터로 사용하였으며, 예측 모델을 만들기 위한 알고리즘으로 의사결정나무, 로지스틱, 베이지언, 배깅, 부스팅, RandomForest를 사용하였다. 실험 결과, 의사결정나무를 기본 알고리즘으로 사용한 배깅 모델이 89.3923%이 가장 높은 적중률을 보이는 것으로 나타났다. 본 연구는 날씨와 운전습관 등 배터리 열화에 영향을 줄 수 있는 추가적인 변수들을 고려하지 못했다는 한계점이 있으나, 이는 향후 연구에서 다루고자 한다. 본 연구에서 제안하는 배터리 열화 예측 모델은 배터리 열화의 전조현상을 사전에 예측함으로써 배터리 관리를 효율적으로 수행하고 이에 따른 비용을 획기적으로 줄일 수 있을 것으로 기대한다.

추천 시스템의 성능 안정성을 위한 예측적 군집화 기반 협업 필터링 기법 (Predictive Clustering-based Collaborative Filtering Technique for Performance-Stability of Recommendation System)

  • 이오준;유은순
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.119-142
    • /
    • 2015
  • 사용자의 취향과 선호도를 고려하여 정보를 제공하는 추천 시스템의 중요성이 높아졌다. 이를 위해 다양한 기법들이 제안되었는데, 비교적 도메인의 제약이 적은 협업 필터링이 널리 사용되고 있다. 협업 필터링의 한 종류인 모델 기반 협업 필터링은 기계학습이나 데이터 마이닝 모델을 협업 필터링에 접목한 방법이다. 이는 희박성 문제와 확장성 문제 등의 협업 필터링의 근본적인 한계를 개선하지만, 모델 생성 비용이 높고 성능/확장성 트레이드오프가 발생한다는 한계점을 갖는다. 성능/확장성 트레이드오프는 희박성 문제의 일종인 적용범위 감소 문제를 발생시킨다. 또한, 높은 모델 생성 비용은 도메인 환경 변화의 누적으로 인한 성능 불안정의 원인이 된다. 본 연구에서는 이 문제를 해결하기 위해, 군집화 기반 협업 필터링에 마르코프 전이확률모델과 퍼지 군집화의 개념을 접목하여, 적용범위 감소 문제와 성능 불안정성 문제를 해결한 예측적 군집화 기반 협업 필터링 기법을 제안한다. 이 기법은 첫째, 사용자 기호(Preference)의 변화를 추적하여 정적인 모델과 동적인 사용자간의 괴리 해소를 통해 성능 불안정 문제를 개선한다. 둘째, 전이확률과 군집 소속 확률에 기반한 적용범위 확장으로 적용범위 감소 문제를 개선한다. 제안하는 기법의 검증은 각각 성능 불안정성 문제와 확장성/성능 트레이드오프 문제에 대한 강건성(robustness)시험을 통해 이뤄졌다. 제안하는 기법은 기존 기법들에 비해 성능의 향상 폭은 미미하다. 또한 데이터의 변동 정도를 나타내는 지표인 표준 편차의 측면에서도 의미 있는 개선을 보이지 못하였다. 하지만, 성능의 변동 폭을 나타내는 범위의 측면에서는 기존 기법들에 비해 개선을 보였다. 첫 번째 실험에서는 모델 생성 전후의 성능 변동폭에서 51.31%의 개선을, 두 번째 실험에서는 군집 수 변화에 따른 성능 변동폭에서 36.05%의 개선을 보였다. 이는 제안하는 기법이 성능의 향상을 보여주지는 못하지만, 성능 안정성의 측면에서는 기존의 기법들을 개선하고 있음을 의미한다.