• 제목/요약/키워드: Text-based classification

검색결과 463건 처리시간 0.025초

Bi-LSTM 기반의 한국어 감성사전 구축 방안 (KNU Korean Sentiment Lexicon: Bi-LSTM-based Method for Building a Korean Sentiment Lexicon)

  • 박상민;나철원;최민성;이다희;온병원
    • 지능정보연구
    • /
    • 제24권4호
    • /
    • pp.219-240
    • /
    • 2018
  • 감성사전은 감성 어휘에 대한 사전으로 감성 분석(Sentiment Analysis)을 위한 기초 자료로 활용된다. 이와 같은 감성사전을 구성하는 감성 어휘는 특정 도메인에 따라 감성의 종류나 정도가 달라질 수 있다. 예를 들면, '슬프다'라는 감성 어휘는 일반적으로 부정의 의미를 나타내지만 영화 도메인에 적용되었을 경우 부정의 의미를 나타내지 않는다. 그렇기 때문에 정확한 감성 분석을 수행하기 위해서는 특정 도메인에 알맞은 감성사전을 구축하는 것이 중요하다. 최근 특정 도메인에 알맞은 감성사전을 구축하기 위해 범용 감성 사전인 오픈한글, SentiWordNet 등을 활용한 연구가 진행되어 왔으나 오픈한글은 현재 서비스가 종료되어 활용이 불가능하며, SentiWordNet은 번역 간에 한국 감성 어휘들의 특징이 잘 반영되지 않는다는 문제점으로 인해 특정 도메인의 감성사전 구축을 위한 기초 자료로써 제약이 존재한다. 이 논문에서는 기존의 범용 감성사전의 문제점을 해결하기 위해 한국어 기반의 새로운 범용 감성사전을 구축하고 이를 KNU 한국어 감성사전이라 명명한다. KNU 한국어 감성사전은 표준국어대사전의 뜻풀이의 감성을 Bi-LSTM을 활용하여 89.45%의 정확도로 분류하였으며 긍정으로 분류된 뜻풀이에서는 긍정에 대한 감성 어휘를, 부정으로 분류된 뜻풀이에서는 부정에 대한 감성 어휘를 1-gram, 2-gram, 어구 그리고 문형 등 다양한 형태로 추출한다. 또한 다양한 외부 소스(SentiWordNet, SenticNet, 감정동사, 감성사전0603)를 활용하여 감성 어휘를 확장하였으며 온라인 텍스트 데이터에서 사용되는 신조어, 이모티콘에 대한 감성 어휘도 포함하고 있다. 이 논문에서 구축한 KNU 한국어 감성사전은 특정 도메인에 영향을 받지 않는 14,843개의 감성 어휘로 구성되어 있으며 특정 도메인에 대한 감성사전을 효율적이고 빠르게 구축하기 위한 기초 자료로 활용될 수 있다. 또한 딥러닝의 성능을 높이기 위한 입력 자질로써 활용될 수 있으며, 기본적인 감성 분석의 수행이나 기계 학습을 위한 대량의 학습 데이터 세트를 빠르게 구축에 활용될 수 있다.

태음인(太陰人) 병증(病證) 분류(分類)에 관한 연구(硏究) (A study on the schematic organization of the sub-classification system of the Taeeumin symptomatology)

  • 이준희;이의주;고병희
    • 사상체질의학회지
    • /
    • 제23권1호
    • /
    • pp.63-78
    • /
    • 2011
  • 1. Objectives: We aimed to propose a sub-classification system for the Taeeumin symptomatology by examining the Taeeumin pathology and symptomatology descriptions appearing in "Donguisusebowon". 2. Methods: The Gabo Edition and the Sinchuk Edition (the upgraded and revised edition) of "Donguisusebowon" were reviewed and examined for relevant information on the Taeeum pathology and symptomatology. 3. Results and Conclusions: 1) In the Taeeumin symptomatology, the Exterior disease develops from the basic pathology of Esophagus-Cold and the Interior disease from that of Liver-Heat, eventually progressing to damage of the expirational and dispersive energy of the Lung Sector, the Prime Core Organ or the excessively small organ of the Taeeum constitutional type. The resulting pathology can be broadly defined as the "Lung-Dryness symptomatology". 2) The case reports introduced in the Exterior disease section, including the Zhang Zhongjing Mahuang-tang treatment, Prolonged-affliction disease treatment, and Exterior disease Pestilential disease treatment, share several points in common. They all arise from the pathology of "weakness in the Lung sector and deficiency in the Exterior sector", and they can all be assigned to the same symptomatological division that presents with systemic heat and cold intolerance; this symptomatology can be defined as the "Esophagus-Cold symptomatology", the milder subdivision of the exterior symptomatology. 3) The body of text appearing in the last part of the Interior disease section commonly referred to as the "Taeeumin Conspectus" is in fact not a conspectus when its contents are actually examined. Instead, it can be understood from its pathological and symptomatological descriptions that the passage is explaining the more severe subdivision of the exterior symptomatology that has progressed from Esophagus-Cold to a pathology characterized by damaged expirational and dipersive energy of the Lung Sector. 4) The relocation of the "dry-related pathology" indicates a change in perspective regarding the "Dry-related symptomatology", which caused the rearrangement of the Interior disease into divisions of Liver-Heat symptomatology that is characterized by fulminant heat pathology and Dry-Heat symptomatology that is also accompanied by Lung-Dryness. 5) The Interior disease Yin-Blood Consumptive symptomatology should be included in the Dry-Heat symptomatology in the pathological scheme. 6) Based on the above, the subdivisions of the Taeeumin symptomatology should be arranged as "Esophagus-Cold symptomatology" and "Lung-Dry-Cold symptomatology" in the Exterior disease and "Liver-Heat symptomatology" and "Dry-Heat symptomatology" in the Interior disease.

아파트 하자 보수 시설공사 세부공종 머신러닝 분류 시스템에 관한 연구 (Classifying Sub-Categories of Apartment Defect Repair Tasks: A Machine Learning Approach)

  • 김은혜;지홍근;김지나;박은일;엄재용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권9호
    • /
    • pp.359-366
    • /
    • 2021
  • 대한민국 건설사들은 아파트 하자 정보를 축적하고 보수작업을 관리하기 위한 시스템을 운영하는데 상당한 인력과 비용을 투자하고 있다. 본 연구에서는 하자 접수 상세내용 텍스트 데이터를 이용하여 하자 보수 시설공사에 따른 세부공종을 분류하는 머신러닝 모델을 제안한다. 두 가지 단어 임베딩(Bag-of-words, Term Frequency-Inverse Document Frequency (TF-IDF))과 두 가지 분류기(Support Vector Machine, Random Forest)를 통해 한국어로 작성된 65만건 이상의 하자 접수데이터로부터 하자보수 시설공사 세부공종을 분류했다. 특히, 이번 연구에서는 특정 시설공사(마감공사)의 9개 세부공종(가전제품, 도배공사, 도장공사, 미장공사, 석공사, 수장공사, 옥내가구공사, 주방기구공사, 타일공사)을 분류하는 이진분류 모델과 다중 분류 모델을 연구했다. 그 결과, TF-IDF와 Random Forest를 사용한 두가지 분류 모델에서 90%이상의 정확도, 정밀도, 재현율 및 F1점수를 확인했다.

딥러닝 모형을 사용한 한국어 음성인식 (Korean speech recognition using deep learning)

  • 이수지;한석진;박세원;이경원;이재용
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.213-227
    • /
    • 2019
  • 본 논문에서는 베이즈 신경망을 결합한 종단 간 딥러닝 모형을 한국어 음성인식에 적용하였다. 논문에서는 종단 간 학습 모형으로 연결성 시계열 분류기(connectionist temporal classification), 주의 기제, 그리고 주의 기제에 연결성 시계열 분류기를 결합한 모형을 사용하였으며. 각 모형은 순환신경망(recurrent neural network) 혹은 합성곱신경망(convolutional neural network)을 기반으로 하였다. 추가적으로 디코딩 과정에서 빔 탐색과 유한 상태 오토마타를 활용하여 자모음 순서를 조정한 최적의 문자열을 도출하였다. 또한 베이즈 신경망을 각 종단 간 모형에 적용하여 일반적인 점 추정치와 몬테카를로 추정치를 구하였으며 이를 기존 종단 간 모형의 결괏값과 비교하였다. 최종적으로 본 논문에 제안된 모형 중에 가장 성능이 우수한 모형을 선택하여 현재 상용되고 있는 Application Programming Interface (API)들과 성능을 비교하였다. 우리말샘 온라인 사전 훈련 데이터에 한하여 비교한 결과, 제안된 모형의 word error rate (WER)와 label error rate (LER)는 각각 26.4%와 4.58%로서 76%의 WER와 29.88%의 LER 값을 보인 Google API보다 월등히 개선된 성능을 보였다.

과학교육 분야 자연어 처리 기법의 연구동향 분석 (An Analysis of Trends in Natural Language Processing Research in the Field of Science Education)

  • 전철홍;유선아
    • 한국과학교육학회지
    • /
    • 제44권1호
    • /
    • pp.39-55
    • /
    • 2024
  • 본 연구는 2011년부터 2023년 9월까지 과학교육 분야에서 자연어 처리(NLP) 기법을 적용한 37건의 국내 및 해외 문헌을 분석하여 과학교육에서의 NLP 관련 연구 동향을 파악하고자 하였다. 특히 과학교육에서 NLP 기법의 주요 응용 분야, NLP 기법을 활용할 때 교사의 역할, 국내와 해외의 비교 측면에서 그 내용을 체계적으로 분석하였다. 분석 결과는 다음과 같다. 첫째, NLP 기법이 과학교육에서 형성평가, 자동 채점, 문헌 검토 및 분류, 패턴 추출에 중요하게 활용되고 있음을 확인하였다. 형성평가에서 NLP를 활용하면 학생들의 학습과정과 이해도를 실시간으로 분석할 수 있다. 이는 교사의 수업에 대한 부담을 줄이고, 학생들에게 정확하고 효과적인 피드백을 제공할 수 있다. 자동 채점에서는 학생들의 응답을 빠르고 정확하게 평가하는 데 기여한다. 문헌 검토 및 분류에서는 과학교육 관련 연구나 학생들의 보고서를 분석하여 주제와 트렌드를 효과적으로 분석하고, 미래 연구 방향을 설정하는 데 도움을 준다. NLP 기법을 패턴 추출에 활용하면 학생들의 생각과 반응에 나타난 공통점이나 패턴을 찾아 효과적으로 분석할 수 있다. 둘째, 과학교육에서 NLP 기법의 도입은 교사의 역할을 지식 전달자에서 학생들의 학습을 지원하고 촉진하는 지도자로 확장했고, 교사들에게 지속적인 전문성 개발을 요구한다. 셋째, 국내에서는 문헌 검토 및 분류에 집중되어 있어 국내 NLP 연구의 다양성을 위해 텍스트 데이터 수집이 용이한 환경 조성이 필요하다. 이러한 분석 결과를 바탕으로 과학교육에서 NLP 기법의 활용하는 방법에 대해 논의하였다.

증권신고서의 TF-IDF 텍스트 분석과 기계학습을 이용한 공모주의 상장 이후 주가 등락 예측 (The prediction of the stock price movement after IPO using machine learning and text analysis based on TF-IDF)

  • 양수연;이채록;원종관;홍태호
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.237-262
    • /
    • 2022
  • 본 연구는 개인투자자들의 투자의사결정에 도움을 주고자, 증권신고서의 TF-IDF 텍스트 분석과 기계학습을 이용해 공모주의 상장 5거래일 이후 주식 가격 등락을 예측하는 모델을 제시한다. 연구 표본은 2009년 6월부터 2020년 12월 사이에 신규 상장된 691개의 국내 IPO 종목이다. 기업, 공모, 시장과 관련된 다양한 재무적 및 비재무적 IPO 관련 변수와 증권신고서의 어조를 분석하여 예측했고, 증권신고서의 어조 분석을 위해서 TF-IDF (Term Frequency - Inverse Document Frequency)에 기반한 텍스트 분석을 이용해 신고서의 투자위험요소란의 텍스트를 긍정적 어조, 중립적 어조, 부정적 어조로 분류하였다. 가격 등락 예측에는 로지스틱 회귀분석(Logistic Regression), 랜덤 포레스트(Random Forest), 서포트벡터머신(Support Vector Machine), 인공신경망(Artificial Neural Network) 기법을 사용하였고, 예측 결과 IPO 관련 변수와 증권신고서 어조 변수를 함께 사용한 모델이 IPO 관련 변수만을 사용한 모델보다 높은 예측 정확도를 보였다. 랜덤 포레스트 모형은 1.45%p 높아진 예측 정확도를 보였으며, 인공신공망 모형과 서포트벡터머신 모형은 각각 4.34%p, 5.07%p 향상을 보였다. 추가적으로 모형간 차이를 맥니마 검정을 통해 통계적으로 검증한 결과, 어조 변수의 유무에 따른 예측 모형의 성과 차이가 유의확률 1% 수준에서 유의했다. 이를 통해, 증권신고서에 표현된 어조가 공모주의 가격 등락 예측에 영향을 미치는 요인이라는 것을 확인할 수 있었다.

BERT를 활용한 속성기반 감성분석: 속성카테고리 감성분류 모델 개발 (Aspect-Based Sentiment Analysis Using BERT: Developing Aspect Category Sentiment Classification Models)

  • 박현정;신경식
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.1-25
    • /
    • 2020
  • 대규모 텍스트에서 관심 대상이 가지고 있는 속성들에 대한 감성을 세부적으로 분석하는 속성기반 감성분석(Aspect-Based Sentiment Analysis)은 상당한 비즈니스 가치를 제공한다. 특히, 텍스트에 속성어가 존재하는 명시적 속성뿐만 아니라 속성어가 없는 암시적 속성까지 분석 대상으로 하는 속성카테고리 감성분류(ACSC, Aspect Category Sentiment Classification)는 속성기반 감성분석에서 중요한 의미를 지니고 있다. 본 연구는 속성카테고리 감성분류에 BERT 사전훈련 언어 모델을 적용할 때 기존 연구에서 다루지 않은 다음과 같은 주요 이슈들에 대한 답을 찾고, 이를 통해 우수한 ACSC 모델 구조를 도출하고자 한다. 첫째, [CLS] 토큰의 출력 벡터만 분류벡터로 사용하기보다는 속성카테고리에 대한 토큰들의 출력 벡터를 분류벡터에 반영하면 더 나은 성능을 달성할 수 있지 않을까? 둘째, 입력 데이터의 문장-쌍(sentence-pair) 구성에서 QA(Question Answering)와 NLI(Natural Language Inference) 타입 간 성능 차이가 존재할까? 셋째, 입력 데이터의 QA 또는 NLI 타입 문장-쌍 구성에서 속성카테고리를 포함한 문장의 순서에 따른 성능 차이가 존재할까? 이러한 연구 목적을 달성하기 위해 입력 및 출력 옵션들의 조합에 따라 12가지 ACSC 모델들을 구현하고 4종 영어 벤치마크 데이터셋에 대한 실험을 통해 기존 모델 이상의 성능을 제공하는 ACSC 모델들을 도출하였다. 그리고 [CLS] 토큰에 대한 출력 벡터를 분류벡터로 사용하기 보다는 속성카테고리 토큰의 출력 벡터를 사용하거나 두 가지를 함께 사용하는 것이 더욱 효과적이고, NLI 보다는 QA 타입의 입력이 대체적으로 더 나은 성능을 제공하며, QA 타입 안에서 속성이 포함된 문장의 순서는 성능과 무관한 점 등의 유용한 시사점들을 발견하였다. 본 연구에서 사용한 ACSC 모델 디자인을 위한 방법론은 다른 연구에도 비슷하게 응용될 수 있을 것으로 기대된다.

논문 원문을 이용한 동명 저자 자동 군집화 (Automatic Clustering of Same-Name Authors Using Full-text of Articles)

  • 강인수;정한민;이승우;김평;구희관;이미경;구남앙;성원경
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2006년도 추계 종합학술대회 논문집
    • /
    • pp.652-656
    • /
    • 2006
  • 대용량 과학 기술 문헌의 탐색 및 검색에 있어서 저자, 저자 소속 기관, 게재지 등에 대해 고유 식별자에 기반한 표현의 필요성이 증가하고 있다. 특히, 과학 기술 문헌의 저자가 단순히 이름으로 표현될 경우, 동일명을 가진 서로 다른 저자들에 대한 구분은 사용자의 검색 부담을 가중시키게 된다. 이러한 동명이인의 문제를 해결하기 위한 기존의 접근법들은 공저자 정보, 논문 제목 등의 서지 정보에 의존하는 공통점을 지닌다. 그러나, 기존의 방법들은 공저자가 없거나 논문 제목 간의 공통 어휘가 발견되지 않을 경우 어려움을 겪게 된다. 본 연구에서는, 동명저자 문제 해소를 위한 기존의 접근법을 보완하기 위해, 동명저자들의 논문 원문의 내용에 기반한 문서 군집화 방법을 사용한다. 국내 학술대회 발표 논문집을 대상으로 한 실험에서 제안한 방법이 기존의 서지정보에 기반한 해법의 단점을 보완할 수 있다는 가능성을 보였다.

  • PDF

기계학습과 GPT3를 시용한 조작된 리뷰의 탐지 (The Detection of Online Manipulated Reviews Using Machine Learning and GPT-3)

  • 체르냐예바 올가;홍태호
    • 지능정보연구
    • /
    • 제28권4호
    • /
    • pp.347-364
    • /
    • 2022
  • 고객의 구매 의사결정에 영향을 주는 온라인 리뷰의 부적절한 조작을 통해 이익을 얻고자 하는 기업 또는 온라인 판매자들 때문에, 리뷰의 신뢰성은 온라인 거래에서 매우 중요한 이슈가 되었다. 온라인 쇼핑몰 등에서 온라인 리뷰에 대한 소비자들의 의존도가 높아짐에 따라 많은 연구들이 조작된 리뷰를 탐지하는 방법에 개발하고자 하였다. 기존의 연구들은 온라인 리뷰를 기반으로 정상 리뷰와 조작된 리뷰를 대상으로 기계학습으로 이용함으로써 조작된 리뷰를 탐지하는 모형을 제시하였다. 기계학습은 데이터를 이용하여 이진분류 문제에서 탁월한 성능을 보여왔으나, 학습에 충분한 데이터를 확보할 수 있는 환경에서만 이러한 성능을 기대할 수 있었다. 조작된 리뷰는 학습용으로 사용할 수 있는 데이터가 충분하지 못하며, 이는 기계학습이 충분한 학습을 할 수 없다는 치명적 약점으로 내포하게 된다. 본 연구에서는 기계학습이 불균형 데이터 셋으로 인한 학습의 저하를 방지할 수 있는 방안으로 부족한 조작된 리뷰를 인공지능을 이용하여 생성하고 이를 기반으로 균형된 데이터 셋에서 기계학습을 학습하여 조작된 리뷰를 탐지하는 방안을 제시하였다. 파인 튜닝된 GPT-3는 초거대 인공지능으로 온라인 플랫폼의 리뷰를 생성하여 데이터 불균형 문제를 해결하는 오버샘플링 접근방법으로 사용되었다. GPT-3로 생성한 온라인 리뷰는 기존 리뷰를 기반으로 인공지능이 작성한 리뷰로써, 본 연구에서 사용된 로짓, 의사결정나무, 인공신경망의 성능을 개선시키는 것을 SMOTE와 단순 오버샘플링과 비교하여 실증분석을 통해서 확인하였다.

사이버 시대의 디자인 지형 (A Topography of Design in Cyber Age)

  • 오창섭
    • 디자인학연구
    • /
    • 제12권1호
    • /
    • pp.39-48
    • /
    • 1999
  • 전통적 의미의 산업디자인은 산업혁명으로부터 시작된 기계적 생산양식에 그 바탕을 두고 있다. 그런데 최근 컴퓨터와 관련 기술들의 발달에 따른 새로운 매체들의 등장으로 전통적 의미의 디자인은 정체성의 혼란을 경험하고 있다. '사이버'라고 불리는 새로운 흐름은 산업혁명의 기계적 생산양식이 수공예적 생산양식의 여러 가정들을 파괴한 것처럼 기계적 생산양식의 가정들에 대해 의문을 제기하고 있는 것이다. 본 논문은 어떻게 컴퓨터, 그리고 가상실제와 같은 새로운 매체들의 등장이 삶의 환경과 생활 주체들의 감수성을 변화시키고, 또한 디자인의 모습을 변화시키는지에 대한 연구이다. 논문은 사이버공간과 문화, 이미지와 텍스트, 가상과 실재, 정체성 등의 논의를 통해 기계적 생산양식에 바탕을 둔 소재 중심적 경계 구분을 통해 기계적 생산양식에 바탕을 둔 소재 중심적 경계 구분을 해체하고 변화하는 시대의 디자인 지형과 정체성을 구체적으로 찾아 나서고 있다.

  • PDF