• 응용통계연구
• /
• 제32권3호
• /
• pp.451-462
• /
• 2019

문서-용어 빈도행렬은 텍스트 마이닝 분야에서 보편적으로 사용되는 데이터의 한 유형으로, 여러 개체들이 제공하는 문서를 기반으로 만들어진다. 그러나 대다수의 연구자들은 개체 정보에 무게를 두지 않고 여러 문서에서 공통적으로 등장하는 공통용어 중 핵심적인 용어를 효과적으로 찾아내는 방법에 집중하는 경향을 보인다. 공통용어에서 핵심어를 선별할 경우 특정 문서에서만 등장하는 중요한 용어들이 공통용어 선정단계에서부터 배제될 뿐만 아니라 개별 문서들이 갖는 고유한 정보가 누락되는 등의 문제가 야기된다. 본 연구에서는 이러한 문제를 극복할 수 있는 데이터를 근접성 데이터라 정의한다. 그리고 근접성 데이터를 생성할 수 있는 12가지 방법 중 개체 군집화의 관점에서 가장 최적화된 방법을 제안한다. 개체 특성 파악을 위한 군집화 알고리즘으로는 다차원척도법과 K-평균 군집분석을 활용한다.

• 한국정보통신학회논문지
• /
• 제26권7호
• /
• pp.949-955
• /
• 2022

일반적인 딥러닝 기반의 텍스트 요약 모델은 데이터셋으로부터 자유롭지 않다. 예를 들어 뉴스 데이터셋으로 학습한 요약 모델은 커뮤니티 글, 논문 등의 종류가 다른 글에서 핵심을 제대로 요약해내지 못한다. 본 연구는 이러한 현상을 '데이터 편향 문제'라 정의하고 이를 해결할 수 있는 두 가지 학습 기법을 제안한다. 첫 번째는 고유명사를 마스킹하는 '고유명사 마스킹'이고 두 번째는 텍스트의 길이를 임의로 늘이거나 줄이는 '길이 변화'이다. 또한, 실제 실험을 진행하여 제안 기법이 데이터 편향 문제 해결에 효과적임을 확인하며 향후 발전 방향을 제시한다. 본 연구의 기여는 다음과 같다. 1) 데이터 편향 문제를 정의하고 수치화했다. 2) 요약 데이터의 특징을 바탕으로 학습 기법을 제안하고 실제 실험을 진행했다. 3) 제안 기법은 모든 요약 모델에 적용할 수 있고 구현이 어렵지 않아 실용성이 뛰어나다.

• 문화기술의 융합
• /
• 제9권6호
• /
• pp.935-940
• /
• 2023

인공지능과 빅데이터 분석을 위해 웹 스크래핑으로 수집된 대부분의 텍스트 데이터들은 일반적으로 대용량이고 비정형이기 때문에 빅데이터 분석을 위해서는 정제과정이 요구된다. 그 과정은 휴리스틱 전처리 정제단계와 후처리 머시인 정제단계를 통해서 분석이 가능한 정형 데이터가 된다. 따라서 본 연구에서는 후처리 머시인 정제과정에서 한국어 딕셔너리와 불용어 딕셔너리를 이용하여 워드크라우드 분석을 위한 빈도분석을 위해 어휘들을 추출하게 되는데 이 과정에서 제거되지 않은 불용어를 효율적으로 제거하기 위한 "사용자 정의 불용어 시소러스" 적용에 대한 방법론을 제안하고 R의 워드클라우드 기법으로 기존의 "불용어 딕셔너리" 방법의 문제점을 보완하기 위해 제안된 "사용자 정의 불용어 시소러스" 기법을 이용한 사례분석을 통해서 제안된 정제방법의 장단점을 비교 검증하여 제시하고 제안된 방법론의 실무적용에 대한 효용성을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.171-174
• /
• 2014

본 논문은 방송콘텐츠 영향력 도출을 위해 고려되어야 할 요소들에 대해 다뤄보았다. 기존에 방송콘텐츠의 영향력을 나타내는 측정지표로 시청률과 청취율 같은 설문조사 방식의 조사자의 개입을 통한 방식이 활용되었다면, 최근 소셜미디어를 통해 수많은 정보가 교환되는 환경에서는 새로운 측정방식의 제안이 가능할 것으로 보았다. 이에, 본 연구에서는 소셜미디어상 대용량의 텍스트 데이터인 이른바 '소셜텍스트 빅데이터'를 활용해 방송콘텐츠의 영향력을 분석하는 방식을 제안하였다. 또한 이러한 빅데이터 분석을 위해 일반적으로 발생할 수 있는 문제들과 이 과정에서 유의하여야 사항들에 대해 다뤄보았다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.742-745
• /
• 2016

빅데이터 시대를 맞이하여 텍스트마이닝과 오피니언마이닝의 활용도가 커지고 있는 시점에서 소셜 네트워크 데이터로부터 유용한 데이터를 추출하는 작업은 매우 중요하다. 이에 본 논문은 블로그 HTML 문서에서 추출한 태그 특징에 로지스틱 회귀 및 앙상블 기법을 적용하여 본문을 포함하는 태그를 분류하는 모델을 구성한 뒤 태그의 깊이 특징을 이용하여 주요 본문을 찾는 방법을 제안한다. 직접 수집한 데이터를 이용한 실험에서 태그 분류 정확도가 0.990, 본문을 찾아낸 문서의 비율이 80.5%로 나왔다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
• /
• pp.59-62
• /
• 2018

XML을 대상으로 하는 연구가 최근 5~6년 사이에 꾸준한 증가를 보이며 이루어지고 있지만 대다수의 연구들은 XML을 구성하고 있는 엘리먼트 자체에 대한 통계적인 모델을 기반으로 이루어졌다. 이는 XML의 고유 속성인 트리 구조에서의 텍스트, 문장, 문장 구성 성분이 가지고 있는 의미(semantics)가 명시적으로 분석, 표현되어 사용되기 보다는 통계적인 방법으로만 데이터의 발생을 계산하여 사용자가 요구한 질의에 대한 결과, 즉 해당하는 정보 및 지식을 제공하는 형식이다. 지능형 지식서비스 제공을 위한 환경에 부합하기 위한 정보 추출은, 텍스트 및 문장의 구성 요소를 분석하여 문서의 내용을 단순한 단어 집합보다는 풍부한 의미를 내포하는 형식으로 표현함으로써 보다 정교한 지식과 정보의 추출이 수행될 수 있도록 하여야 한다. 본 연구는 범람하는 XML 데이터로부터 사용자 요구의 의미까지 파악하여 정확하고 다양한 지식을 추출할 수 있는 방법을 연구하고자 한다. 레코드 구조가 아닌 트리 구조 데이터로부터 의미 추출이 가능한 효율적인 마이닝 기법을 진일보시킴으로써 다양한 사용자 중심의 서비스 제공을 최종 목적으로 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.450-452
• /
• 2020

기술의 발전과 함께 사용자에게 가까이 자리 잡은 소셜 네트워크 서비스는 이미지, 동영상, 텍스트 등 활용 가능한 데이터의 수를 폭발적으로 증가시켰다. 작성자의 감정을 포함하고 있는 텍스트 데이터는 시장 조사, 주가 예측 등 다양한 분야에서 이용할 수 있으며, 이로 인해 긍부정의 이진 분류가 아닌 다중 감정 분석의 필요성 또한 높아지고 있다. 본 논문에서는 딥러닝 기반 감정 분류에 심리학 이론의 기반 감정 모델을 활용한 결합 모델과 단일 모델을 비교한다. 학습을 위해 AI Hub에서 제공하는 데이터와 노래 가사 데이터를 복합적으로 사용하였으며, 결과에서는 대부분의 경우에 결합 모델이 높은 결과를 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
• /
• pp.130-137
• /
• 2001

최대 엔트로피 모델(maximum entropy model)은 여러 가지 자연언어 문제를 학습하는데 성공적으로 적용되어 왔지만, 두 가지의 주요한 문제점을 가지고 있다. 그 첫번째 문제는 해당 언어에 대한 많은 사전 지식(prior knowledge)이 필요하다는 것이고, 두번째 문제는 계산량이 너무 많다는 것이다. 본 논문에서는 텍스트 단위화(text chunking)에 최대 엔트로피 모델을 적용하는 데 나타나는 이 문제점들을 해소하기 위해 새로운 방법을 제시한다. 사전 지식으로, 간단한 언어 모델로부터 쉽게 생성된 결정트리(decision tree)에서 자동적으로 만들어진 규칙을 사용한다. 따라서, 제시된 방법에서의 최대 엔트로피 모델은 결정트리를 보강하는 방법으로 간주될 수 있다. 계산론적 복잡도를 줄이기 위해서, 최대 엔트로피 모델을 학습할 때 일종의 능동 학습(active learning) 방법을 사용한다. 전체 학습 데이터가 아닌 일부분만을 사용함으로써 계산 비용은 크게 줄어 들 수 있다. 실험 결과, 제시된 방법으로 결정트리의 오류의 수가 반으로 줄었다. 대부분의 자연언어 데이터가 매우 불균형을 이루므로, 학습된 모델을 부스팅(boosting)으로 강화할 수 있다. 부스팅을 한 후 제시된 방법은 전문가에 의해 선택된 자질로 학습된 최대 엔트로피 모델보다 졸은 성능을 보이며 지금까지 보고된 기계 학습 알고리즘 중 가장 성능이 좋은 방법과 비슷한 성능을 보인다 텍스트 단위화가 일반적으로 전체 구문분석의 전 단계이고 이 단계에서의 오류가 다음 단계에서 복구될 수 없으므로 이 성능은 텍스트 단위화에서 매우 의미가 길다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
• /
• pp.411-412
• /
• 2010

전통적으로 자연어 텍스트로부터의 감정인식 연구는 감정 키워드에 기반한다. 그러나 감정 키워드만을 이용하면 자연어 문장이 원래 갖고 있는 통사정보나 의미정보는 잃어버리게 된다. 이를 극복하기 위해 본 논문에서는 자연어 텍스트를 Predicate Logic 형태로 변환하여 감정 정보처리의 기반데이터로 사용한다. Predicate Logic형태로 변환하기 위해서 의존 문법 구문분석기를 사용하였다. 이렇게 생성된 Predicate 데이터 중 감정 정보를 갖고 있는 Predicate만을 찾아내는데 이를 위해 Emotional Predicate Dictionary를 구축하였고 이 사전에는 하나의 Predicate마다 미리 정의된 개념 클래스로 사상 시킬 수 있는 정보를 갖고 있다. 개념 클래스는 감정정보를 갖고 있는지, 어떤 감정인지, 어떤 상황에서 발생하는 감정인지에 대한 정보를 나타낸다. 자연어 텍스트가 Predicate으로 변환되고 다시 개념 클래스로 사상되고 나면 KBANN으로 구현된 Lazarus의 감정 생성 규칙에 적용시켜 최종적으로 인식된 감정을 판단한다. 실험을 통해 구현된 시스템이 인간이 인식한 감정과 약 70%이상 유사한 인식 결과를 나타냄을 보인다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.506-509
• /
• 2017

오피니언 마이닝은 텍스트 속의 감성을 분석해 낼 수 있는 방법으로 작성자의 정서 상태 파악이나 대중의 의견을 알아내기 위해 사용된다. 이를 통해서 개인의 감성을 분석할 수 있듯이 텍스트를 지역별로 수집하여 분석한다면 지역별로 가지고 있는 감정 상태에 대해서 알아 낼 수 있다. 지역별 감성분석은 개인 감성분석에서 얻어 낼 수 없었던 정보를 얻어낼 수 있으며 해당 지역이 어떠한 감정을 가지고 있을 때, 그 원인에 대해서도 파악할 수 있다. 지역별 감성 분석을 위해서는 각 지역별로 작성된 텍스트 데이터들이 필요하므로 트위터 크롤링을 통해서 데이터를 수집해야 한다. 따라서 본 논문에서는 지역별 감성분석을 위한 트위터 데이터 수집 시스템을 설계한다. 클라이언트에서는 특정 지역 및 시간대의 트윗 데이터를 요청하며, 서버에서는 클라이언트로부터 요청받은 트윗 데이터를 수집 및 전송한다. 지역이 가지는 위도, 경도 값을 통해 해당 지역의 트윗 데이터를 수집하며, 수집한 데이터들을 통해 텍스트를 지역 및 시간별로 관리할 수 있다. 본 시스템 설계를 통해 감성분석을 위한 효율적인 데이터 수집 및 관리를 기대한다.