• 감성과학
• /
• 제16권2호
• /
• pp.167-176
• /
• 2013

소셜 미디어의 급속한 발달로 인해 사용자가 생성한 텍스트 데이터가 급증하고 있다. 오피니언 마이닝에서는 이러한 사용자의 텍스트를 분석하여 사용자의 의견을 추출하고 있다. 특히 오피니언 마이닝의 세부 분야인 정서분석에서는 텍스트에서 사용자의 정서를 추출하는 것이 주된 목적인데, 이를 위해서는 정서 단어 목록 구축이 필수적이다. 본 논문에서는 소셜 미디어의 정서 분석을 위해서 대표적인 소셜 미디어인 페이스북 텍스트를 사용하여 정서 단어 목록을 구축하였다. 페이스북 텍스트로부터 데이터를 수집한 후 정서 단어를 선별하고 설문을 통하여 정서가와 활성화 차원을 측정하였다. 그 결과 정서가, 활성화 차원을 포함한 267개 정서 단어 목록을 구축하였다.

• 한국ITS학회 논문지
• /
• 제11권1호
• /
• pp.72-85
• /
• 2012

현재, 차량 내에서 사용하는 대부분의 블루투스 핸즈프리 디바이스는 음성 통화, 발신자 식별번호 표시 및 SMS 메시지 표시 등의 전화 서비스 기능을 제공하고 있지만 인터넷 기반의 텍스트 데이터 디스플레이 기능은 지원하지 않고 있다. 최근 들어 차량에서도 SNS와 같은 인터넷 서비스 이용에 대한 요구가 증가하고 있어, 기존의 핸즈프리 기능 이외에도 인터넷 기반의 텍스트 데이터를 표시하는 기능의 개발이 필요하다. 제안하는 블루투스 디바이스 응용은 SNS 메시지 및 이메일 도착 알림 표시 등의 향상된 기능을 포함하며, 구현 플랫폼으로는 대부분의 SNS 응용 프로그램의 동작이 가능하고 소형 임베디드 디바이스에 탑재가 용이한 안드로이드 플랫폼을 사용한다. 제안하는 블루투스 디바이스와 연결되는 스마트폰 또는 태블릿 PC 역시 안드로이드 플랫폼 기반의 단말기이며, 단말 탑재 기능 모듈인 오디오-텍스트 게이트웨이는 안드로이드 앱 형태로 설계된다. 오디오-텍스트 게이트웨이 앱은 SNS 텍스트 데이터 수신시, 메시지 헤더 정보에서 제목, 발신자 정보 등을 추출하여 텍스트 데이터 형태로 ACL(Asynchronous Connection-Oriented) 링크를 통해 블루투스 디바이스로 전송하여 화면에 표시되도록 한다. 일반적으로 안드로이드 플랫폼에 탑재된 블루투스 핸즈프리 또는 헤드셋 프로파일은 오디오 게이트웨이의 기능만을 포함하고 있기 때문에 안드로이드 기반의 블루투스 디바이스에서는 음성 데이터의 스피커 출력이 불가능하다. 따라서 제안하는 블루투스 디바이스 응용은 블루투스 헤드셋 프로파일에서 일반적으로 사용되는 SCO(Synchronous Connection-Oriented) 링크를 통한 음성 데이터 전송 방식 대신에 ACL 링크를 통한 스트리밍 방식을 적용한다.

• 한국전자거래학회지
• /
• 제24권1호
• /
• pp.121-137
• /
• 2019

비식별화는 데이터셋으로부터 개인정보를 제거함으로써 개인을 식별할 수 없도록 하는 방법으로, 정보를 수집, 가공, 저장, 배포하는 과정에서 발생할 수 있는 개인정보 노출 위험도를 낮추기 위해 사용한다. 그간 비식별화와 관련된 알고리즘, 모델 등의 관점에서 많은 연구가 이루어졌지만, 대부분은 정형 데이터를 대상으로 하는 제한적인 연구로, 비정형 데이터에 대한 고려는 상대적으로 많지 않은 실정이다. 특히 비정형 텍스트가 빈번히 사용되는 의료 분야의 경우에서는 개인 식별 정보들을 단순 제거함으로써 개인정보 노출 위험도는 낮추지만, 그에 따른 데이터 활용성이 떨어지는 점을 감수하는 실정이다. 본 연구는 개인정보 보호 이슈가 가장 중요하고 따라서 비식별화가 활발하게 연구되고 있는 의료분야 데이터 중 비정형 텍스트를 대상으로 k-익명성 보호모델을 적용한 비식별화 수행 방안을 제시하고, 비식별화 결과에 대한 새로운 유용도 측정 기법을 제안하여 이를 통해 직관적으로 데이터 활용성을 판단할 수 있도록 하는 것을 목표로 한다. 따라서 본 연구의 결과물이 의료 분야뿐만 아니라 비정형 텍스트가 활용되는 모든 산업 분야에서 활용될 경우, 개인 식별 정보가 포함된 비정형 텍스트의 활용도를 향상시킬 수 있을 것으로 기대한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 1998년도 춘계학술발표논문집
• /
• pp.323-327
• /
• 1998

컴퓨터와 통신망 기술의 발전으로 많은 언론 기관에서 전자신문 서비스를 제공하고 있다. 그러나 현재 서비스되는 전자신문은 텍스트 위주의 정적인 정보를 주고 서비스 하며, 사용자가 필요한 정보를 찾아 다니는 pull 기술을 기반으로 서비스한다. 그리고 사용자 맞춤 기능을 제공하기 못하므로, 불필요한 정보를 사용자에게 전송함으로써 시스템 자원을 낭비하는 단점을 가지고 있다. 본 논문에서는 멀티미디어 데이터를 지원하는 NOD(News On Demand)시스템에서 텍스트 데이터 뿐아니라 오디오/비디오 데이터를 push 하므로써 서버의 load를 분배시키고 사용자에게 실시간성을 제공하는 NOD 분배 서버를 설계하고 프로토타입을 구현하였다. 특히 본 논문에서는 대용량 데이터인 오디오/비디오 데이터를 사용자 시스템으로 Push할 때, 사용자 시스템의 디스크 공간상태 등을 고려하여 실시간성을 유지할 수 있는 적정 Push 량을 시뮬레이션을 통해 측정하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
• /
• pp.364-366
• /
• 2002

본 논문에서는 텍스트 형태로 구성된 특정 생물에 대한 문헌 데이터에서 해당 생물의 주요 단백질간의 이진(binary) 관계를 추출하여 이들을 특징별로 계층적으로 군집화 함으로써 특정 현상을 나타내는 단백질간의 주요 관계를 추출하는 방법을 제시한다. 텍스트 데이터에서 단백질간의 이진관계는 기본적인 데이터마이닝 기법을 사용하여 연관규칙(association rule)의 형태로 추출하게 된다. 본 논문에서는 실험을 위해 PUBMED에서 추출한 Yeast의 주요 단백질간의 관계를 포함하고 있는 논문 데이터인 MEDLINE Abstract와 몇몇 공개 데이터베이스를 사용하였다. 실험 결과 SH3와 같이 기존에 알려진 단백질간의 단일 관계를 추출하는 것 이외에 이러한 관계들을 이용하여 클러스터링을 행한 결과 공통 현상에 작용하는 주요 단백질간의 관계들이 서로 군집화 됨을 확인 할 수 있었다. 또한 단순 이진관계가 아닌 클러스터링을 이용한 보다 상위 단계에서 단순 규칙들 간의 관계를 살펴봄으로써 단백질간의 이진관계를 추출하기 위한 데이터로 사용한 문헌 데이터에 나타나 있지 않은 1차 이상의 관계를 고찰 해 볼 수 있었다. 논문에서는 규칙 추출의 전체 과정과 함께 사용된 추출 시스템의 각 부와 데이터에 대한 설명을 다룬다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.262-267
• /
• 2022

이커머스 리뷰와 같은 특정 도메인의 경우, 텍스트 표현벡터 학습을 위한 양질의 오픈 학습 데이터를 구하기 어렵다. 또한 사람이 수동으로 검수하며 학습데이터를 만드는 경우, 많은 시간과 비용을 소모하게 된다. 따라서 본 논문에서는 수동으로 검수된 데이터없이 양질의 텍스트 표현벡터를 만들 수 있도록 두 단계의 대조 학습 시스템을 제안한다. 이 두 단계 대조 학습 시스템은 레이블링 된 학습데이터가 필요하지 않은 자기지도 학습 단계와 리뷰의 특성을 고려한 자동 레이블링 기반의 지도 학습 단계로 구성된다. 또한 노이즈에 강한 오류함수와 한국어에 유효한 데이터 증강 기법을 적용한다. 그 결과 스피어먼 상관 계수 기반의 성능 평가를 통해, 베이스 모델과 비교하여 성능을 14.03 향상하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.666-669
• /
• 2021

연구수행과정에서 발생하는 논문, 특허, 연구보고서 등의 과학기술데이터는 다양한 과학기술지식을 포함한다. 연구자들의 효과적인 연구를 지원하기 위해서는 과학기술데이터 분석을 통한 지식 발견이 필수적이다. 과학기술데이터는 일반 텍스트와는 다르게 다수의 전문용어를 포함하고 있으며, 고유의 양식이 정해져 있고, 텍스트 길이가 대체로 길다는 특징이 있다. 본 고에서는 이러한 과학기술데이터만의 고유한 특징을 반영한 인공지능 기반 자연어처리 기술들을 소개함으로써 과학기술데이터 분석에 대한 이해를 돕고자 한다.

• 인터넷정보학회논문지
• /
• 제20권1호
• /
• pp.1-10
• /
• 2019

빅 데이터에서 텍스트 마이닝은 많은 수의 데이터로부터 많은 특징 추출하기 때문에, 클러스터링 및 분류 과정의 계산 복잡도가 높고 분석결과의 신뢰성이 낮아질 수 있다. 특히 텍스트마이닝 과정을 통해 얻는 Term document matrix는 term과 문서간의 특징들을 표현하고 있지만, 희소행렬 형태를 보이게 된다. 본 논문에서는 탐지모델을 위해 텍스트마이닝에서 개선된 GA(Genetic Algorithm)을 이용한 특징 추출 방법을 설계하였다. TF-IDF는 특징 추출에서 문서와 용어간의 관계를 반영하는데 사용된다. 반복과정을 통해 사전에 미리 결정된 만큼의 특징을 선택한다. 또한 탐지모델의 성능 향상을 위해 sparsity score(희소성 점수)를 사용하였다. 스팸메일 세트의 희소성이 높으면 탐지모델의 성능이 낮아져 최적화된 탐지 모델을 찾기가 어렵다. 우리는 fitness function에서 s(F)를 사용하여 희소성이 낮고 TF-IDF 점수가 높은 탐지모델을 찾았다. 또한 제안된 알고리즘을 텍스트 분류 실험에 적용하여 성능을 검증하였다. 결과적으로, 제안한 알고리즘은 공격 메일 분류에서 좋은 성능(속도와 정확도)을 보여주었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.287-292
• /
• 2019

다양한 매체를 통해 텍스트 데이터가 빠르게 생성되면서 요약된 텍스트에 대한 수요가 증가하고 있다. 시퀀스-투-시퀀스 모델의 등장과 attention 기법의 출현은 추상적 요약의 난도를 낮추고 성능을 상승시켰다. 그러나 그동안 진행되어 온 attention 기반의 시퀀스-투-시퀀스 모델을 통한 요약 관련 연구들은 요약 시 텍스트의 카테고리 정보를 이용하지 않았다. 텍스트의 카테고리 정보는 Class Activation Map(CAM)을 통해 얻을 수 있는데, 텍스트를 요약할 때 핵심이 되는 단어와 CAM에서 높은 수치를 보이는 단어가 상당수 일치한다는 사실은 요약문 생성이 텍스트의 카테고리에 의존적일 필요가 있음을 증명한다. 본 논문에서는 요약문 생성 시 집중 정도에 대한 정보를 CAM을 통해 전달하여 attention matrix를 보강할 수 있는 모델을 제안하였다. 해당 모델을 사용하여 요약문을 생성하고 대표적인 요약 성능 지표인 ROUGE로 측정한 결과, attention 기반의 시퀀스-투-시퀀스 모델이 질이 떨어지는 요약문을 생성할 때 attention의 성능을 보강하여 요약문의 질을 높일 수 있음을 알 수 있었다.

• 한국ITS학회 논문지
• /
• 제17권3호
• /
• pp.87-97
• /
• 2018

교통사고 관련 제보는 비정형 데이터로서 교통사고를 유발한 가해자나 피해자의 관점이 아닌, 교통사고 발생 지점과 구간, 시간대에 있었던 타 운전자의 관점에서 생성된 교통정보의 가치를 가지고 있다. 그러나, 비정형 데이터인 교통제보가 빅 데이터로서 교통사고 통계나 교통관련 연구에 활용되지 못하였으나, 텍스트 마이닝 기법을 활용한 본 연구를 통해 비정형의 빅 데이터를 시각화하고 해석하여, 기존의 정형 데이터에서 분석하지 못한 정보를 도출할 수 있었다. 그리고 교통사고 발생으로 인한 도로상 영향을 파악할 수 있었다. 이러한 분석으로 교통제보의 트랜드를 파악하고, 운전자가 제보하는 "도로명", "지점명", "시간대"를 추출하였으며, 교통사고 발생으로 다른 운전자에게 가장 많은 영향을 미치는 지점과 구간의 파악이 가능하였다. 향후 실제 교통사고 데이터와 결합하여 교통제보와의 상관성 분석 등을 통해 비정형 데이터의 활용방안을 모색할 계획이다.