• 제목/요약/키워드: 어휘정보

검색결과 1,065건 처리시간 0.023초

사회적 이슈 리스크 유형 분류를 위한 어휘 자질 선별 (Linguistic Features Discrimination for Social Issue Risk Classification)

  • 오효정;윤보현;김찬영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.541-548
    • /
    • 2016
  • 사용자의 다양한 의견을 수렴하고 모니터링하기 위한 정보원으로써 소셜미디어의 활용은 이미 필수가 되었다. 본 논문은 소셜미디어에 나타난 다양한 이슈 중 여론 형성에 악영향을 끼치는 부정적 사건을 이슈 '리스크'로 정의, 그 세부 유형을 자동으로 분류하는 모델을 개발하고자 한다. 이를 위해 소셜미디어에 나타난 다양한 어휘 자질을 선별, 그 효과를 규명하였다. 특히 리스크 문장의 어휘 구문 특징을 표현하기 위한 자질로 워드 임베딩 학습 결과를 활용한다. 개별 어휘 자질의 특징을 분석하기 위해 언어분석 오류를 보정한 환경에서 수행한 실험 결과, 가장 효과가 큰 자질은 개체명 자질로 분석되었으며, 기본 어휘 자질을 기반으로 주요 술부의 워드 임베딩 결과와 워드 클러스터 결과를 모두 조합한 경우가 최고 성능을 보이는 것으로 파악되었다. 실제 소셜빅데이터에 적용하는 환경과 유사하도록 자동 언어분석 결과의 오류를 포함한 조건에서 실험한 결과, 고빈도 평가셋에서는 92.08%의 성능을, 전체 58개 범주 평가셋에서는 85.84%의 성능을 얻었다.

중심어 간의 공기정보를 이용한 한국어 확률 구문분석 모델 (Korean Probabilistic Syntactic Model using Head Co-occurrence)

  • 이공주;김재훈
    • 정보처리학회논문지B
    • /
    • 제9B권6호
    • /
    • pp.809-816
    • /
    • 2002
  • 구문 분석에서 가장 큰 문제점 중 하나는 구문 구조의 중의성을 어떻게 해결하느냐에 달려있다. 확률 구문 규칙은 구문 구조의 중의성 해결에 한 방법이 될 수 있다. 본 논문에서는 중심어 간의 공기정보를 이용하여 한국어 구문 구조의 중의성을 해결하는 확률 모델을 제안하고자 한다. 중심어는 어휘를 이용하기 때문에 자료 부족 문제를 야기시킬 수 있다. 이 때문에 자료부족 문제를 어떻게 해결하느냐에 따라 어휘 정보 사용의 성공이 결정될 수 있다. 본 논문에서는 구문규칙을 단순화하고 Back-off 방법을 이용해서 이 문제를 완화한다. 제안된 모델은 실험 데이터에 대해 약 84%의 정확도를 보였다.

변형 규칙 기반 한국어 품사 태거의 개선 (Improvement of Transformation Rule-Based Korean Part-Of-Speech Tagger)

  • 임희석;김진동;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.216-221
    • /
    • 1996
  • 변형 규칙 기반 품사 태거는 태깅 규칙을 코퍼스로부터 자동 학습할 수 있고, 견고하며 태깅 결과를 이해하고 분석하기가 쉽다는 장점을 갖는다. 이에 최근 한국어 특성을 고려한 변형 규칙 기반 한국어 품사 태거가 개발되었다. 하지만 이 시스템은 오류 어절의 어휘 정보를 사용하지 않으므로 수정 가능 오류에 대한 변형 규칙이 제대로 학습되지 못하며, 변형 규칙 적용 과정에 새로운 오류를 발생시킨다는 문제점이 있다. 이에 본 논문은 오류 어절의 어휘 정보를 참조할 수 있는 세부변형 규칙 추출을 이용한 변형 규칙 기반 한국어 품사 태거의 개선 방안을 제안한다. 어휘 정보를 참조할 수 있는 세부 변형 규칙의 형태는 특정 문맥 C에서 어절 W의 어절 태그 ${\alpha}$를 어절 태그 ${\beta}$로 변형한다와 같다. 제안된 방법은 약 10만 어절 크기의 학습 코퍼스에서 57개의 세부 규칙을 학습하였고, 2만 어절 크기의 실험코퍼스에 적용한 결과 95.6%의 정확도를 보임으로써 기존의 변형 규칙 기반 품사 태거의 정확도를 약 15.4% 향상시켰다.

  • PDF

OntoCloud와 워드넷 연결 (Linking OntoCloud to WordNet)

  • 박광희;김은경;최동현;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.172-176
    • /
    • 2010
  • 본 논문에서는 위키피디아의 '틀(temp late)'을 기조로 하여 작성된 온톨로지인 OntoCloud의 신뢰도를 보장하고 공유 및 재사용을 가능하게 하기 위하여 또 다른 어휘집합체인 워드넷(WordNet)과의 매핑을 한다. 온톨로지 매핑 기술은 온톨로지 개발 기술의 한 방법으로, 서로 비슷한 도메인을 대상으로 이미 구축되어진 서로 다른 다수의 온롤로지를 연결시킴으로서 하나의 풍부한 정보를 가지고 있는 연결망을 구축하는 방법이다. 본 논문에서는 OntoCloud와 워드넷을 두개의 온톨로지로 정의하고 각 온톨로지의 개념에 대한 정의문 비교 방법을 통해서 두개의 온톨로지에 존재하는 유사한 개념을 연결한다. 이렇게 매핑된 정보들은 OntoCloud 개념을 워드넷 어휘로 연결함으로써 개념에 대한 직관적인 이해를 돕고, 워드넷에 연결된 다른 시소러스 (예: SUMO, CoreNet 등)와 간접적으로 연결할 수 있는 틀을 마련한다. 또한 온톨로지의 상하위 계층정보를 자동으로 보강하는 등의 OntoCloud 유지보수에 활용될 수 있다. 본 논문의 실험에서는 두개의 서로 다른 온톨로지의 정의문에 사용된 어휘의 겹침 정도로 두개의 개념의 유사성을 판별하는 방법을 보인다. 본 논문에서 제시한 방법으로 약 73%의 개념 매핑에 성공하였으나, 추후 매핑 프로세스의 전처리 과정(약자 처리 및 복합명사 대응 모듈)을 추가하고 온톨로지의 구조적 특성을 활용하여 유사 개념 자동 매핑 기술을 향상시키고자 한다.

  • PDF

대화 수준 FrameNet 구축을 위한 생략된 프레임 논항 복원 연구 (A Study of Null Instantiated Frame Element Resolution for Construction of Dialog-Level FrameNet)

  • 노영빈;허철훈;함영균;정유성;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.227-232
    • /
    • 2020
  • 본 논문은 의미역 주석(Semantic Role Labeling) 자원인 FrameNet을 준구어 말뭉치인 드라마 대본에 주석하는 과정과 주석 결과에 대해 서술한다. 본 논문에서는 프레임 - 프레임 논항 구조의 주석 범위를 한 문장에서 여러 발화로 이루어진 장면 (Scene) 단위의 대본으로 확장하여 문장 내에서 생략된 프레임 논항(Null-Instantiated Frame Elements)을 장면 단위 대본 내의 다른 발화에서 복원하였다. 본 논문은 프레임 자동 분석기를 통해 동일한 드라마의 한국어, 영어 대본에 FrameNet 주석을 한 드라마 대본을 선발된 주석자에 의해 대상 어휘 적합성 평가, 프레임 적합성 평가, 생략된 프레임 논항 복원을 실시하고, 자동 주석된 대본과 주석자 작업 후의 대본 결과를 비교한 결과와 예시를 제시한다. 주석자가 자동 주석된 대본 중 총 2,641개 주석 (한국어 1,200개, 영어 1,461개)에 대하여 대상 어휘 적합성 평가를 실시하여 한국어 190개 (15.83%), 영어 226개 (15.47%)의 부적합 대상 어휘를 삭제하였다. 프레임 적합성 평가에서는 대상 어휘에 자동 주석된 프레임의 적합성을 평가하여 한국어 622개 (61.68%), 영어 473개 (38.22%)의 어휘에 대하여 새로운 프레임을 부여하였다. 생략된 프레임 논항을 복원한 결과 작업된 평균 프레임 논항 개수가 한국어 0.780개에서 2.519개, 영어 1.290개에서 2.253개로 증가하였다.

  • PDF

문서 클러스터를 위한 워드넷기반의 대표 레이블 선정 방법 (Representative Labels Selection Technique for Document Cluster using WordNet)

  • 김태훈;손미애
    • 인터넷정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.61-73
    • /
    • 2017
  • 본 연구에서는 문서 클러스터링 결과 도출된 개별 클러스터가 함축하고 있는 의미를 파악하는 데 필요한 어휘들의 정보량을 활용한 문서 클러스터 레이블링(Documents Cluster Labeling) 방법을 제안하였다. 이를 위해, 클러스터에 포함된 어휘들이 해당 클러스터에서 얼마나 중요한 비중을 차지하고 있는지 파악하기 위하여 각 어휘의 출현 빈도와 정보량을 이용한 어휘의 가중치를 계산한 후, 워드넷을 이용하여 클러스터에 포함된 어휘들의 최근접 공통 상위어를 후보 레이블로 식별하였다. 이상의 과정을 거쳐 식별된 후보 레이블의 정보량과 클러스터내에서의 중요도 가중치를 활용해, 해당 클러스터의 의미와 특징을 포괄적으로 표현할 수 있는 대표 레이블을 결정하였다. 본 연구의 우수성을 입증하기 위해 다음과 같은 실험을 수행하였다. 실험은 본 연구에서 제안한 방법에 따라 선정된 레이블과 후보 레이블을 워드넷에 프로젝션한 후, 워드넷상에서 이들 레이블의 위치(깊이)를 확인하였다. 또한 선정된 후보 레이블을 상위어로 갖고 있는 클러스터 내 어휘의 수를 도출하여, 휴리스틱 방법에 따라 선정된 레이블을 전문가가 찾은 대표 레이블과의 비교를 수행하였다. 평가지표로 후보 레이블의 적합성($Suitability_{cl}$)과 대표 레이블의 적절성($Appropriacy_{rl}$)을 활용하였다. 실험 결과, 본 연구에서 제안한 방법을 적용해 문서 클러스터 레이블링을 수행할 경우, 후보 레이블의 적합성의 경우 기존의 방법보다 약간 감소하지만 계산량이 기존 방법의 약 20% 정도로 감소하였으며, 대표 레이블의 적절성의 경우 기존의 방법보다 우수한 결과를 도출하는 것을 확인하였다.

일상어휘를 기반으로 한 선물 가격 예측모형의 개발

  • 김광용;이승용
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 1999년도 춘계공동학술대회-지식경영과 지식공학
    • /
    • pp.291-300
    • /
    • 1999
  • 본 논문은 인공신경망과 귀납적 학습방법 등의 인공지능 방법과 선물가격결정에 대한 기존 재무이론을 사용하여 일상어휘로 표현되는 파생상품 가격예측 모형을 개발하는데 있다. 모형의 개발은 1단계로 인공신경망이나 기존의 선물가격결정이론(평균보유비용모형이나 일반균형모형)을 이용하여 선물 가격을 예측한 후, 서로 비교분석하여 인공신경망 모형의 우수성을 확인하였다. 귀납적 학습방법중 CART 알고리듬을 사용하여 If-Then 규칙을 생성하였다. 특히 실용적 측면에서 선물가격의 일상어휘화를 통한 모형개발을 여러 가지 방법으로 시도하였다. 이러한 선물가격 예측모형의 유용성은 일단 If-Then 규칙으로 표현되어 전문가의 판단에 확실한 이론적인 근거를 제시할 수 있는 장점이 있으며, 특히 의사결정지원시스템으로 활용화 될 경우 매우 유용한 근거자료로 활용될 수 있다. 이러한 선물가격 예측모형은 정확성은 분석표본과 검증표본으로 나누어 검증표본에서 세가지 기본모형(평균보유비용모형, 일반균형모형, 인공신경망 모형)과 각 모형의 귀납적 학습방법 모형의 다른 3가지 어휘표현방법 3가지를 모형별로 비교 분석하였다. 분석결과 인공신경망모형은 상당한 예측력을 갖고 있는 것으로 판명되었으며, 특히 CART를 기반으로 한 일상어휘 기반의 선물가격예측 모형은 예측력이 높은 것으로 나타났다.

  • PDF

로치오 알고리즘을 이용한 학술지 논문의 디스크 립터 자동부여에 관한 연구 (A Study on the Automatic Descriptor Assignment for Scientific Journal Articles Using Rocchio Algorithm)

  • 김판준
    • 정보관리학회지
    • /
    • 제23권3호
    • /
    • pp.69-89
    • /
    • 2006
  • 로치오 알고리즘에 기초한 통제어휘 자동색인 또는 텍스트 범주화에서 적용되어 온 여러 성능 요인들을 재검토하였고, 성능 향상을 위한 기본적인 방법을 찾아보았다. 또한, 동등한 조건에서 통제어휘 자동색인을 위한 로치오 알고리즘 기반 방법의 성능을 다른 학습기반 방법들의 성능과 비교하였다. 결과에 따르면, 통제어휘 자동색인을 위한 로치오 기반의 프로파일 방법은 구현의 용이성과 컴퓨터 처리시간 측면의 경제성이라는 기존의 장점을 그대로 유지하면서도, 다른 학습기반 방법들(SVM, VPT, NB)과 거의 동등하거나 더 나은 성능을 보여주었다. 특히, 색인전문가의 색인작업을 지원하는 반-자동 색인의 목적으로는 비교적 높은 수준의 재현율을 유지하면서 학습 데이터의 증가에 따라 정확률이 크게 향상되는 로치오 알고리즘을 이용한 방법을 우선적으로 고려할 수 있을 것이다.

난이도 자동제어가 구현된 객관식 문항 생성 시스템 (A Sentence Generation System for Multiple Choice Test with Automatic Control of Difficulty Degree)

  • 김용범;김유섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.1404-1407
    • /
    • 2007
  • 본 논문에서는 객관식 문항을 난이도에 따라 자동으로 생성하는 방법을 고안하여, 학습자 수준에 적합하도록 다양하고 동적인 형태로 문항 제시를 할 수 있는 시스템을 제안하였다. 이를 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드에 대하여 워드넷의 계층적 특성에 따라 의미가 유사한 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 워드넷에서의 어휘간 유사도 측정 방법을 사용함으로써 생성된 문항의 난이도를 사용자가 원하는 수준으로 조정할 수 있도록 하였다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도를 찾을 수 없는 수준 9 까지 다양하게 제시할 수 있으며, 이를 조절함으로써 문항의 전체 난이도를 조절할 수 있다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 워드넷에서 차지하는 비중까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 보다 다양한 내용과 난이도를 가진 문제 또는 문항을 보다 쉽게 출제하게 함으로써 출제에 소요되는 비용을 줄일 수 있었다.

  • PDF