• 제목/요약/키워드: 어휘모델

검색결과 306건 처리시간 0.023초

한-일 교차언어검색에서의 질의 문맥 정보를 이용한 대역어 변환 확률 모델 (Query Context Information-Based Translation Models for Korean-Japanese Cross-Language Informal ion Retrieval)

  • 이규찬;강인수;나승훈;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.97-104
    • /
    • 2005
  • 교차언어 검색 과정에서는 질의나 문서의 언어를 일치시키기 위한 변환 과정이 필수적이며, 이런 변환 과정에서 어휘의 중의성으로 인해 하나의 어휘에 대응하는 다수의 대역어가 생성됨으로써 사용자의 정보 욕구를 왜곡시켜 검색의 성능을 저하시킬 수 있다. 본 논문에서는 어휘 중의성 문제를 해결하기 위해서 질의의 문맥 정보를 이용하여 변환 질의의 확률을 구함으로써 중의성을 해소하는 방식을 제시하고, 질의의 길이, 중의도, 중의성을 가진 어휘의 비율 등에 따라서 성능이 어떻게 변하는지 비교함으로써 이 방법의 장점과 단점을 분석한다. 또한 현재의 단점을 보완하기 위한 차후 연구 방향을 제시한다.

  • PDF

모바일 웹 기반의 면접 환경 개선을 위한 감성어휘 분석 모형 설계 (Design of Emotional Vocabulary Analysis Model for Interview Environment Enhancement Based on Mobile Web)

  • 김용우;박석천;홍석우;김태엽
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1038-1041
    • /
    • 2013
  • 모바일의 발전과 확산으로 인해 모바일 웹의 필요성이 높아지고 있으며 사용성과 접근성이 용이한 웹 기반에서 인적자원 시스템이 구축되고 있는 사례가 많아지고 있다. 인적자원과 관련된 모바일 애플리케이션 개발과 활용성에 대한 연구가 여러 기업에서 진행 중이며 국내외 인적 자원 시스템을 개발하고 있는 기업들은 모바일을 활용하여 인적자원 시스템에 다양한 각도에서 접근하기 위해 노력하고 있다. 본 논문은 모바일 웹 기반의 인사 시스템에서 감성 어휘를 구축하여 면접자가 면접을 통해 받은 감성이나 인상에 대한 정보를 면접자의 모바일을 통해 설문지 형태로 모바일 웹 기반으로 한 채용 시스템에 입력하게 한다. 입력된 정보는 감성 어휘의 특정 형용사를 기준으로 구축된 감성 사전을 통해 면접 환경 개선에 필요한 정보들을 시각적으로 제공하는 모바일 웹 기반의 감성 어휘 분석 모형을 설계하여 면접 환경 개선을 할 수 있는 시각화 모델을 제안한다.

Bag of Characters를 응용한 단어의 벡터 표현 생성 방법 (Word Vectorization Method Based on Bag of Characters)

  • 이찬희;이설화;임희석
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.47-49
    • /
    • 2017
  • 인공 신경망 기반 자연어 처리 시스템들에서 단어를 벡터로 변환할 때, 크게 색인 및 순람표를 이용하는 방법과 합성곱 신경망이나 회귀 신경망을 이용하는 방법이 있다. 이 때, 전자의 방법을 사용하려면 시스템이 수용 가능한 어휘집이 정의되어 있어야 하며 새로운 단어를 어휘집에 추가하기 어렵다. 반면 후자의 방법을 사용하면 단어를 구성하는 문자들을 바탕으로 벡터 표현을 생성하기 때문에 어휘집이 필요하지 않지만, 추가적인 인공 신경망 구조가 필요하기 때문에 모델의 복잡도와 파라미터의 수가 증가한다는 단점이 있다. 본 연구에서는 위 두 방법의 한계를 극복하고자 Bag of Characters를 응용하여 단어를 구성하는 문자들의 집합을 바탕으로 벡터 표현을 생성하는 방법을 제안한다. 제안된 방법은 문자를 기반으로 동작하기 때문에 어휘집을 정의할 필요가 없으며, 인공 신경망 구조가 사용되지 않기 때문에 시스템의 복잡도도 증가시키지 않는다. 또한, 단어의 벡터 표현에 단어를 구성하는 문자들의 정보가 반영되기 때문에 Out-Of-Vocabulary 단어에 대한 성능도 어휘집을 사용하는 방법보다 우수할 것으로 기대된다.

  • PDF

다양한 어휘 가중치를 이용한 블로그 포스트의 자동 분류 (Automatic Classification of Blog Posts using Various Term Weighting)

  • 김수아;조희선;이현아
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제39권1호
    • /
    • pp.58-62
    • /
    • 2015
  • 대부분의 블로그 사이트에서는 미리 정의된 분류 체계에 따른 내용 기반 분류 환경을 제공하고 있으나, 작성된 포스트의 분류를 수동으로 선택해야하는 번거로움 때문에 대부분의 블로거들은 포스트에 대한 분류를 입력하지 않고 있다. 본 논문에서는 블로그 포스트의 자동 분류를 위해 블로그 사이트에서 분류별 문서를 수집하고 수집된 분류별 문서의 어휘빈도와 문서빈도, 분류별 빈도 등의 다양한 어휘 가중치 조합하여 블로그 포스트의 특성에 적합한 가중치 방식을 찾고자 한다. 실험에서는 본 논문에서 제안한 TF-CTF-IECDF를 어휘 가중치로 사용한 분류 모델이 77.02%의 분류 정확률을 보였다.

어휘별 분류기를 이용한 한국어 품사 부착의 성능 향상 (Improving Korean Part-of-Speech Tagging Using The Lexical Specific Classifier)

  • 최원종;이도길;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.133-139
    • /
    • 2006
  • 한국어 형태소 분석 및 품사 부착을 위해 지금까지 다양한 모델들이 제안이 되었으며 어절단위 평가로 95%를 넘는 성능을 보여주는 자동 태거가 보고 되었다. 하지만 형태소 분석 및 품사 부착은 모든 자연어처리 시스템의 성능에 큰 영향을 미치므로 작은 오류도 중요하다. 본 연구에서는 대상 어절의 주변 형태소의 어휘와 품사 자질, 그리고 어절 자질을 이용하여 분류기를 학습한 후 자동 태거의 품사 부착 결과를 입력으로 받아 후처리 하는 어휘별 분류기를 제안한다. 실험 결과 어휘별 분류기를 이용한 후처리만으로 어절단위 평가 6.86%$(95.251%{\rightarrow}95.577%)$의 오류가 감소하는 성능향상을 얻었으며, 기존에 제안된 품사별 자질을 이용한 후처리 방법과 순차 결합할 경우 16.91%$(95.251%{\rightarrow}96.054%)$의 오류가 감소하는 성능 향상을 얻을 수 있었다. 특히 본 논문에서 제안하는 방법은 형태소 어휘까지 정정할 수 있기 때문에 품사별 자질을 이용한 후처리 방법의 성능을 더욱 향상시킬 수 있다.

  • PDF

FSN과 반음절쌍 모델을 이용한 연결 숫자음 인식의 성능 향상에 관한 연구 (A Study on Improvement of the Connected Digit Recognition Using Finite State Network and Demi-Syllable Pair Models)

  • 서은경;최태웅;김순협
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(상)
    • /
    • pp.212-215
    • /
    • 2003
  • 본 논문에서는 숫자음과 단위음으로 구성된 한국어 연결 단위숫자음 인식의 성능 향상을 위하여 한국어 연결 단위숫자음의 특징을 분석하였다. 한국어의 단위숫자음은 숫자음 한음절과 단위음 한음절로 구성된 두음절의 연속적이고 반복적인 발성으로 나타난다. 숫자음에서의 인식 대상 어휘는 숫자음이라는 제한된 규칙을 갖는 가변 숫자음이다. 따라서 개수, 금액, 단위량, 거래량 등에서 나타날 수 있는 가변 숫자음을 인식하기 위하여 FSN(Finite State Network)을 구성하였다. 음향 모델은 한국어 숫자음과 같이 발성구간이 짧은 어휘의 연결음 (connected word)의 인식에서 효과적인 반음절쌍(demi-syllable pair) 모델을 이용하였다 실험결과, 화자 독립적인 가변 숫자음 60문장의 테스트 데이터에 대해서 문장 인식률 91.0%로 인식 성능을 향상시킬 수 있었다.

  • PDF

한국어 시각단어재인 과정에서의 음운정보 역할 규명을 위한 계산주의적 모델 (Computational Model for Proving Phonological Information a Role in Visual Korean Word Recognition)

  • 박기남;임희석;한군희
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2007년도 춘계학술발표논문집
    • /
    • pp.178-180
    • /
    • 2007
  • 본 논문은 인간의 언어정보처리 과정 중 시각단어재인(visual word recognition) 과정에서 음운정보와 철자정보의 역할 및 심성어휘집의 표상 형태를 알아보기 위해, 계산주의적 모델을 제안하고, 제안된 모델을 이용하여 실험하였다. 실험결과 계산주의적 모텔은 한국어에 대한 시각 단어재인 시 보이는 언어현상 중 음운, 철자 이웃 크기효과(phonological and orthographic neighborhood effect)를 나타냈으며, 이를 통해 한국어 시각단어재인 과정에서 심성어휘집이 음운정보로 표상되어 있다는 것을 시사하는 증거를 보였다.

  • PDF

심성어휘집내의 어절 표상 구조 (Eojeol Representation in Mental Lexicon)

  • 임희석;남기춘
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2002년도 춘계학술대회
    • /
    • pp.46-50
    • /
    • 2002
  • 인간의 지식 표상 규명에 대한 연구는 인간을 대상으로 연구하는 심리학에서뿐만 아니라 인간의 지능을 컴퓨터를 이용하여 구현하고자 하는 인공지능 학문에서도 오래 전부터 매우 중요한 화두가 되고 있다. 특히 인간의 지식 중 언어 지식에 대한 연구는 인간의 언어처리 과정 및 현상을 규명하고 이해하고자 하는 심리언어학에서뿐만 아니라 인간의 언어를 컴퓨터를 이용하여 처리하고자 하는 전산언어학 연구에 있어서도 매우 중요하다. 본 논문은 피험자를 대상으로 한 어절 재인 시 관찰되었던 언어 현상을 설명할 수 있는 시뮬레이션 모델과 이에 근거한 심성어휘집내에서의 한국어 어절의 표상 구조를 제안한다.

  • PDF

통계적 정보를 이용한 복합명사 검색 모델 (A Compound Term Retrieval Model Using Statistical lnformation)

  • 박영찬;최기선
    • 인지과학
    • /
    • 제6권3호
    • /
    • pp.65-81
    • /
    • 1995
  • 복합명사는 한국어에서 가장 빈번하게 나타나는 색인어의 한 형태로서,영어권 중심의 정보검색 모델로는 다루기가 어려운 언어 현상의 하나이다.복합명사는 2개 이상의 단일어들의 조합으로 이루어져 있고,그 형태 또한 여러가지로 나타나기 때문에 색인과 검색의 큰 문제로 여겨져 왔다.본 논문에서는 복합명사의 어휘적 정보를 단위명사들의 통계적행태(statistical behavior)에 기반 하여 자동 획득하고,이러한 어휘적 정보를 검색에 적용하는 모델을 제시하고자 한다.본 방법은 색인시의 복합명사 인식의 어려움과 검색시의 형태의 다양성을 극복하는 모델로서 한국어를 포함한 동양권의 언어적 특징을 고려한 모델이다.

  • PDF

다단계 기계학습 기법을 이용한 구묶음 성능향상 (Performance Improvement of Chunking Using Cascaded Machine Learning Methods)

  • 전길호;서형원;최명길;남유림;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.107-109
    • /
    • 2011
  • 기계학습은 학습말뭉치로부터 문제를 해결하기 위한 규칙을 학습하여 모델을 생성한다. 생성된 모델의 성능을 높이기 위해서는 문제에 적합한 자질들을 많이 이용해야 하지만 많은 자질들을 사용하면 모델의 생성시간은 느려지는 것이 사실이다. 이 문제를 해결하기 위해 본 논문에서는 다단계 기법을 적용한 기계학습으로 구묶음 시스템을 제작하여 학습모델의 생성시간을 단축하고 성능을 높이는 기법을 제안한다. 많은 종류의 자질들을 두 단계로 분리하여 학습하는 기법으로 1단계에서 구의 경계를 인식하고 2단계에서 구의태그를 결정한다. 1단계의 학습자질은 어휘 정보, 품사 정보, 띄어쓰기 정보, 중심어 정보를 사용하였으며, 2단계 학습자질은 어휘 정보와 품사 정보 외에 1단계 결과에서 추출한 구의 시작 품사 정보와 끝 품사 정보, 구 정보, 구 품사 정보를 자질로 사용하였다. 평가를 위해서 본 논문에서는 ETRI 구문구조 말뭉치를 사용하였다.

  • PDF