• Title/Summary/Keyword: 단어 표현

검색결과 568건 처리시간 0.03초

그래프 기반 텍스트 마이닝의 연구 동향 (Research Trends of Graph-Based Text Mining)

  • 장재영;한종빈;좌태빈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1074-1077
    • /
    • 2013
  • 텍스트 마이닝은 비정형 데이터를 가정하므로 텍스트를 단순화된 모델로 표현하는 것이 필요하다. 현재까지 가장 많이 사용되고 있는 모델은 텍스트를 단순한 단어들의 집합으로 표현한 벡터공간 모델이다. 그러나 최근 들어 단어들의 의미적 관계까지 표현하기 위해 그래프를 이용한 텍스트 표현 모델을 많이 사용하고 있다. 본 논문에서는 텍스트 마이닝을 위한 기존의 연구 중에서 그래프에 기반한 텍스트 표현 모델의 방법들과 그들의 특징들을 주제별로 제시한다.

문서의 키워드 추출에 대한 신경망 접근 (Neural Based Approach to Keyword Extraction from Documents)

  • 조태호;서정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.317-319
    • /
    • 2000
  • 문서는 자연어로 구성된 비정형화된 데이터이다. 이를 처리하기 위하여 문서를 정형화된 데이터로 표현하여 저장할 필요가 있는데, 이를 문서 대용물(Document Surrogate)라 한다. 문서 대용물은 대표적으로 인덱싱 과정에 의해 추출된 단어 리스트를 나타낸다. 문서 내의 모든 단어가 내용을 반영하지 않는다. 문서의 내용을 반영하는 중요한 단어만을 선택할 필요가 있다. 이러한 단어를 키워드라 하며, 기존에는 단어의 빈도와 역문서 빈도(Inverse Document Frequency)에 근거한 공식에 의해 키워드를 선택하였다. 실제로 문서내 빈도와 역문서 빈도뿐만 아니라 제목에 포함 여부, 단어의 위치 등도 고려하여야 한다. 이러한 인자를 추가할 경우 이를 수식으로 표현하기에는 복잡하다. 이 논문에서는 이를 단어의 특징으로 추출하여 특징벡터를 형성하고 이를 학습하여 키워드를 선택하는 신경망 모델인 역전파의 접근을 제안한다. 역전파를 이용하여 키워드를 판별한 결과 수식에 의한 경우보다 그 성능이 향상되었음을 보여주고 있다.

  • PDF

KAISER: 워드 임베딩 기반 개체명 어휘 자가 학습 방법을 적용한 개체명 인식기 (KAISER: Named Entity Recognizer using Word Embedding-based Self-learning of Gazettes)

  • 함영균;최동호;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.337-339
    • /
    • 2016
  • 본 논문에서는 한국어 개체명 인식의 성능 향상을 위하여 워드 임베딩을 활용할 수 있는 방법에 대하여 기술한다. 워드 임베딩이란 문장의 단어의 공기정보를 바탕으로 그 단어의 의미를 벡터로 표현하는 분산표현이다. 이러한 분산 표현은 단어 간의 유의미한 정도를 계산하는데 유용하다. 본 논문에서는 이러한 워드 임베딩을 통하여 단어 벡터들의 코사인 유사도를 통한 개체명 사전 자가 학습 및 매칭 방법을 적용하고, 그 실험 결과를 보고한다.

  • PDF

트위터 해시 태그를 이용한 End-to-end 뉴럴 모델 기반 키워드 추출 (End-to-end Neural Model for Keyphrase Extraction using Twitter Hash-tag Data)

  • 이영훈;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.176-178
    • /
    • 2018
  • 트위터는 최대 140자의 단문을 주고받는 소셜 네트워크 서비스이다. 트위터의 해시 태그는 주로 문장의 핵심 단어나 주요 토픽 등을 링크하게 되는데 본 논문에서는 이러한 정보를 이용하여 키워드 추출에 활용한다. 문장을 Character CNN, Bi-LSTM을 통해 문장 표현을 얻어내고 각 Span에서 이러한 문장 표현을 활용하여 Span 표현을 생성한다. Span 표현을 이용하여 각 Span에 대한 Score를 얻고 높은 점수의 Span을 이용하여 키워드를 추출한다.

  • PDF

단어기반 웹 문서 검색을 위한 효과적인 단어 가중치의 계산 (Efficient Term Weighting For Term-based Web Document Search)

  • 권순만;박병준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.169-171
    • /
    • 2004
  • 웹(WWW)은 방대한 양의 정보들과 함께 그에 따른 웹의 환경과 그에 따른 정보도 증가하게 되었다. 그에 따라 사용자가 찾고자 하는 정보가 잘 표현된 웹 문서를 효과적으로 찾는 것은 중요한 일이 되었다. 단어기반의 검색에서는 사용자가 찾고자 하는 단어가 나타난 문서들을 사용자에게 보여주게 된다. 검색 단어를 가지고 문서에 대한 가중치를 계산하게 되는데, 본 논문에서는 이러한 단어기반의 검색에서 단어에 대한 가중치를 효과적으로 계산하는 방법을 제시한다 기존의 방식은 단어가 나타난 빈도수에 한정되어진 계산을 하게 되는 반면, 수정된 방식은 태그별로 분류를 통한 차별화 된 가중치를 부여하여 계산된다. 기존의 방식과 비교한 결과 본 논문에서 제시한 수정된 방식이 더 높은 정확도를 나타냈다.

  • PDF

토픽 모델링을 이용한 이미지의 효율적인 표현방법 (Efficient Method for Image Representation Using Topic Modeling)

  • 이바도;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.319-322
    • /
    • 2011
  • 시각 피처를 사용한 이미지 표현은 이미지 검색 분야에서 이미 광범위하게 사용되고 있다. 특히 이미지 자체에 태깅이 되어있지 않거나 다른 추가 정보가 없는 경우에는 이미지 콘텐츠자체의 정보만으로 검색하기 위해서는 이러한 전처리가 필수적이다. 이미지로 부터 얻어진 시각적 피처들이 시각 단어로 사용되기 위해서는 k-means 와 같은 군집 알고리즘을 통한 시각적 피처의 양자화를 위한 전처리가 필요한데, 시각 단어의 개수 k를 정하는데 모호함이 있다. 본 논문에서는 임의의 k를 사용하더라도, 대표적 토픽 모델링 기법인 LDA (Latent Dirichlet Allocation)를 사용하여 데이터의 차원을 줄이게 되면 여러개의 시각적 단어들의 조합을 각각의 토픽이 나타낼 수 있게 됨을 이미지 검색 성능으로써 확인해 보고, 이러한 방법을 사용하면 표현형의 사이즈를 줄일 수 있고, 검색에 있어서도 이미지의 유사성을 더욱 효과적으로 표현할 수 있음을 확인해 본다.

이러닝 학습자의 감정 피드백을 위한 상황인식 미들웨어 설계 (Context-Aware Middleware Design for Emotion Feedback of E-Learning Learners)

  • 김진봉
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.670-672
    • /
    • 2022
  • 이러닝 시스템을 유용하게 활용하려면 학습자의 감정을 인식하여 학습자에게 적절한 피드백을 주는 것이 무엇보다 중요하다. 이러닝 시스템의 학습효율을 높이기 위해서는 학습자의 감정을 인식하여 그에 적절한 피드백을 제공하는 것이 중요하다. 본 논문에서는 학습자에 대한 적절한 피드백을 제공하기 위해서 상황인식 컴퓨팅 기술을 바탕으로 학습자의 감정표현단어를 상황정보로 사용하여 감정을 인식할 수 있는 상황인식 미들웨어로서 EF-CAM을 제안한다. EF-CAM은 감정표현단어의 범주화기술을 기반으로 온톨로지를 구축하여 학습자의 감정을 인식한다. 이러닝 학습자의 감정을 인식하기 위해서 학습자의 감정표현 단어를 상황정보로 사용하고, 학습자의 감정에 영향을 미칠 수 있는 환경정보(온도, 습도, 날씨 등)를 추가하여 인식한다. 학습자의 감정을 표현하기 위해서 OWL 언어를 사용하여 온톨로지를 구축하였다.

`단어-의미 의미-단어` 관계에 기반한 번역어 선택 (Translation Disambiguation Based on 'Word-to-Sense and Sense-to-Word' Relationship)

  • 이현아
    • 정보처리학회논문지B
    • /
    • 제13B권1호
    • /
    • pp.71-76
    • /
    • 2006
  • 기계번역에서 올바른 번역 문장을 구성하기 위해서는 원시 문장의 의미를 올바르게 표현하면서 자연스러운 목적 문장을 구성하는 번역어를 선택해야 한다. 본 논문에서는 '단어-의미 의미-단어' 관계, 즉 원시언어의 한 단어는 하나 이상의 의미를 가지고 각 의미는 각기 다른 목적언어 단어로 표현된다는 점에 기반하여, 원시 단어의 의미 분별과 목적 단어 선택을 결합하여 번역어를 선택하는 방식을 제안한다. 기존의 번역방식은 원시 단어에 대한 목적단어를 직접 선택하는 '단어-단어' 관계에 기반하고 있기 때문에, 원시언어를 목적 언어로 직접 대응시키기 위한 지식을 필요로 하여 지식 획득에 어려움이 있었다. 본 논문의 방식에서는 원시 단어의 의미 분별과 목적 언어의 단어 선택의 결합을 통해 번역어를 선택함으로써, 손쉽게 획득할 수 있는 원시 언어와 목적 언어 각각의 지식원에서 번역어 선택을 위한 지식을 자동으로 추출할 수 있다. 또한 원시 언어의 의미와 목적 언어의 쓰임새를 모두 반영하여 충실도와 이해도를 모두 만족시키는 보다 정확한 번역어를 선택할 수 있다.

Self-Attention 기반의 문장 임베딩을 이용한 효과적인 문장 유사도 기법 기반의 FAQ 시스템 (An Effective Sentence Similarity Measure Method Based FAQ System Using Self-Attentive Sentence Embedding)

  • 김보성;김주애;이정엄;김선아;고영중;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.361-363
    • /
    • 2018
  • FAQ 시스템은 주어진 질문과 가장 유사한 질의를 찾아 이에 대한 답을 제공하는 시스템이다. 질의 간의 유사도를 측정하기 위해 문장을 벡터로 표현하며 일반적으로 TFIDF, Okapi BM25와 같은 방법으로 계산한 단어 가중치 벡터를 이용하여 문장을 표현한다. 하지만 단어 가중치 벡터는 어휘적 정보를 표현하는데 유용한 반면 단어의 의미적인(semantic) 정보는 표현하기 어렵다. 본 논문에서는 이를 보완하고자 딥러닝을 이용한 문장 임베딩을 구축하고 단어 가중치 벡터와 문장 임베딩을 조합한 문장 유사도 계산 모델을 제안한다. 또한 문장 임베딩 구현 시 self-attention 기법을 적용하여 문장 내 중요한 부분에 가중치를 주었다. 실험 결과 제안하는 유사도 계산 모델은 비교 모델에 비해 모두 높은 성능을 보였고 self-attention을 적용한 실험에서는 추가적인 성능 향상이 있었다.

  • PDF

DNA 연산을 이용한 기억 인출 시뮬레이션 (Memory retrieval with a DNA computing)

  • 김준식;이은석;노영균;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (A)
    • /
    • pp.34-36
    • /
    • 2006
  • 본 연구는 특정 사물을 계속 접하면서 그 사물에 대한 기억 강도가 의식적 노력 없이도 점점 강화되는 암묵적 기억 인출과정 associative memory retrieval의 DNA 연산 가능성을 논한다. 예를 들어 한 표적 단어에 대한 노출이 이를 관찰하는 시스템에게 그 단어의 기억 강도를 강화시키는 반면, 그와 유사한 다른 단어는 천천히 감소되고 나머지 가장 다른 단어는 일찍 잊혀지는 현상을 생각할 수 있다. 이들 단어들과 알파벳 철자들을 DNA 염기서열로 표현하고 simulated annealing을 통하여 결합 결과를 얻는다. Ridge regression 형태의 supervised 학습을 통하여 한 가지 표적 단어가 많이 생성되도록 DNA 조각들의 개수 분포를 변화시켜 진행한다. 실험 예로 'tic' 'tac' 'toe' 세 가지 단어를 그 아이템으로 정하여 계속 자극받는 표적 단어의 갯수가 증가함을 DNA annealing 시뮬레이션을 통하여 확인할 수 있다. 또한 'tac' 과 't' 와 'c'를 공유하는 'tic' 의 감소 점도가 't'만을 공유하는 'toe' 보다 느림을 확인할 수 있다. 위의 실험들을 통해 연합기억associative memory의 암묵적 인출과정을 분자 층위에서 표현할 수 있음을 확인 할 수 있다.

  • PDF