• 제목/요약/키워드: 단어 유사도 분석

검색결과 231건 처리시간 0.035초

Word2Vec 모델을 활용한 한국어 문장 생성 (Generating Korean Sentences Using Word2Vec)

  • 남현규;이영석
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.209-212
    • /
    • 2017
  • 고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

  • PDF

한국어 단어 공간 모델을 이용한 단어 의미 중의성 해소 (Word Sense Disambiguation using Korean Word Space Model)

  • 박용민;이재성
    • 한국콘텐츠학회논문지
    • /
    • 제12권6호
    • /
    • pp.41-47
    • /
    • 2012
  • 한국어 단어의 의미 중의성 해소 방법들은 주로 소규모의 의미 태그 부착 말뭉치나 사전 정보 등을 이용하여 엔트로피 정보, 조건부 확률, 상호정보 등을 각각 계산하고 이를 중의성 해소에 이용하는 방법 등으로 다양하게 제안되었다. 본 논문에서는 대규모로 구축된 의미 태그 부착 말뭉치를 이용하여 한국어 단어 벡터를 추출하고 이 벡터들 사이의 유사도를 계산하여 단어 의미 중의성을 해소하는 단어 공간 모델 방법을 제안한다. 세종 형태의미분석 말뭉치를 사용하여 학습하고 임의의 200문장(583 단어 종류)에 대해 평가한 결과, 정확도가 94%로 기존의 방법에 비해 매우 우수했다.

난이도 자동제어가 구현된 객관식 문항 생성 시스템 (A Sentence Generation System for Multiple Choice Test with Automatic Control of Difficulty Degree)

  • 김용범;김유섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.1404-1407
    • /
    • 2007
  • 본 논문에서는 객관식 문항을 난이도에 따라 자동으로 생성하는 방법을 고안하여, 학습자 수준에 적합하도록 다양하고 동적인 형태로 문항 제시를 할 수 있는 시스템을 제안하였다. 이를 위해서는 주어진 문장에서 형태소 분석을 통해 키워드를 추출하고, 각 키워드에 대하여 워드넷의 계층적 특성에 따라 의미가 유사한 후보 단어를 제시한다. 의미 유사 후보 단어를 제시할 때, 워드넷에서의 어휘간 유사도 측정 방법을 사용함으로써 생성된 문항의 난이도를 사용자가 원하는 수준으로 조정할 수 있도록 하였다. 단어의 의미 유사도는 동의어를 의미하는 수준 0에서 거의 유사도를 찾을 수 없는 수준 9 까지 다양하게 제시할 수 있으며, 이를 조절함으로써 문항의 전체 난이도를 조절할 수 있다. 후보 어휘들의 의미 유사도 측정을 위해서, 본 논문에서는 두 가지 방법을 사용하여 구현하였다. 첫째는 단순히 두 어휘의 워드넷 상에서의 거리만을 고려한 것이고 둘째는 두 어휘가 워드넷에서 차지하는 비중까지 추가적으로 고려한 것이다. 이러한 방법을 통하여 실제 출제자가 기존에 출제된 문제를 토대로 보다 다양한 내용과 난이도를 가진 문제 또는 문항을 보다 쉽게 출제하게 함으로써 출제에 소요되는 비용을 줄일 수 있었다.

프로파일링에 기초한 키워드 유형별 지적구조 분석에 관한 연구 - 국외 오픈액세스 분야를 중심으로 - (A Study on the Intellectual Structure Analysis by Keyword Type Based on Profiling: Focusing on Overseas Open Access Field)

  • 김판준
    • 한국문헌정보학회지
    • /
    • 제55권4호
    • /
    • pp.115-140
    • /
    • 2021
  • 본 연구는 국외 오픈액세스 분야를 대상으로 LISTA 데이터베이스에서 추출한 키워드 집합을 두 가지 유형(통제키워드, 비통제키워드)으로 구분하고, 각 키워드 유형별로 프로파일링에 기초한 지적구조 분석을 수행한 결과를 검토하였다. 또한, 이를 동시출현단어 분석에 기초한 지적구조 분석의 결과와 비교하였다. 이를 통해 지적구조 분석의 또 다른 방법인 프로파일링에서도 이와 유사한 결과가 도출되는 지를 살펴보고, 동시출현단어 분석과 프로파일링의 차이점을 검토하고자 하였다. 그 결과, 두 가지 키워드 유형별로 프로파일링에 기초한 지적구조 분석의 결과는 동시출현단어 분석과 유사한 차이가 있었다. 또한 프로파일링과 동시출현단어 분석에 기초한 지적구조 분석의 결과 간에도 주목할 만한 차이가 있었다. 따라서 키워드를 사용하는 지적구조 분석은 연구 목적에 따라 키워드 유형별 특성을 고려하여야 하며, 특정 분야의 연구 동향을 보다 명확하게 파악하기 위해서는 동시출현단어 분석보다 프로파일링에 기초한 지적구조 분석을 사용하는 것이 더 나은 결과를 기대할 수 있다.

단어가중치 기반 문서간 유사도 측정에 관한 연구 (A Research of Documents Similarity Measuring Based on Word Weight)

  • 김혜숙;박상철;김수형
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 춘계학술발표대회논문집
    • /
    • pp.198-201
    • /
    • 2003
  • 사용자의 요구 사항을 정확히 분석하여 효과적으로 개발 단계에 적용하기 위해 문서간의 의존성, 즉 상·하위 문서간의 연계성 등을 측정할 수 있는 방법에 대한 연구가 절실한데 이를 위해 적게는 두 용어가 얼마나 밀접한 관련이 있는가를 나타내는 용어간의 유사도 정보가 중요시된다. 이에 본 논문은 임의의 두 문서에 대한 다양한 유사도 측정방법을 통하여 최적의 유사도를 알아보고 두 문서간 유사여부를 검증하기 위해 Neural Network을 적용하였다. 이러한 유사도 측정과 검증 방법은 분산환경에서 입력되는 요구사항 문서들을 효율적으로 분류, 관리해 줄 수 있으며 사용자 요구사항 분석과 전체 Project 수행에 좋은 기초자료를 제공해 줄 수 있다.

  • PDF

정서관련 어휘 분석을 통한 내적 상태의 차원 연구

  • 김영아;김진관;박수경;오경자
    • 한국감성과학회:학술대회논문집
    • /
    • 한국감성과학회 1997년도 한국감성과학회 연차학술대회논문집
    • /
    • pp.209-214
    • /
    • 1997
  • 본 연구에서는 한국어의 정서관련 어휘분석을 통하여 내적체계의 차원을 알아보고자 하였다. 이를 위해, 연구1에서는 내적경험을표현하는 데 자주 쓰이는 어휘들을 자유연상을 통해 100개를 선정하고 유사성과 빈도평가작업을 통해 대표성을 갖는다고 판단되는 어휘22개를 선정하였다. 22개의 쌍별유사성을 7점척도로 평정한 자료를 다차원분석한 결과, 1차원(63%)은 쾌/불쾌, 2차원(25%)은 각성수준으로 해석될 수 있었고, 이는 기존의 차원모형의 주장과 거의 유사한 결과였다. 다른 어휘목록을 사용하였을 때의 결과와 비교하기 위해, 연구 2에서는 표정을 보고 정서를 추론하는 실험을 통해 자주 언급된 단어를 빈도순으로 22개 선정하였다. 이를 이용하여 같은 방법으로 다차원분석한 결과 연구 3에서는 연구 1,2의 어휘목록이 전체 내적체계의 차원 공간에서 차지하는 상대적인 위치를 비교하기 위해, 두 어휘목록을 포함한 83개 내적체계의 단어를 차원평정시켜 분석하였고, 연구결과가 차원모형에서 갖는 시사점이 논의 되었다.

  • PDF

Word2Vec 기반의 의미적 유사도를 고려한 웹사이트 키워드 선택 기법 (Web Site Keyword Selection Method by Considering Semantic Similarity Based on Word2Vec)

  • 이동훈;김관호
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.83-96
    • /
    • 2018
  • 문서를 대표하는 키워드를 추출하는 것은 문서의 정보를 빠르게 전달할 수 있을 뿐만 아니라 문서의 검색, 분류, 추천시스템 등의 자동화서비스에 유용하게 사용 될 수 있어 매우 중요하다. 그러나 웹사이트 문서에서 출현하는 단어의 빈도수, 단어의 동시출현관계를 통한 그래프 알고리즘 등의 기반으로 키워드를 추출할 경우 웹페이지 구조상 잠재적으로 주제와 관련이 없는 다양한 단어를 포함하고 있는 문제점과 한국어 형태소 분석의 정확성이 떨어지는 형태소 분석기 성능의 한계점 때문에 의미적인 키워드를 추출하는데 어려움이 존재한다. 따라서 본 논문에서는 의미적 단어 위주로 구축된 후보키워드들의 집합과 의미적 유사도 기반의 후보 키워드를 선택하는 방법으로써 의미적 키워드를 추출하지 못하는 문제점과 형태소 분석의 정확성이 떨어지는 문제점을 해결하고 일관성 없는 키워드를 제거하는 필터링 과정을 통해 최종 의미적 키워드를 추출하는 기법을 제안한다. 실 중소기업 웹페이지를 통한 실험 결과, 본 연구에서 제안한 기법의 성능이 통계적 유사도 기반의 키워드 선택기법보다 34.52% 향상된 것을 확인하였다. 따라서 단어 간의 의미적 유사성을 고려하고 일관성 없는 키워드를 제거함으로써 문서에서 키워드를 추출하는 성능을 향상시켰음을 확인하였다.

Word2Vec를 이용한 단어 의미 모호성 해소 (Word Sense Disambiguation using Word2Vec)

  • 강명윤;김보겸;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-84
    • /
    • 2015
  • 자연어 문서에 출현하는 단어에는 중의적 단어가 있으며, 이 단어에서 발생되는 의미 모호성은 대개 그 문맥에 따라 해소된다. 의미 모호성 해소 연구 중, 한국어 단어 공간 모델 방법은 의미 태그 부착 말뭉치를 이용하여 단어의 문맥 정보를 구축하고 이를 이용하여 모호성을 해결하는 연구로서 비교적 좋은 성능을 보였다. 본 연구에서는 Word2Vec를 이용하여 기존 연구인 한국어 단어 공간 모델의 단어 벡터를 효과적으로 축소할 수 있는 방법을 제안한다. 세종 형태 의미 분석 말뭉치로 실험한 결과, 제안한 방법이 기존 성능인 93.99%와 유사한 93.32%의 정확률을 보이면서도 약 7.6배의 속도 향상이 있었다.

  • PDF

자동 색인을 이용한 문서의 분류 (Classification of Documents using Automatic Indexing)

  • 신진섭;장수진
    • 한국컴퓨터정보학회논문지
    • /
    • 제4권1호
    • /
    • pp.21-27
    • /
    • 1999
  • 본 논문은 단어들의 유사도를 이용하여 문서들을 자동으로 분류하는 새로운 방법을 제안한다. 단어들 중에서 의미있는 단어들을 찾아내기 위하여 자동색인 방법을 이용하였으며. 두 번째로 본 논문에서 제안한 확률 모델을 이용하여 각 단어들의 문서와의 연관관계를 분석하였다. 이를 토대로 분류를 가능하게 하기 위한 프로파일을 생성한다. 본 논문에서는 유전자 알고리즘과 신경망에 관련된 10개의 문서에 대하여 실험하여 유전자 알고리즘과 신경망에 해당하는 프로파일을 생성하였다.

  • PDF

네트워크 분석을 통한 정부 R&D 사업 유사연구영역 분석

  • 정재웅;한유리;강인제;최산;정재연;박현우;전승표
    • 한국기술혁신학회:학술대회논문집
    • /
    • 한국기술혁신학회 2017년도 춘계학술대회 논문집
    • /
    • pp.559-570
    • /
    • 2017
  • 우리나라는 과거부터 현재까지 미래 성장동력 육성을 목표로 정부주도하에 국가 R&D 투자를 점진적으로 늘려왔다. 그 결과, 최근에는 GDP 대비 연구개발비 비중이 세계 최고 수준에 이르렀다. 이렇게 연구개발 예산의 양적인 확대와 함께 연구개발 예산의 효율적 활용은 더욱 중요한 과학기술 분야의 정책적 이슈로 부각되고 있다. 연구개발 예산의 효율적인 집행을 위해서는 R&D 사업의 유사 중복성의 검토가 필수적이지만, 대부분의 유사 중복성 검토는 전문가의 직관적인 판단에 근거하여 이루어져왔다. 하지만, 전문가의 직관에만 의지한 판단은 때로는 불명확하거나 잘못된 결과를 가져올 수도 있다. 따라서, 본 연구에서는 네트워크 분석을 통해 정부 R&D 사업의 유사 중복성을 체계적으로 검토하기 위한 데이터기반의 방법론을 제안하여 전문가의 직관에 의한 유사 중복성 검토를 보완할 수 있는 가능성을 모색하고자 한다. 먼저, 본 연구에서는 정부 R&D사업 유사영역의 전체적인 구조 및 형태와 국가과학기술연구회 소속 25개 정부출연연구기관 R&D사업의 유사영역의 전반적인 형태를 시각화하여 유사영역을 파악하고 직관적인 판단과 선택을 할 수 있는 의사결정 정보를 제공하는데 초점을 두었다. 이를 위해, NTIS의 2015년 데이터를 사용하여 과제 키워드 기반으로 동시단어출현 분석을 수행하였다. 본 분석을 통해 25개 기관의 세부적인 유사연구영역 형태를 제시하였으며, 국내의 과학기술정책적 또는 과학기술학적인 현상들을 시각화하였다. 그 결과, 국내 출연연 R&D사업이 기관별 고유영역이 확고히 보이는 Mode 1적인 형태와 사회경제적인 맥락과 필요 및 유망성을 따르고, 다학제적, 적용중심적이며 과제별로 다양한 과제수행기관들이 과제들을 동시에 수행하는 Mode 2적인 형태가 출연연의 R&D사업 내에 공존하고 있음을 확인하였다.

  • PDF