• 제목/요약/키워드: 어절 정보

검색결과 378건 처리시간 0.026초

한글 구조특성과 지역정렬 알고리즘을 사용한 표절 판정 시스템의 개발 (Plagiarised Reports Detection System using Characteristcs of Korean Language and Local alignment Algorithm)

  • 전명재;박상돈;박웅;허진영;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.727-729
    • /
    • 2004
  • 최근 논문의 표절 및 저작권과 관련하여 여러 가지 사건들이 일어나 많은 관심과 우려를 불러일으키고 있다. 특히 인터넷 통신의 발달 및 워드프로세서의 기능 향상으로 인해 일선 교육현장에서의 표절에 간한 문제는 더욱 커지고 있다. 하지만 문서의 표절 여부를 가려내는 작업은 쉬운 일이 아니다. 과제로 제출되는 일반 문서의 경우 본문의 내용이나 문서의 개수를 고려해 볼 때 사람이 직접 표절 여부를 검사하는 것은 매우 힘든 작업이다. 그리고 어간, 어미의 변형이 쉽게 일어날 수 있는 한글의 경우에는 영어에서처럼 어절 단위로 두 문서를 비교하여 표절여부를 판정하는 기존의 방법은 적합하지가 않다 본 논문에서는 한글로 작성된 텍스트 문서의 표절 여부를 효과적으로 검출해 내기 위한 새로운 방법들을 제시하고 있다. 그리고 실제로 수집된 다양한 문서 데이터 집합들에 대해 각각의 방법들을 테스트해 보고 실제 데이터에서 가장 효율적인 방범이 어떤 깃인지 제시한다

  • PDF

제어가능한 한국어 패러프레이즈 생성을 위한 제약들 (Constraints for Controllable Korean Paraphrase Generation)

  • 최승권;권오욱;김영길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.544-546
    • /
    • 2022
  • 언어학적 다양성을 가지는 고품질의 한국어 패러프레이즈 생성을 위해 패러프레이즈의 생성을 제어할 수 있는 제약이 필요하다. 원문을 패러프레이즈로 변경하기 위한 생성용 제약으로 6 개의 제약을 제시한다: 키워드 치환, 키워드 확장, 품사 변경, 패턴 변경, 구조 변경, 키워드 리스트, 생성 길이. 원문으로부터 패러프레이즈를 생성할 때 제약이 적용되는 정도를 시물레이션해 보았다. 10 어절 이하의 원문은 평균 2.05 번의 제약이 적용되면 패러프레이즈가 생성되었으며 키워드 치환, 마스킹에 의한 키워드 확장과 패턴 변경에 관한 제약이 가장 많이 적용되는 것을 확인하였다.

영한 논문 번역시스템의 수동 평가와 자동 평가의 관계 (A Study to Relation between Human Judgment and Automatic Evaluation in English-Korean Scientific Paper MT System)

  • 최승권;황영숙;김영길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.65-68
    • /
    • 2008
  • 본 논문은 영한 과학기술 논문 자동번역 시스템을 대상으로 이루어진 수동 평가와 자동 평가 사이의 상관 관계를 밝힘으로써 수동 평가와 자동 평가 중에 한쪽의 방법에 의해서 평가가 이루어지더라도 다른 쪽의 수치를 파악할 수 있도록 하는데 목표가 있다. 본 논문에서 수행한 수동 평가는 5 인의 전문 번역가가 5 회에 걸쳐 평가한 결과이며, 자동 평가는 영어 원문 1,000 문장에 대한 8 인이 번역한 8,000 문장의 정답문(References)과 자동번역 결과를 어절 단위와 형태소 단위로 N-gram 비교를 통해 평가된 결과이다. 본 논문에서 도출된 식은 사용하는 평가 집합과 대상 번역 시스템 별로 자동 평가와 수동 평가 간의 상관 계수를 만들어내고 수동 번역률을 구하는 식을 동일하게 적용한다면 시스템의 자동 평가 결과로부터 성능을 직관적으로 해석하는데 상당히 도움이 될 것이다.

Bayes 정리에 기반한 개선된 동형이의어 분별 모델 (An Improved Homonym Disambiguation Model based on Bayes Theory)

  • 이왕우;이재흥;이수동;옥철영;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.465-471
    • /
    • 2001
  • 본 연구에서는 동형이의어 분별을 위하여 허정(2000)이 제시한 "사전 뜻풀이말에서 추출한 의미정보에 기반한 동형이의어 중의성 해결 시스템" 이 가지는 문제점과 향후 연구과제로 제시한 문제들을 개선하기 위하여 Bayes 정리에 기반한 동형이의어 분별 모델을 제안한다. 의미 분별된 사전 뜻풀이말 코퍼스에서 동형이의어를 포함하고 있는 뜻풀이말을 구성하는 체언류(보통명사), 용언류(형용사, 동사) 및 부사류(부사)를 의미 정보로 추출한다. 동형이의어의 의미별 사전 출현 빈도수가 비교적 균등한 기존 9개의 동형이의어 명사를 대상으로 실험하여 비교하였고, 새로 7개의 동형이의어 용언(형용사, 동사)을 추가하여 실험하였다. 9개의 동형이의어 명사를 대상으로 한 내부 실험에서 평균 99.37% 정확률을 보였으며 1개의 동형이의어 용언을 대상으로 한 내부 실험에서 평균 99.53% 정확률을 보였다. 외부 실험은 국어 정보베이스와 ETRI 코퍼스를 이용하여 9개의 동형이의어 명사를 대상으로 평균 84.42% 정확률과 세종계획의 350만 어절 규모의 외부 코퍼스를 이용하여 7개의 동형이의어 용언을 대상으로 평균 70.81%의 정확률을 보였다.

  • PDF

순환 신경망 병렬화를 사용한 의존 구문 분석 및 의미역 결정 통합 모델 (Joint Model for Dependency Parser and Semantic Role Labeling using Recurrent Neural Network Parallelism)

  • 박성식;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.276-279
    • /
    • 2019
  • 의존 구문 분석은 문장을 구성하는 성분들 간의 의존 관계를 분석하고 문장의 구조적 정보를 얻기 위한 기술이다. 의미역 결정은 문장에서 서술어에 해당하는 어절을 찾고 해당 서술어의 논항들을 찾는 자연어 처리의 한 분야이다. 두 기술은 서로 밀접한 상관관계가 존재하며 기존 연구들은 이 상관관계를 이용하기 위해 의존 구문 분석의 결과를 의미역 결정의 자질로써 사용한다. 그러나 이런 방법은 의미역 결정 모델의 오류가 의존 구문 분석에 역전파 되지 않으므로 두 기술의 상관관계를 효과적으로 사용한다고 보기 어렵다. 본 논문은 포인터 네트워크 기반의 의존 구문 분석 모델과 병렬화 순환 신경망 기반의 의미역 결정 모델을 멀티 태스크 방식으로 학습시키는 통합 모델을 제안한다. 제안 모델은 의존 구문 분석 및 의미역 결정 말뭉치인 UProbBank를 실험에 사용하여 의존 구문 분석에서 UAS 0.9327, 의미역 결정에서 PIC F1 0.9952, AIC F1 0.7312의 성능 보였다.

  • PDF

한국사회에서 소셜 미디어의 성공과 실패 요인 분석: 인터뷰 데이터에 대한 어절분석·네트워크 분석을 중심으로 (Success Factor and Failure Factor of Social Media in Korean Society: Based on the Word Analysis and the Network Analysis on Interview Data)

  • 홍주현;김경희
    • 한국콘텐츠학회논문지
    • /
    • 제19권1호
    • /
    • pp.74-85
    • /
    • 2019
  • 싸이월드와 아이러브스쿨 같은 소셜 미디어가 한국사회에서 실패한 요인을 찾기 위해 계층 모델의 관점에서 전문가 인터뷰를 분석했다. 이용자 측면, 매체적 측면, 조직적 측면에서 성공 요인을 찾은 결과, 연결을 통한 소셜 관계를 충족시키고, 이용자 맞춤형 콘텐츠를 제공하고, 소셜 미디어 서비스를 선점한 미디어가 성공했다. 페이스북과 카카오톡이 대표적인 소셜 미디어라고 할 수 있다. 실패한 요인으로는 이용자의 취향이나 욕구를 외면하고, 메시지를 공유하는 플랫폼으로서의 확장에 한계가 있고, 급변한 커뮤니케이션 환경에 대응하지 못한 것을 지적했다. 대표적인 서비스로 아이러브스쿨, 싸이월드, 트위터가 있다. 인터뷰를 통해 소셜 미디어가 생존하려면 환경 변화에 민감해야 한다는 것을 밝혔다. 전문가들은 4차 산업혁명 시대 AI, 빅데이터를 접목한 서비스를 제공하는 등 지속적으로 변화해야 한다는 제안을 했다.

한국어 정보검색을 위한 색인어 추출방법에 관한 연구 (A Study on Extraction for Korean Information Retrieval System)

  • 최순우;김상범;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.73-80
    • /
    • 2003
  • 본 논문에서는 색인 방법에 따른 한국어 정보검색시스템의 성능차이를 살펴보고 이를 분석하여 보다 검색성능을 높이기 위한 색인어 추출방법을 제안한다. 이를 위해 기존의 대표적인 색인법이라 할 수 있는 명사단위 색인법, 형태소 단위 색인법, 바이그램 단위 색인법, 어절단위 색인법에 대하여 실험을 통한 비교분석을 하였고, 질의별 분석을 통해 검색성능에 영향을 주는 요소들을 찾아내었다. 그 결과 빈칸, 면사분해, 명사, 동사, 형용사, 숫자등을 포함한 실질 형태소, 형식형태소의 제거, 외래어 등 추정명사의 분해 및 발음확장, 후방 단음절 명사로 구성된 복합명사의 분해, 의미를 변절시키는 바이그램 제거, 분해된 명사 수에 따른 복합명사 첨가 및 제거 등이 그 요소임을 확인할 수 있었다. 이를 토대로 각 색인법의 장점을 살려 색인 및 검색을 수행하여 보았다. 제안하는 방법은 동일한 실험집합에서 일관성 있은 성능향상을 가져다 줌을 알 수 있었다.

  • PDF

예측 기반 형태소 분석기와 결합 독립 모형 기반 품사 태거 및 고속 명사 추출기 (A Predictive Morphological Analyzer, A Part-of-Speech Tagger Based on Joint Independence Model, and A Fast Noun Extractor)

  • 이상주;박봉래;김진동;류원호;이도길;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회 및 제1회 형태소 분석기 및 품사태거 평가 워크숍
    • /
    • pp.145-150
    • /
    • 1999
  • 본 논문에서는 한국어 자연어 정보처리 기술 표준화를 위한 형태소 분석기 및 품사 태거 평가 대회(MATEC99)에 참여한 고려대학교의 형태소 분석기, 품사 태거, 그리고 명사 추출기를 설명하고 평가 결과를 기술한다. 형태소 분석기는 입력된 어절을 우에서 좌로 분석하며 각 상태에 대한 예측 정보를 활용하여 불필요한 분석 후보에 대한 탐색을 수행하지 않도록 한다. 품사 태거로는 띄어쓰기를 고려한 형태소 품사 2-그램 확률과 띄어쓰기를 고려한 형태소 어휘-품사 3-그램 어휘 확률을 이용하는 결합 독립 모형을 사용한다. 고속 명사 추출기는 고속의 FST 사전과 한국어 특성을 반영한 휴리스틱을 이용한다.

  • PDF

베이지안 추론망 기반 색인어의 심층 분석 방법 (Deep Analysis on Index Terms Using Baysian Inference Network)

  • 송사광;이승우;정한민
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.84-87
    • /
    • 2012
  • 대분분의 검색 엔진에서 색인어의 추출 및 가중치의 부여방법은 매우 중요한 연구주제로, 검색 엔진의 성능에 큰 영항을 미친다. 일반적으로, 불용어 리스트를 통해 성능에 긍정적인 영향을 미치지 않는 색인어를 제거하거나, 핵심어 또는 전문용어 등 상대적으로 중요한 색인어를 강조하는 방식을 사용하여 검색엔진의 성능을 향상시킨다. 하지만, 어절 분리, 형태소 분석, 불용어 처리 등 검색엔진의 단계열 처리 과정에서, 개별적인 색인어가 검색엔진에 미치는 영향을 분석하고 이를 반영한 검색 엔진 성능 향상 기법은 제시되지 않고 있다. 따라서 본 연구에서는 각 단계별 처리 과정에서 생성된 색인어가 미치는 영항을 계랑화하여 긍정적/부정적 색인어를 분류하는 방법론을 소개하고, 이를 기반으로 색인어 가중치를 조절함으로써 검색 엔진의 성능 또한 향상 가능한 방법을 소개한다.

  • PDF

ELMo와 멀티헤드 어텐션을 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing Using ELMo and Multi-head Attention)

  • 박성식;오신혁;김홍진;김시형;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.8-12
    • /
    • 2018
  • 구문 분석이란 문장을 단어, 어절, 구 등의 구성 성분으로 분해하고 각각의 구조적 정보를 분석하여 문장의 구조를 알아내는 작업을 말한다. 최근 의존 구문 분석은 심층 신경망을 이용하는 방법이 활발히 연구되고 있다. 특히 포인터 네트워크를 사용하는 방법은 다른 심층 신경망보다 높은 성능을 보이고 있다. 그러나 포인터 네트워크의 사용만으로 의존 관계와 의존 관계명을 예측하는 것은 한계가 존재한다. 본 논문에서는 최근 사용하는 단어 표상 방법 별로 비교 실험을 진행하고 의존 구문 분석에서 GloVe의 성능이 가장 좋음을 보인다. 또한 언어 모델을 통한 단어 표상 방법인 ELMo와 멀티헤드 어텐션을 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

  • PDF