• 제목/요약/키워드: 자질구조

검색결과 133건 처리시간 0.026초

Maximum Entropy 모델을 이용한 나열 및 병렬형 인식 (Syntax Analysis of Enumeration type and Parallel Type Using Maximum Entropy Model)

  • 임수종;이창기;허정;장명길
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.1240-1245
    • /
    • 2006
  • 한국어 문장을 구조 분석할 때에 모호성을 발생시키는 유형 중의 하나가 나열 및 병렬형이다. 문장 구조 복잡도를 증가시키는 나열 및 병렬형을 구조 분석 전에 미리 하나의 단위로 묶어서 처리하는 것이 문장 구조 분석의 정확도를 높이는데 중요하다. 본 연구에서는 형태소 태그를 이용한 기본 규칙으로 문장을 청크 단위로 분할하고 분할된 청크 중에서 나열형을 인식하여 해당되는 청크들을 하나의 나열 청크로 통합하여 청크의 개수를 줄인다. 병렬형에 대해서는 반복되는 병렬 청크의 범위와 생략된 용언을 복원한다. 이러한 인식은 첫 단계로 기호(symbol)를 중심으로 구축된 간단한 규칙으로 인식을 하고 이러한 규칙에 해당되지 않는 형태의 나열 및 병렬형은 Maximum Entropy 모델을 이용하여 적용한다. ME모델은 어휘자질, 형태소 품사 자질, 거리 자질, 의미자질, 구 단위 태그 자질(NP:명사구, VP:동사구, AP:형용사구), BIO 태그(Begin, Inside, Outside) 자질에 대한 ME(Maximum Entropy) 모델을 이용하여 구축되었다.

  • PDF

듀얼 SMS 스팸 필터링: 그래프 기반 자질 가중치 기법 (Dual SMS SPAM Filtering: A Graph-based Feature Weighting Method)

  • 황재원;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.95-99
    • /
    • 2014
  • 본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

  • PDF

CRFs 기반의 한국어 의미역 결정 (Korean Sematic Role Labeling Using CRFs)

  • 박태호;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.11-14
    • /
    • 2015
  • 의미역 결정은 서술어와 논항들 사이의 의미 관계를 결정하는 문제이다. 의미역 결정을 위해 구구조 정보와 의존 구조 정보 등의 다양한 자질에 대한 실험이 있었다. 논항은 구문 구조에서 얻을 수 있는 서술어와 논항 관계에 많은 영향을 받지만 구문 구조가 변경되어도 변하지 않는 논항의 의미로 인해 의미역 결정에 어려운 점이 있다. 본 논문에서는 한국어 의미역 결정 문제를 위해 Korean Propbank 말뭉치와 직접 구축한 의미역 말뭉치를 학습 말뭉치로 사용하였다. 본 논문에서는 이전에 연구된 구문 정보와 그 외의 자질들에 대한 성능을 검증하였다. 본 논문에서 제시하는 자질들의 성능을 검증하기 위해 CRF를 사용하였고, 제시된 새로운 자질을 사용하여 논항의 인식 및 분류에서 76.25%(F1)의 성능을 보였다.

  • PDF

시간부사 '증경(曾經)', '이경(已經)' 시상(時相) 자질 중한 대조분석 (Time Adverb 'Cengjing (曾經)' and 'Yijing (已經) Tense and Aspect of the Comparative Analysis of the Characteristics of China and South Korea)

  • 한경숙
    • 비교문화연구
    • /
    • 제42권
    • /
    • pp.451-474
    • /
    • 2016
  • 본고는 현대중국어 시간부사 '증경(曾經)'과 '이경(已經)'의 관련 통사구조와 이에 상응하는 한국어 통사구조에 대한 고찰을 통하여 관련 구조 의미소 '시상(時相)(tense and aspect)' 특징을 분석하였고 두 부사의 차이점을 찾아보았다. 아울러 중한 두 언어에서 이들이 나타내는 자질의 같은 점과 다른 점을 찾아냈고 이를 통하여 분석의 타당성(Descriptive adequacy)을 확보하고 나아가 설명적 타당성(Explanatory adequacy)으로 이끌어 내고자 하였다. '증경(曾經)'은 상 범주의 하위 범주인 '과거경험상', '성사상', '과거지속상' 등 자질을 갖고 있고 시제 범주의 하위 범주인 '과저시제' '과거경험상' 등 자질을 겸하고 있기도 하다. 한국어의 '_었(았)_', '_었었_', '_적이 있_'과 대응관계를 이루고 있다. '증경(曾經)'은 하나의 통사구조에서 상과 시제 두 가지 자질을 갖고 있다. '이경(已經)'은 '완료상'과 완료상의 하위 범주인 '과거경험상', 그리고 미완료상의 하위범주인 '과거지속상' 등 자질을 갖고 있고 시제 범주의 하위 범주인 '과거시제', '현재시제', '미래시제' 등 시제 자질도 갖고 있으며 '상태의 변화' 자질도 갖고 있다. 한국어의 '_었(았)_', '_고_', '_었었_', '곧' 등과 대응관계를 이루고 있다. '증경(曾經)'과 동태조사 '과(過)'를 비교하자면 '증경(曾經)'은 상 범주와 시제 범주를 겸하고 있다지만 '과(過)'는 그 수식 범위가 술어밖에 없기에 상적 특징만 갖고 있다. 그리고 심층구조에서 '증경(曾經)'은 술어의 앞에서 술어를 포함한 술어 뒤에 출현한 조사, 목적어, 보어 모두와 통어 관계를 갖고 있지만, '과(過)'는 그 앞의 술어만 수식한다. '이경(已經)'이 '진행상' 자질을 가진 부사 '재(在)'를 수식할 수 있지만, '증경(曾經)'은 불가능하다. 중국어와 한국어 두 언어는 이렇게 시간 표현에서 많은 차이를 보이고 있다. 중국어의 '과거경험상', '성사상', '과거지속상' 등 상 자질과 '과거시제' 자질을 갖고 있는 시간부사 '증경(曾經)', 그리고 '과거경험상', '과거지속상' 등 상 자질 그리고 '과거시제', '현재시제', '미래시제' 등 시제 자질을 갖고 있는 시간부사 '이경(已經)' 등이 한국어에서는 '완료상', '지속상' 자질과 '과거시제' 자질로 대응된다는 것을 알 수 있다. 그만큼 중국어와 한국어 두 언어의 시간 체계는 서로 많은 차이를 보이고 있다. 이는 한중 두 나라 사람들의 사유 방식의 차이와 문화적인 차이에서 비롯됐을 것으로 사료된다.

평면적 어휘 자질들을 활용한 확장 혼합 커널 기반 관계 추출 (Relation Extraction based on Extended Composite Kernel using Flat Lexical Features)

  • 최성필;정창후;최윤수;맹성현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권8호
    • /
    • pp.642-652
    • /
    • 2009
  • 본 논문에서는 기존의 관계 추출 성능을 향상시키기 위해서 기존의 자질 기반 방법에서 추구하였던 개체 주변 문맥 다양성 정보의 추출 및 적용과 커널 기반 방법의 강점인 관계 인스턴스에 대한 구문 구조적 자질 정보의 통합 활용을 통한 확장된 혼합 커널을 제안한다. ACE RDC 코퍼스를 활용한 실험에서, 기존의 합성곱 구문 트리 커널 기반 혼합 커널을 기반으로 총 9 종류의 평면적 어휘 자질 집합을 정의하고 이를 적용함으로써 성능 향상에 기여하는 어휘 자질 유형을 파악할 수 있었으며, 적은 규모의 학습 집합으로도 현재 최고 수준의 성능에 필적하는 결과를 얻을 수 있었다. 결론적으로 관계 추출을 위한 세 가지 핵심 정보, 즉 개체 자질, 구문 구조적 자질, 주변 문맥 어휘 자질을 통합 적용하면 관계 추출의 성능을 향상시킬 수 있음을 알 수 있었다.

한국어 명사의 내재적/외재적 의미특징 연구: 곡식, 과일, 채소 범주를 중심으로 (A Study of Intrinsic and Extrinsic Semantic Features of Korean Nouns: Focusing on the Categories of Grains, Fruits and Vegetables)

  • 정영철;이정모
    • 인지과학
    • /
    • 제15권1호
    • /
    • pp.43-67
    • /
    • 2004
  • 본 연구는 곡식, 과일, 채소의 범주에 속하는 39개 한국어 명사의 의미자질을 질적 연구방법론의 관점에서 분석하였다. 대학생을 대상으로 한 설문조사에서, 연구 대상자들에게 각 어휘항목과 연상되는 의미자질을 열거하도록 하였다. 설문자료를 귀납적으로 분석한 결과, 과일의 범주에 속하는 본보기들의 개념형성은 외재적 의미자질보다 내재적 의미자질에 의해 압도적인 영향을 받았고. 곡식과 채소범주에 속하는 본보기들은 내재적 의미자질보다는 외재적 의미자질이 더욱 중요하게 그들의 개념형성에 영향을 미쳤다. 내재적 의미자질은 지시대상 자체에 내재하는 보편적인 의미자질을 말하며, 외재적 의미자질은 특정한 상황에서의 대상과 관련된 개인적 경험이나 다른 대상과의 관계 속에서 형성되어지는 의미자질을 말한다. 하지만, 본 연구는 부록의 도표에서 나타나는 바와 같이, 한 종류의 의미자질(즉, 내재적 혹은 외재적 의미자질)이 전적으로 각 범주 본보기들의 개념을 형성하고 있지 않음을 보여준다. 과일범주 어휘의 개념에서 내재적 의미자질이 매우 두드러졌고 곡식과 채소 범주의 어휘 개념에서는 외재적 의미 자질이 두드려졌지만, 그 두 가지 종류의 의미자질들이 각 어휘의 개념형성에 일정부분씩 기여하는 것으로 드러났다.

  • PDF

한국어 영형 대명사의 식별 알고리듬 (An algorithm for identification of zero pronouns in Korean)

  • 이춘숙;노용균
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.353-357
    • /
    • 1998
  • 이 논문은 대용어의 한 유형으로 인정되는 영형 대명사를 식별하기 위한 것이다. 이를 위해서는 한국어 통사 규칙들과 사전 항목들이 필요하다. 사전 항목들은 각각 자질과 값을 갖고, 통사 규칙 내부에는 이런 자질과 값들이 명세된다. 이 통사 규칙들을 토대로 하여, 발화체에 통사 구조들을 부여한다. 영형 대명사는 자질과 값을 명세한 통사 규칙을 씀으로써 식별이 가능하다. 영형 대명사는 주어와 보충어로 나뉘는데, 영형 주어는 동사가 머리인 S의 subj 자질 값이 cov(covert)일 때 식별된다. 영형 보충어는 다시 명사구와 동사구의 covc (covert complement) 자질 값이 0이 아닐 때 식별된다. 이러한 자질과 값으로 영형 대명사를 식별하는 하나의 알고리듬을 제안한다.

  • PDF

자질 가중치 학습을 이용한 한국어 의존파싱 (Korean Dependency Parsing Based on Learning Weights of Features)

  • 김영태;나동열;임수종
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.63-67
    • /
    • 2010
  • 본 논문에서는 자질(feature)의 가중치를 학습하여 이용하는 기계학습 기반 한국어 의존 파싱 기법을 소개한다. 이를 위하여 모든 가능한 의존관계에 대하여 각 의존관계마다 일정한 수의 자질을 생성한다. 자질마다 가중치에 의하여 그 중요도를 나타낸다. 자질의 가중치 값은 의존관계가 태깅된 구문구조 학습 말뭉치를 이용하여 학습한다. 이를 위해 본 논문에서는 간단한 가중치 기계학습 기법을 제시한다. 실험을 위한 언어 자원으로는 구구조부착 세종말뭉치를 변환하여 구한 의존관계 부착 말뭉치를 사용하였다. 실험 결과 약 86.5%의 정확률을 가지는 의존파싱이 가능함을 관찰하였다.

  • PDF

다단계 기계학습 기법을 이용한 구묶음 성능향상 (Performance Improvement of Chunking Using Cascaded Machine Learning Methods)

  • 전길호;서형원;최명길;남유림;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.107-109
    • /
    • 2011
  • 기계학습은 학습말뭉치로부터 문제를 해결하기 위한 규칙을 학습하여 모델을 생성한다. 생성된 모델의 성능을 높이기 위해서는 문제에 적합한 자질들을 많이 이용해야 하지만 많은 자질들을 사용하면 모델의 생성시간은 느려지는 것이 사실이다. 이 문제를 해결하기 위해 본 논문에서는 다단계 기법을 적용한 기계학습으로 구묶음 시스템을 제작하여 학습모델의 생성시간을 단축하고 성능을 높이는 기법을 제안한다. 많은 종류의 자질들을 두 단계로 분리하여 학습하는 기법으로 1단계에서 구의 경계를 인식하고 2단계에서 구의태그를 결정한다. 1단계의 학습자질은 어휘 정보, 품사 정보, 띄어쓰기 정보, 중심어 정보를 사용하였으며, 2단계 학습자질은 어휘 정보와 품사 정보 외에 1단계 결과에서 추출한 구의 시작 품사 정보와 끝 품사 정보, 구 정보, 구 품사 정보를 자질로 사용하였다. 평가를 위해서 본 논문에서는 ETRI 구문구조 말뭉치를 사용하였다.

  • PDF

레스토랑 영역에서의 자질기반 대화시스템 구현 (Implementation of Feature-based Dialog System in Restaurant domain)

  • 양현석;김동주;설용수;정성훈;김한우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.425-428
    • /
    • 2011
  • 서비스 로봇과 펫 로봇 등 사람과 직접 상호작용하는 로봇기술의 필요성이 증가하고 있다. 대화시스템은 자연언어처리 기술을 활용하여 음성인식 기술과의 결합을 통해 현재 로봇에서 주로 사용되고 있는 버튼과 터치스크린 위주의 HRI(Human-Robot Interface)보다 자연스러운 HRI를 제공한다. 이러한 자연스러운 HRI를 수행할 수 있는 로봇을 구성하기 위해서는 로봇이 서비스를 제공할 실제 영역에 맞는 대화시스템의 연구가 필요하다. 본 논문에서는 자질사전, 단일화 문법(unification grammar), 대화 흐름도(dialogue flow diagram)를 사용한 레스토랑 영역의 자질기반(feature-based) 대화시스템을 제시한다. 자질 정보는 형태소, 시제, 어휘의 의미구조 등을 나타내며 화행(speech act) 결정에 사용하고 문장 자질과 구문 자질을 파서에서 활용한다. 자질기반 대화시스템을 통하여 레스토랑 영역에서 사용자 화행 이해 및 주문, 안내 등의 서비스를 성공적으로 수행할 수 있음을 보인다.