• 정보처리학회논문지B
• /
• 제17B권3호
• /
• pp.249-254
• /
• 2010

본 논문은 지지벡터기계를 이용하여 스팸메일을 자동으로 분류하는 시스템을 제안한다. 이메일에 포함된 단어의 어휘 정보와 품사 태그 정보를 지지벡터기계의 자질로 사용한다. 우리는 카이제곱 통계량을 이용하여 자질을 선택한 후 각각의 자질을 TF, TF-IDF, 이진 가중치 등으로 표현하여 실험하였다. 카이제곱 통계량을 이용하여 선택된 자질들을 이용하여 SVM을 학습한 후, SVM분류기는 각각의 이메일의 스팸 여부를 결정한다. 실험 결과, 선택되어진 자질들이 성능향상을 가져왔으며, TREC05-p1 스팸 말뭉치에 대해 약 98.9%의 정확도를 얻었다.

• 아시아태평양코퍼스연구
• /
• 제1권2호
• /
• pp.1-14
• /
• 2020

Previous work has shown that men both explain and value the act of explaining more than women, as explaining conveys expertise. However, previous studies are limited to English. We conducted an exploratory study to see if similar patterns are seen amongst Japanese speakers. We examined three registers of Japanese: conversational interviews, simulated speeches, and academic presentations. For each text, we calculated two measures: lexical density and the percentage of the text written in kanji. Both are indicators of expository language. Men produced significantly higher scores for the interviews and speeches. However, the results for the presentations depend on age and academic field. In fields in which women are the minority, women produce higher scores. In the field in which men are the minority, younger men produced higher scores but older men produced lower scores than women of the same age. Our results show that in academic contexts, the explainers are not necessarily men but rather the gender minority. We argue that such speakers are under social pressure to present themselves as experts. These results show that the generalization that men tend to explain more than women does not always hold true, and we urge more academic work on expository language.

• 말소리와 음성과학
• /
• 제15권1호
• /
• pp.1-7
• /
• 2023

This study investigated the influences of probabilistic accessibility of the word being produced - as determined by its usage frequency and neighborhood density - on native and high-proficiency L2 speakers' realization of six English monophthong vowels. The native group hyperarticulated the vowels over an expanded acoustic space when the vowel occurred in words with low frequency and high density, supporting the claim that vowel forms are modified in accordance with the probabilistic accessibility of words. However, temporal expansion occurred in words with greater accessibility (i.e., with high frequency and low density) as an effect of low phonotactic probability in low-density words, particularly in attended speech. This suggests that temporal modification in the opposite direction may be part of the phonetic characteristics that are enhanced in communicatively driven focus realization. Conversely, none of these spectral and temporal patterns were found in the L2 group, thereby indicating that even the high-proficiency L2 speakers may not have developed experience-based sensitivity to the modulation of sub-categorical phonetic details indexed with word-level probabilistic information. The results are discussed with respect to how phonological representations are shaped in a word-specific manner for the sake of communicatively driven lexical intelligibility, and what factors may contribute to the lack of native-like sensitivity in L2 speech.

• 정보처리학회논문지B
• /
• 제15B권4호
• /
• pp.365-374
• /
• 2008

본 논문에서는 패턴의 다변화를 통하여 관계를 점진적으로 추출함으로써 온톨로지를 확장하는 모델을 제안한다. 패턴 다변화 과정에서 위키피디아로부터 추출한 관계 패턴 후보를 자질별로 다변화시킨다. 다변화된 패턴 후보로부터 말뭉치 빈도수에 따른 신뢰도를 이용하여 패턴을 선별한다. 선별된 패턴은 위키피디아로부터 관계를 추출하는 데 사용되며, 추출된 관계는 다시 관계 패턴 확장에 사용된다. 본 논문에서는 점진적 학습 과정에서의 패턴 다변화를 통하여 패턴 선택의 범위를 확장함으로써, 선택되는 패턴이 점진적으로 정제되는 모델을 제시한다. 이를 통하여, 관계의 확장성과 정확도를 향상시키고자 하였다. 단일 자질 패턴 모델에 대한 실험을 통하여, 어휘, 중심어, 상위어 정보는 신뢰도에, 품사, 구문 정보는 확장성에 유리하며, 구문 단위 유형별로 필요한 자질 유형이 다름을 관찰하였다. 이와 같은 특성에 기반하여 현재 연구 진행 중인복합 자질 패턴 모델을 제안한다.

• 정보과학회 논문지
• /
• 제43권12호
• /
• pp.1376-1384
• /
• 2016

기계가 사람과 같이 문장을 처리하게 하려면 사람이 쓴 문장을 토대로 사람이 문장을 통해 발현하는 모든 문장의 표현 양상을 학습해 사람처럼 분석하고 처리할 수 있어야 한다. 이를 위해 기본적으로 처리되어야 할 부분은 언어학적인 정보처리이다. 언어학에서 통사론적으로 문장을 분석할 때 필요한 것이 문장을 성분별로 나눌 수 있고, 문장의 핵심인 용언을 중심으로 필수 논항을 찾아 해당 논항이 용언과 어떤 의미역 관계를 맺고 있는지를 파악할 수 있어야 한다. 본 연구에서는 국립국어원 표준국어대사전을 기반으로 구축한 격틀사전과 한국어 어휘 의미망에서 용언의 하위 범주를 자질로 구축한 CRF 모델을 적용하여 의미역을 결정하는 방법을 사용하였다. 문장의 어절, 용언, 격틀사전, 단어의 상위어 정보를 자질로 구축한 CRF 모델을 기반으로 하여 의미역을 자동으로 태깅하는 실험을 한 결과 정확률이 83.13%로 기존의 규칙 기반 방법을 사용한 의미역 태깅 결과의 정확률 81.2%보다 높은 성능을 보였다.

• 지능정보연구
• /
• 제15권3호
• /
• pp.53-65
• /
• 2009

영한 기계번역에서 영어 단어의 품사결정은 번역할 문장에 사용된 어휘의 품사 모호성을 해소하기 위해 필요하다. 어휘의 품사 모호성은 구문 분석을 복잡하게 하고 정확한 번역을 생성하는 것을 어렵게 한다. 본 논문에서는 이러한 문제점을 해결하기 위해 어휘 분석 이후 구문 분석 이전에 품사 모호성을 해소하려 하였으며 품사 모호성을 해소하기 위한 CatAmRes 모델을 제안하고 다른 품사태깅 방법과 성능 비교를 하였다. CatAmRes는 Penn Treebank 말뭉치를 이용하여 Bayesian Network를 학습하여 얻은 확률 분포와 말뭉치에서 나타나는 통계 정보를 이용하여 영어 단어의 품사를 결정을 한다. 본 논문에서 제안한 영어 품사결정 모델 CatAmRes는 결정할 품사의 적정도 값을 계산하는 Calculator와 계산된 적정도 값에 근거하여 품사를 결정하는 POSDeterminer로 구성된다. 실험에서는 CatAmRes의 동작과 성능을 테스트 하기 위해 WSJ, Brown, IBM 영역의 말뭉치에서 추출한 테스트 데이터를 이용하여 품사결정의 정확도를 평가하였다.

• 인지과학
• /
• 제17권1호
• /
• pp.15-27
• /
• 2006

한국어 단어의 글자 수, 받침의 수와 위치, 합성어 여부가 기억폭에 미치는 효과를 검증하였다. 그 결과, 전반적으로 글자가 많은 단어일수록 기억폭이 작았으며, 두 글자 단어들에서 받침이 많을수록 기억폭이 더 작았고(기억폭에 대한 받침효과), 합성어보다 단일어의 기억폭이 더 컸다. 단어당 읽기 속도를 측정한 결과, 글자가 많은 단어일수록 속도가 느렸지만, 두 글자 단어들에서 뒷받침단어의 읽기 속도가 받침없는 단어, 앞받침단어 및 양받침단어보다 더 빨랐고(읽기 속도에 대한 말미 받침효과), 합성어보다 단일어의 읽기 속도가 더 빨랐다. 기억폭과 읽기 속도간에 관찰된 이러한 관계는 단어길이효과에 대한 음운루프설명과 잘 부합되지 않으며, 기억폭이 음운정보 뿐만 아니라 시각적 캐시에 표상되는 철자 정보의 영향을 받는다는 설명을 지지해준다.

• 정보과학회 논문지
• /
• 제42권12호
• /
• pp.1568-1574
• /
• 2015

본 논문은 자연언어 문장을 지식베이스의 지식 골격에 맞추어 지식의 형태로 변환하기 위한 과정 중의 하나인 관계추출(Relation Extraction)을 목표로 한다. 특히, 문장 내에 있는 서술어(Predicate)에 집중하여 서술어와 관련성 높은 지식베이스 프로퍼티(Property or Relation)를 찾아내고, 이를 통해 두 개체(Entity)간의 의미를 파악하는 관계추출에 초점을 둔다. 이에 널리 활용되는 원격지도학습(Distant Supervision) 접근 방식에 따라, 지식베이스와 자연언어 텍스트로부터 원격 학습이 가능한 레이블(Labeled) 데이터를 자동으로 마련하여 지식베이스 프로퍼티에 대한 어휘화 작업을 수행한다. 즉, 두 개체 사이의 관계로 표현되는 서술어와, 온톨로지로 정의할 수 있는 프로퍼티와의 연결을 통해, 텍스트로부터 구조적 정보를 생성할 수 있는 기반을 마련하고 최종적으로 지식베이스 확장의 가능성을 열어준다.

• 정보처리학회논문지B
• /
• 제16B권1호
• /
• pp.71-78
• /
• 2009

보다 효과적인 색인어 추출 및 색인어 가중치 결정을 위하여 문서의 내용뿐 아니라 구조를 이용하여 색인을 추출하는 연구가 이루어지고 있는데, 대부분의 연구들이 XML 태그의 중요도가 아닌, 문맥상의 단락에 대한 중요도를 계산하는게 일반적이다. 이러한 기존 연구들은 대부분이 객관적인 실험을 통해서 중요도를 입증하기보다는 상식적인 관점에서 단순한 수치로 중요도를 결정하고 있다. 본 논문에서는 웹 문서 관리를 위한 표준으로 자리잡아가고 있는 XML 문서의 태그 정보를 이용한 자동색인을 위하여, 논문을 구성하는 주요 태그를 중요도에 따라 분류하고, 낮은 태그에서 추출된 용어 가중치를 계산하고, 그 가중치로 높은 가중치의 태그에서 추출된 용어의 가중치를 갱신해 가면서 최종 가중치를 계산하는 방법을 제안한다. 보다 객관적인 가중치 결정을 위하여 사용자가 중요하게 생각하는 태그를 실험해 보고 그에 따라 중요도를 분류하여 가중치 계산에 반영한다. 그리고 기존 태그 중요도 결정 방법을 적용하여 계산된 색인어 가중치를 이용한 검색성능과 비교함으로써 본 논문에서 제안한 방법을 적용하여 계산된 색인어 가중치의 효과를 검증한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권4호
• /
• pp.448-462
• /
• 2000

자연언어처리에 있어서 병렬구문은 분석의 복잡성, 단어의 애매성, 서술어 생략 등에 따른 처리의 어려움을 내포하고 있다. 본 논문에서는 한국어에서 발생하는 병렬문의 통사적 특징을 능력문법 (competence grammar)의 입장에서 접근하고 분석된 결과를 기반으로 하여 한국어 병렬문 해석을 위한 결합범주문법 (Combinatory Categorial Grammar)을 제안한다. 제안된 결합범주문법을 사용해서 병렬문에 대한 각각 다른 수준의 통사적, 의미적, 문맥적 정보들이 사전에 어휘적으로 통합될 수 있고 통합된 정보를 이용하여 통사적, 의미적, 문맥적 분석들이 각각 다른 수준의 처리를 거치지 않고 동시에 점진적으로 유도될 수 있음을 보인다. 유도된 정보들을 통해 일반적으로 한국어 병렬문의 주된 기능이라고 생각되는 두 문장이 가지는 정보를 대조, 비교하는 기능이 표현될 수 있음을 보인다. 말뭉치를 분석하여 병렬문이 한국어 처리에서 차지하는 비중과 제시한 문법으로 처리할 수 없는 문형들에 대한 논의를 제공한다.