• 한국음향학회지
• /
• 제21권3호
• /
• pp.274-284
• /
• 2002

한국어 대어휘 연속음성인식을 위한 텍스트 전처리에서 띄어쓰기 오류는 잘못된 단어를 인식 어휘에 포함시켜 언어모델의 성능을 저하시킨다. 본 논문에서는 텍스트 코퍼스의 띄어쓰기 교정을 위하여 한국어 음절 N-그램을 이용한 자동 띄어쓰기 알고리듬을 제시한다. 제시된 알고리듬에서는 주어진 입력음절열은 좌에서 우로의 천이만을 갖는 마코프 체인으로 표시되고 어떤 상태에서 같은 상태로의 천이에서 공백음절이 발생하며 다른 상태로의 천이에서는 주어진 음절이 발생한다고 가정한다. 마코프 체인에서 음절 단위 N-그램 언어모델에 의한 문장 확률이 가장 높은 경로를 찾음으로써 띄어쓰기 결과를 얻는다. 모든 공백을 삭제한 254문장으로 이루어진 신문 칼럼 말뭉치에 대하여 띄어쓰기 알고리듬을 적용한 결과 91.58%의 어절단위 정확도 및 96.69%의 음절 정확도를 나타내었다. 띄어쓰기 알고리듬을 응용한 줄바꿈에서의 공백 오류 처리에서 이 알고리듬은 91.00%에서 96.27%로 어절 정확도를 향상시켰으며, 복합명사 분리에서는 96.22%의 분리 정확도를 보였다.

• 응용통계연구
• /
• 제34권3호
• /
• pp.389-399
• /
• 2021

최근 자연어 처리 문제에서의 단어 임베딩은 아주 큰 주목을 받고 있는 연구 주제이며 스킵그램은 성공적인 단어 임베딩 기법 중 하나이다. 주변단어들 정보를 이용해서 단어들의 의미를 학습하여 단어 임베딩 벡터를 할당하며 텍스트 자료를 효과적으로 분석할 수 있게 한다. 그러나 벡터 공간 모델의 한계로 인해 기본적인 단어 임베딩 방법들은 모든 단어가 하나의 의미를 가지고 있다는 것을 가정한다. 다의어, 즉 하나 이상의 의미를 가진 단어가 실생활에서 존재 하기 때문에 Neelakantan 등 (2014)은 군집분석 기법을 이용하여 다의어의 여러 의미들에 해당하는 의미 임베딩 벡터를 찾기 위해 MSSG (multi-sense skip-gram)를 제안했다. 본 논문에서는 MSSG의 통계적 성능을 개선시킬 수 있는 변형된 MSSG 방법을 제안한다. 먼저, 가중치를 활용한 가중문맥 벡터를 제안한다. 나아가, 군집의 수, 즉 다의어의 의미 수를 자료에서 자동적으로 추정해주는 x-means 방법을 활용한 알고리즘을 제안한다. 본 논문에서 수행한 실증자료를 기반한 모의실험에서 제안한 방법은 기존 방법에 비해 우수한 성능을 보여주었다.

• 지식경영연구
• /
• 제14권1호
• /
• pp.1-19
• /
• 2013

Consumers have collected information and sought advices from other consumer through Internet. They could collect information in virtual space (online) not real world, that is Electronic Word of Mouth (eWOM). This study focused on research the factors on effect in Electronic Word-of-Mouth (eWOM) in the open market which is mediate between individuals and online stores. This is an exploratory study for research on finding factors of effect in eWOM. First of all, 5factors are selected from interview with 31 consumers. Then online surveys are conducted and 5 factors are significantly supported. This study is academically new approach on an exploratory study and it could suggest marketers to strategically manage eWOM.

• 융합신호처리학회논문지
• /
• 제1권1호
• /
• pp.32-41
• /
• 2000

본 논문에서는 언어장애인용 문장발생장치의 통신율을 증진시키기 위한 처리방안으로 신경망을 이용하여 문장발생장치에 통사예측을 적용하는 방법을 제안하고 유용성을 확인하였다. 각 단어들은 구문론과 의미론에 따른 정보벡터로 표현되었으며 언어처리는 전통적으로 사전을 포함하는 방법과는 다르게 상태공간에서 다양한 영역으로 분류되어 개념적으로 유사한 단어는 상태공간에서의 위치를 통하여 알게 된다. 사용자가 의미심볼을 누르면 의미심볼에 해당하는 단어는 상태공간에서의 위치를 찾아가며 입력에 따른 동사예측의 중복성을 막기 위하여 신경망을 이용하여 클래스화한 후 동사를 예측하였고 그 결과 제한된 공간 내에서 약 $20\%$ 통신율 증진을 가져올 수 있었다.

• 인지과학
• /
• 제29권4호
• /
• pp.243-263
• /
• 2018

본 연구에서는 단어 사이에 삽입된 공백이 중국어 모국어 화자와 한국인 학습자(초급, 중급, 고급)의 중국어 글 읽기에 어떠한 영향을 미치는지에 대해 안구운동 추적을 통하여 살펴보았다. 참가자들에게 단어 사이에 공백을 삽입한 '공백 삽입' 조건과 그렇지 않은 '공백 무삽입' 조건의 평이한 중국어 문장을 읽도록 요구했다. 실험 결과, 문장 수준 분석에서 공백 삽입 조건이 공백 무삽입 조건에 비해 길이가 더욱 길어졌음에도 불구하고 두 조건의 문장 고정 횟수는 차이를 보이지 않았으며, 문장 독해 시간과 평균 고정 시간은 오히려 공백 삽입 조건이 더욱 짧았다. 단어 수준 분석에서 참가자들의 독해 시간과 고정 횟수가 모두 공백 무삽입 조건에 비해 공백 삽입 조건에서 더욱 적게 나타났다. 또한, 참가자들의 중국어 수준이 낮을수록, 독해 시간과 고정 횟수에서 두 조건의 차이가 더 큰 것으로 나타났다. 본 실험의 결과는 공백이 단어 재인과 문장 처리에 긍정적인 영향을 미치며, 이러한 영향은 중국어 수준이 낮을수록 크게 작용한다는 것을 보여준다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1988년도 전기.전자공학 학술대회 논문집
• /
• pp.612-615
• /
• 1988

This paper proposes a method for analyzing the Korean inflected word in machine translation system. We define the processing rules which are useful of analyzing an irregular conjugation, pesent an parsing algorithm of noun and specifed verb and reduce the space of dictionary by the algorithm.

• 스마트미디어저널
• /
• 제7권4호
• /
• pp.24-29
• /
• 2018

딥러닝에서 자연어 처리를 위한 텍스트 분석 기법은 워드 임베딩을 통해 단어를 벡터 형태로 표현한다. 본 논문에서는 워드 임베딩 기법과 딥러닝 기법을 이용하여 SMS 문자 메시지를 문서 벡터로 구성하고 이를 스팸 문자 메시지와 정상적인 문자 메시지로 분류하는 방법을 제안하였다. 유사한 문맥을 가진 단어들은 벡터 공간에서 인접한 벡터 공간에 표현되도록 하기 위해 전처리 과정으로 자동 띄어쓰기를 적용하고 스팸 문자 메시지로 차단되는 것을 피하기 위한 목적으로 음절의 자모를 특수기호로 왜곡하여 맞춤법이 파괴된 상태로 단어 벡터와 문장 벡터를 생성하였다. 또한 문장 벡터 생성 시 CBOW와 skip gram이라는 두 가지 워드 임베딩 알고리즘을 적용하여 문장 벡터를 표현하였으며, 딥러닝을 이용한 스팸 문자 메시지 필터링의 성능 평가를 위해 SVM Light와 정확도를 비교 측정하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권4호
• /
• pp.299-303
• /
• 2009

특허 정보 검색은 연구 및 기술 개발에 앞서 선행연구의 존재 여부를 확인하기 위한 사전 조사 목적으로 주로 사용된다. 이러한 특히 정보 검색에서 원하는 정보를 얻지 못하는 원인은 다양하다. 그 중에서 본 연구는 키워드 불일치에 의한 정보 누락을 최소화하기 위한 대체어 후보 추출 방법을 제안한다. 본 연구에서 제안하는 대체어 후보 추출 방법은 문장 내에서 함께 쓰이는 단어들이 비슷한 두 단어는 서로 비슷한 의미를 지닐 것이다라는 직관적 가설을 전제로 한다. 이와 같은 가설을 만족하는 대체어를 추출하기 위해서 본 연구에서는 분류별 집중도, 신뢰도를 이용한 연관단어뭉치, 연관단어 뭉치간 코사인 유사도 및 순위 보정 기법을 제안한다. 본 연구에서 제안한 대체어 후보 추출 방법의 성능은 대체어 유형별로 작성된 평가지표를 이용하여 재현율을 측정함으로써 평가하였으며, 제안 방법이 문서 벡터공간 모델의 성능보다 더 우수한 것으로 나타났다.

• Child Studies in Asia-Pacific Contexts
• /
• 제5권1호
• /
• pp.21-38
• /
• 2015

This paper reviews Grammatical Mapping theory, a recently proposed theoretical paradigm for understanding children's acquisition of syntax, and ventures to apply the theory to the acquisition of semantics. Particularly, we focused on the domain of space, and proposed how children might acquire a unique system of spatial words in their mother tongue. Based on our review of evidence, we propose that there may be universal semantic primitives that serve as foundations of word meanings. We also propose that children must learn their mother tongue's semantic category system of spatial relations, from real time data. Finally, we argue that children's learning of word meanings may involve creation of a theory that makes sense to the child, and that this process of theory creation is possibly guided by universal principles and parameters.

• Journal of Information Processing Systems
• /
• 제20권1호
• /
• pp.1-12
• /
• 2024

Nowadays, Islamic content is widely used in research, including Hadith and the Al-Quran. Both are mostly used in the field of natural language processing, especially in text classification research. One of the difficulties in learning the Al-Quran is ambiguity, while the Al-Quran is used as the main source of Islamic law and the life guidance of a Muslim in the world. This research was proposed to relieve people in learning the Al-Quran. We proposed a word embedding feature-based on Tensor Space Model as feature extraction, which is used to reduce the ambiguity. Based on the experiment results and the analysis, we prove that the proposed method yields the best performance with the Hamming loss 0.10317.