• 지능정보연구
• /
• 제29권3호
• /
• pp.267-286
• /
• 2023

인공지능 스피커로 대표되는 대화형 에이전트는 사람-컴퓨터 간 대화형이기 때문에 대화 상황에서 오류가 발생하는 경우가 잦다. 에이전트 사용자의 발화 기록에서 인식오류는 사용자의 발화를 제대로 인식하지 못하는 미인식오류 유형과 발화를 인식하여 서비스를 제공하였으나 사용자가 의도한 바와 다르게 인식된 오인식오류 유형으로 나뉜다. 이 중 오인식오류의 경우, 서비스가 제공된 것으로 기록되기 때문에 이에 대한 오류 탐지가 별도로 필요하다. 본 연구에서는 텍스트 마이닝 기법 중에서도 단어와 문서를 벡터로 바꿔주는 단어 임베딩과 문서 임베딩을 이용하여 단순 사용된 단어 기반의 유사도 산출이 아닌 단어의 분리 방식을 다양하게 적용함으로써 연속 발화 쌍의 유사도를 기반으로 새로운 오인식오류 및 신조어 탐지 방법을 탐구하였다. 연구 방법으로는 실제 사용자 발화 기록을 활용하여 오인식오류의 패턴을 모델 학습 및 생성 시 적용하여 탐지 모델을 구현하였다. 그 결과, 오인식오류의 가장 큰 원인인 등록되지 않은 신조어 사용을 탐지할 수 있는 패턴 방식으로 다양한 단어 분리 방식 중 초성 추출 방식이 가장 좋은 결과를 보임을 확인하였다. 본 연구는 크게 두 개의 함의를 가진다. 첫째, 인식오류로 기록되지 않아 탐지가 어려운 오인식오류에 대하여 다양한 방식 별 비교를 통해 최적의 방식을 찾았다. 둘째, 이를 실제 신조어 탐지 적용이 필요한 대화형 에이전트나 음성 인식 서비스에 적용한다면 음성 인식 단계에서부터 발생하는 오류의 패턴도 구체화할 수 있으며, 오류로 분류되지 않더라도 사용자가 원하는 결과에 맞는 서비스가 제공될 수 있음을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1989년도 한글날기념 학술대회 발표논문집
• /
• pp.209-215
• /
• 1989

본 논문에서는 신문자동인식을 위한 신문문자의 분류에 관한 연구를 하였다. 먼저, 문서의 문자를 추출하기 위하여 블럭화를 행한다. 블럭화는 문자열을 찾아 절과절, 단어와 단어 사이를 찾아 분리구간을 정한다음 블럭을 합성 및 분리를 하였다. 다음으로 블럭화된 문자의 종류를 알기 위한 각 문자에 대하여 6 형식 분류를 하여 특성을 조사함으로써 문자분류를 행하였다. 본 연구에서는 실험을 용하여 블럭화는 충실하게 추출이 되어졌고 한글의 모아쓰기 특성과 한문과의 유사한 형식특성 때문에 분류에 어려움이 있었으나 비교적 충실하게 추출하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.619-623
• /
• 2020

한국어는 교착어로 1개 이상의 형태소가 단어를 이루고 있기 때문에 텍스트 분석 시 형태소를 분리하는 작업이 필요하다. 자연어를 처리하는 대부분의 알고리즘은 영미권에서 만들어졌고 영어는 굴절어로 특정 경우를 제외하고 일반적으로 하나의 형태소가 단어를 구성하는 구조이다. 그리고 영문은 주로 띄어쓰기 위주로 토큰화가 진행되기 때문에 텍스트 분석이 한국어에 비해 복잡함이 떨어지는 편이다. 이러한 이유들로 인해 한국어 텍스트 분석은 영문 텍스트 분석에 비해 한계점이 있다고 알려져 있다. 한국어 텍스트 분석의 성능 향상을 위해 본 논문에서는 번역 전처리 기법을 제안한다. 번역 전처리 기법이란 원본인 한국어 텍스트를 영문으로 번역하고 전처리를 거친 뒤 분석된 결과를 재번역하는 것이다. 본 논문에서는 한국어 뉴스 기사 데이터와 번역 전처리 기법이 적용된 영문 뉴스 텍스트 데이터를 사용했다. 그리고 주제어 역할을 하는 키워드를 단어 간의 유사도를 계산하는 알고리즘인 Word2Vec(Word to Vector)을 통해 유사 단어를 추출했다. 이렇게 도출된 유사 단어를 텍스트 분석 전문가 대상으로 성능 비교 투표를 진행했을 때, 한국어 뉴스보다 번역 전처리 기법이 적용된 영문 뉴스가 약 3배의 득표 차이로 의미있는 결과를 도출했다.

• 인지과학
• /
• 제23권3호
• /
• pp.349-366
• /
• 2012

사이시옷 표기가 단어 의미 파악에 미치는 영향을 조사하기 위하여 두 개의 실험을 실시하였다. 실험 1에서는 사이시옷 표기의 친숙도를 조작하여 사이시옷 표기 유무의 효과를 알아보았다. 사이시옷 표기가 친숙한 단어(나뭇잎 > 나무잎)의 경우에는 사이시옷을 생략한 조건(나무잎)보다 사이시옷을 삽입한 조건(나뭇잎)에서 의미 파악이 빨랐으나, 사이시옷 표기가 친숙하지 않은 단어(북엇국 < 북어국)의 경우에는 그 반대의 결과가 나타났다. 실험 2에서는 사이시옷 표기의 친숙도가 중간 정도인 단어(조갯국 = 조개국)를 이용하여, 사이시옷의 유무가 단어 의미 이해에 미치는 영향을 조사하였다. 사이시옷을 표기한 조건(조갯국)에서 보다 사이시옷을 생략한 조건(조개국)에서 단어의 의미 이해가 더 빨랐다. 실험 1과 2의 결과를 Libben[9][10]의 APPLE 모형을 이용하여 설명하고자 하였으며, 현행 한글맞춤법의 사이시옷 규정에 대한 시사점을 논의하였다.

• 한국정보처리학회논문지
• /
• 제3권6호
• /
• pp.1598-1606
• /
• 1996

문자 인식 과정을 거치고 난 후에 발생하게 되는 오인식된 문자들을 언어적 지식 을 이용하여 교정하는 문자 인식 후처리 과정이 반드시 필요하다. 본 논문에서는 한 국어의 형식 측면에서 품사를 재분류하고 사전을 구성하며 한글 어절의 상태 전이도 를 구성하고 형태소 분석을 위해 Head-tail구분법을 적용해 단어를 분리하였다. 또한 본 논문에서는 효율적인 단어분리와 교정을 위해 여러 문서와 책들로부터 새롭게 조 사의 결합형으로 900여개를, 규칙 어미의 활용형으로 800여개를 수집하였다. 그리고 불규칙 용언의 활용형을 위해 국어학에 나오는 9개의 불규칙을 조사하여 활용형을 구 축하였고 자동적 교체와 불구동사의 활용형도 사전에 등록하여 어절을 분석하는데 이 용하였다. 어느 인식 시스템을 가지고 문서를 인식한 결과 93.7%의 인식률을 보인 것 을 본 단어교정방법을 적용한 결과 97% 인식률을 향상시킬 수 있었다.

• 인지과학
• /
• 제11권3_4호
• /
• pp.83-93
• /
• 2000

즉각적 재인 기억과 지연 재인 기억이 사건관련전위에 미치는 영향을 연속재인 과제를 사용하여 조사하였다. 240개의 자극 단어 중에서 100개는 즉각적으로 반복제시되었고 100개는 5개의 간섭 단어 후에 지연 반복제시되었으며 40개는 반복제시되지 않았다 .반복제시된 단어 중 처음 제시된 경우와 전혀 반복제시 되지 않은 단어를 새로운 단어로이름하였다. 새로운 단어와 지연 반복제시된 단어에 비해 즉각적으로 반복제시된 단어에 대한 반응시간이 유의하게 빨랐고, 재인정확율도 높았다. 사건관련전위를 분석한 결과 즉각적 반복제시 단어에서는 P300의 진폭이 감소하였고 잠복기가 짧았던 반면 지연 반복제시 단어에서는 P300의 진폭이 감소하였고 잠복기가 길었다. 그리고 즉각적 반복제시 단어에서는 N400이 관찰되지 않은 반면 새로운 단어와 자연 반복제시 단어에서는 N400이 관찰되었다. 자극제시 조건에 따른 사건관련전위는 자극 제시 310ms이후부터 서로 다른 양상을 보이기 시작하였다. 본 연구 결과는 즉각적 재인 기억과 지연 재인기억이 서로 분리될 있다는 것, 다시 말하면 서로 다른 대뇌 기전에 근거하고 있을 가능성이 높다는 것을 시사한다. 단어에 대한 즉각적 및 지연 재인을 형판 비교와 기억 탐색의 관점에서의 논의하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
• /
• pp.354-356
• /
• 2000

의사형태소를 디코딩 단위로 한국어 연속 음성 인식에서의 조사, 어미, 접사 및 짧은 용언의 어간등의 단어가 상당수의 인식 오류를 발생시킨다. 이러한 단어들은 발화 지속시간이 매우 짧고 생략이 빈번하며 결합되는 다른 형태소의 형태에 따라서 매우 심한 발음상의 변이를 보인다. 본 논문에서는 이러한 단어들은 한국어 기능어라 정의하고 실제 의사형태소 단위의 인식 실험을 통하여 기능어 집합 1, 2를 규정하였다. 그리고 한국어 기능어에 기능어용 음소를 독립적으로 적용하는 방법을 제안했다. 또한 기능어용 음소가 분리되어 생기는 음향학적 변이들을 처리하기 위해 Gaussian Mixture 수를 증가시켜 보다 견고한 학습을 수행했고, 기능어들의 음향 모델 스코어가 높아짐에 따른 인식에서의 삽입 오류 증가를 낮추기 위해 언어 모델에 fixed penalty를 부여하였다. 기능어 집합1에 대한 음소 모델을 적용한 경우 전체 문장 인식률은 0.8% 향상되었고 기능어 집합2에 대한 기능어 음소 모델을 적용하였을 때 전체 문장 인식률은 1.4% 증가하였다. 위의 실험 결과를 통하여 한국어 기능어에 대해 새로운 음소를 적용하여 독립적으로 학습하여 인식을 수행하는 것이 효과적임을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
• /
• pp.781-783
• /
• 2004

본 논문에서는 컴퓨터 상에서의 처리되는 한글 코드 중 유니코드를 이용한 한글 입력방법을 분석하여, 이를 일련의 프로그램에서 초ㆍ중ㆍ종성에 따라 자/모음을 분리, 구별하는 방법을 제안하고, 이에 따라, 제안된 방법을 적용한 구현 프로그램을 통해 정확한 자/모음 분리를 할 수 있었으며, 한글 입력에서의 정확도와 신뢰도 향상 및 단어에 따른 정확한 조사판별이 가능해 짐을 알 수 있었다. 또한, 제안방법에 따른 통계적 데이터를 가지고 각종 분야에 적용이 가능하게 됨을 알 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
• /
• pp.50-56
• /
• 2005

본 논문은, 웹상의 표에서 유용한 정보를 뽑기 위하여 표 머릿부분과 몸체부분을 효과적으로 분리하는 방안을 제안한다. 웹상의 표로부터 정보를 뽑기 위해서는 웹상의 표를 기계가 해석할 수 있는 형태, 즉 속성-값의 쌍으로 변환해야 한다. 이중 속성은 보통 표 머리에 해당하며, 그에 해당하는 값은 표 몸체에 해당하는데, 이는 머리가 해당 몸체 부분을 대표하여 나타내는 단어이기 때문이다. 본 연구의 선행 연구에서는 인터넷상의 표가 표 본래의 정보 전달을 위한 목적 이외에 인터넷 문서의 정렬이나 구조화를 목적으로 쓰이는 경우가 많으므로 이러한 표를 제거하고 표 본래의 의미를 전달하는 표(의미 있는 표)만 추출하는 연구를 하였다 본 연구에서는 이를 바탕으로 의미 있는 표에서 표 머리와 몸체를 분리하기 위한 휴리스틱에 기반을 둔 모델을 제안한다. 이를 위하여, 표의 본래 특성과, 표를 작성하는 저자의 작성 습관을 관찰하여 머리와 몸체를 분리하기 위한 방안을 설정하고, 이 방안들을 결합하는 모델을 구축한다. 본 연구에서는 이 결과로 80.3%의 표 머리 추출 정확도를 얻을 수 있었다.

• 한국음향학회지
• /
• 제3권2호
• /
• pp.35-45
• /
• 1984

본 연구는 한국어의 발음상의 특징과 구조에 의해서 한국어를 음소별로 분리할 수 있음에 착안 하여, 자음과 모음으로 구성된 한국어 단음을 자음의 음소와 모음의 음소로 각각 분리하여 인식하는 새 로운 방법에 관한 연구이다. 특정 화자 2명에 대하여 한국어 단음 84자를 모음의 음소와 자음의 음소로 각각 분리하여 인삭한 실험결과 모음을 인식한 경우에는 선형 예측 계수를 이용하면 인식률이 95.2%이 고, 편자기 상관계수로 92.5%, 폴만트로 97.6%의 인식률을 얻었고, 자음을 인식한 경우에는 선형 예측 계수로 88.7%, 편자기 상관계수로 92.9%의 인식률을 얻었다. 또, 자음의 음소와 모음의 음소를 결합시킨 단음을 인식한 경우에는 선형 예측 계수로 83.9%, 편자기 상관계수로 86.3%의 인식률을 얻었다. 이 때, 각 음소들의 데이터의 수는 256개이고, 선형 예측 계수와 편자기 상관 계수와의 예측차는 15차이다. 이 와 같이 한국어를 자음의 음소와 모음의 음소로 분리하면 작은 데이터 양으로 처리 시간을 단축 시켜 한국어의 모든 단음, 단어, 연속음, 문장 등을 분석하고 인식할 수 있고, 또한 각 음소들을 원칙적으로 결합시켜 모든 한국어의 합성이 가능함을 알 수 있다.