• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.121-122
• /
• 2012

컴퓨터를 사용한 서술형 답안의 자동채점은 채점의 편의성과 객관성을 제고하기 위하여 많은 연구자들이 연구해 왔으며 자동채점의 성능을 향상시키기 위해 여러 가지 방법들이 제안되었다. 본 논문은 서술어 정규화를 통하여 서술형 답안의 자동채점 정확도를 높이고자 하였다. 기존의 다른 채점 방법들과 비교했을때 서술어 정규화 기법을 적용한 채점 방식은 기존의 방법들보다 유사도 계산 정확도가 향상되어 정답 판별 정확도가 향상되는 것을 확인할 수 있었다. 서술어 정규화는 기존의 모든 서술형 답안 채점 방법에 추가적으로 적용할 수 있는 범용성을 가지고 있다. 따라서 서술어 정규화는 기존 방법들의 자동채점 정확도를 향상시켜 보다 정확하게 서술형 답안을 채점할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.535-540
• /
• 2022

Out of Vocabulary(OOV) 문제는 인공신경망 기계번역(Neural Machine Translation, NMT)에서 빈번히 제기되어 왔다. 이를 해결하기 위해, 기존에는 단어를 효율적인 압축할 수 있는 Byte Pair Encoding(BPE)[1]이 대표적으로 이용되었다. 하지만 BPE는 빈도수를 기반으로 토큰화가 진행되는 결정론적 특성을 취하고 있기에, 다양한 문장에 관한 일반화된 분절 능력을 함양하기 어렵다. 이를 극복하기 위해 최근 서브 워드를 정규화하는 방법(Subword Regularization)이 제안되었다. 서브 워드 정규화는 동일한 단어 안에서 발생할 수 있는 다양한 분절 경우의 수를 고려하도록 설계되어 다수의 실험에서 우수한 성능을 보였다. 그러나 분류 작업, 특히 한국어를 대상으로 한 분류에 있어서 서브 워드 정규화를 적용한 사례는 아직까지 확인된 바가 없다. 이를 위해 본 논문에서는 서브 워드 정규화를 대표하는 두 가지 방법인 유니그램 기반 서브 워드 정규화[2]와 BPE-Dropout[3]을 이용해 한국어 분류 문제에 대한 서브 워드 정규화의 효과성을 제안한다. NMT 뿐만 아니라 분류 문제 역시 단어의 구성성 및 그 의미를 파악하는 것은 각 문장이 속하는 클래스를 결정하는데 유의미한 기여를 한다. 더불어 서브 워드 정규화는 한국어의 문장 구성 요소에 관해 폭넓은 인지능력을 함양할 수 있다. 해당 방법은 본고에서 진행한 한국어 분류 과제 실험에서 기존 BPE 대비 최대 4.7% 높은 성능을 거두었다.

• Annual Conference on Human and Language Technology
• /
• 2008.10a
• /
• pp.69-74
• /
• 2008

본 논문은 인용필드 정규화와 인용매칭의 관계에 대한 분석을 제시한다. 인용매칭은 논문에서 수집된 인용레코드의 인용필드들 간의 비교 결과를 조합하여 동일 논문의 참조여부를 판별하여 인용레코드를 군집화한다. 따라서 인용매칭에 성능을 높일 수 있는 인용필드와 인용매칭 성능의 관계에 대한 연구가 필요하다. 본 논문에서는 인용필드 정규화 및 필드 별 결합에 의하여 인용매칭 성능이 변화하는 것을 보였다. 또한, 인용매칭 성능을 인용필드 유사도와의 관점에서 분석하였다. 앞으로, 인용필드 정규화 및 특성이 인용매칭에 미치는 영향에 대한 이해를 넓혀, 이를 인용매칭에 활용할 수 있으리라 여겨진다.

• Journal of the Korean Graphic Arts Communication Society
• /
• v.5 no.1
• /
• pp.33-45
• /
• 1987

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.197-200
• /
• 2017

채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.225-235
• /
• 1992

본 논문은 오프라인 필기체 한글 인식에 관한 연구로서, 입력 문자 영상에 대한 위치 정규화, 외곽선 추적 및 세선화의 전처리 과정을 거쳐 외곽선의 방향 성분 분포, 세선화한 결과의 방향 성분 분포, 구조적 특징점 분포 등의 특징을 추출한 다음, 획을 추출하여 획의 방향과 길이에 대한중점 분포 특징으로 정합하는 필기 한글의 인식을 위한 획 정합 방법을 제안하였다. 인식 시간의 단축을 위해 먼저 외곽선의 방향성분분포를 이용하여 대분류하였으며, 한글 사용 빈도수 상위 520자로 구성되는 필기 데이타에 대한 실험 결과, 평균 91%의 인식률과 평균 0.46초의 문자당 인식 시간을 보임으로써 제안된 획 정합 방법이 입력 문자의 잡영이나 획의 기울기에 대한 변형을 효과적으로 흡수할 수 있음을 알 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.237-248
• /
• 1992

본 논문에서는 통계적인 특징 추출 방법을 사용하여 샘물체로 필기된 한글을 고속으로 인식하는 방법을 소개한다. 대부분이 직선 성분으로 이루어진 한글의 특성을 이응하기 위하여 입력 영상으로부터 수평, 수직, 사선, 역사선의 방향 성분을 추출하며, 검은 화소의 밀도에 따라 동적으로 그물을 결정함으로써 획 간의 접촉 변형에 무관한 특징 벡터를 추출한다. 이와 같은 통계적 특징 추출 방법은 크기 정규화나 세선화 과정이 필요없으며, 또한 샘물체라는 필기 형태의 제약에 의해 정합 대상 부류의 수가 현저히 줄어들기 때문에 인식에 소요되는 시간을 상당히 줄일 수 있음은 물론, 인식률을 향상시켰다. 제안된 방법의 타당성을 검증하기 위하여 샘물체로 필기된 KS 완성형 한글 2,350자에 대해 실험한 결과, 평균 90% 이상의 인식률을 보이며, IBM PC 486(33MHz)상에서 문자당 평균 0.17초의 인식 속도를 보임으로써, 실용적인 고속 OCR 시스템의 개발 가능성을 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.46-52
• /
• 2004

본 논문에서는 질의-응답 시스템의 질의에서 많이 나타나는 시간 표현을 인식하고, 인식한 시간 표현에 대해서 정규화 하는 방법을 제안한다. 본 논문에서 사용하는 질의-응답 시스템의 도메인은 TV방송 스케줄, 날씨 정보이며, 이러한 도메인에서는 시간 표현이 매우 빈번하게 사용되기 때문에 질의에 나타나는 시간 표현을 정확하게 인식해서 정규화 하는 것이 중요하다. 제안하는 방법은 시간 표현을 의미와 기능에 따라 분류하고 각 유형마다 적절한 인식 및 정규화 기법을 사용한다. 질의에서 시간 표현은 시간 개체명 태거. 품사 태거, 시간 파서를 사용하여 인식하고, 시간 추론기와 시간 표현 사전을 이용하여 정규화 한다. TV방송 스케줄과 날씨 정보 도메인의 280개 질의에서 184개의 시간표현을 이용하여 평가한 결과, 시간 표현의 인식과 정규화는 각각 93%와 96%의 정확률, 97%와 93%의 재현율을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.18-22
• /
• 2019

FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.143-149
• /
• 1998

한국어 정보검색에서 복합명사와 명사구로 발생하는 색인어와 질의어간의 구문적 용어 불일치는 많은 문제를 일으켜왔다. 본 논문에서는 복합명사 분해와 명사구 정규화를 함께 수행하여 유사도 측정값을 적당히 유지함으로써 재현율을 저하시키지 않고서 정확률을 향상시킬 수 있는 구문적 용어불일치 완화방안을 제시하고자 한다 색인모듈에서는 통계정보를 이용하여 복합명사를 분해하고, 의존관계를 이용하여 명사구를 정규화한다. 분해되고 정규화된 키워드에 경계정보 '/'가 할당되고, 가중치가 계산된다. 검색모듈에서는 경계정보를 이용하여 부분일치를 고려하는 유사도 계산을 수행한다. KTSET 2.0으로 실험한 결과, 제안한 방법은 구문적 용어불일치를 완화할 수 있으며, 재현율을 저하시키지 않고서 정확률을 향상시킬 수 있음을 보인다.