• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권5호
• /
• pp.313-324
• /
• 2008

문장 축소란 원본 문장의 기본적인 의미를 유지하면서 불필요한 단어나 구를 제거하는 일련의 정보 압축 과정을 의미한다. 기존의 문장 축소에 관한 연구들은 학습 과정에서 대량의 어휘나 구문적 자원을 필요로 하였으며, 복잡한 파싱 과정을 통해서 불필요한 문장의 구성원(예를 들어, 단어나 구, 절 등)들을 제거하여 문장을 요약하였다. 그러나 학습 데이타로부터 얻을 수 있는 어휘적 자원은 매우 한정적이며, 문장의 모호성과 예외적인 표현들 때문에 구문 분석 결과가 명료하게 제공되지 않은 언어에서는 문장 요약이 용이하지 않다. 이에 본 논문에서는 구문 분석을 대체하기 위한 방법으로 템플릿과 품사 정보를 이용한 문장 축소 방법을 제안한다. 제안하는 방법은 요약문의 구조적 형태를 결정하기 위한 문장 축소 템플릿(Sentence Reduction Templates)과 문법적으로 타당한 문장 구조를 구성하는 품사기반 축소규칙(Grammatical POS-based Reduction Rules)을 이용하여 요약 대상 문장의 구성을 분석하고 요약한다. 더불어, 문장 축소 템플릿 적용 시 발생하는 연산량 증가 문제를 은닉 마르코프 모델(HMM: Hidden Markov Model)의 비터비 알고리즘(Viterbi Algorithm)을 이용하여 효과적으로 처리한다. 마지막으로, 본 논문에서 제안한 문장 축소 방법의 결과와 기존 논문의 연구 결과를 비교 및 평가함으로써 제안하는 문장 축소 방법의 유용성을 확인한다.

• 한국음향학회지
• /
• 제22권8호
• /
• pp.703-710
• /
• 2003

코퍼스 기반 음성합성방식은 그 합성음의 자연성이 매우 우수하여 널리 사용되고 있으나 대용량의 데이터베이스 (DB)를 사용하기 때문에 그 적용분야가 매우 제한적이다. 본 연구에서는 이러한 코퍼스 기반 음성합성기의 대용량 DB 문제를 해결하기 위한 방안으로서 DB 축소 방법 대한 알고리듬을 제안하고 평가하였다. 본 논문에서는 DB 축소 알고리듬으로서 세 가지 방법을 제안하였는데, 첫 번째는 Modified K-means 군집화를 이용한 DB 축소 알고리듬이고 다음은 적절한 문장 셋을 정의하고 이 문장 셋을 합성할 때 사용된 단위들을 이용하는 방법이다. 마지막으로는 대용량 문장 셋을 정의하고 해당 문장을 음성합성하고, 음편들의 사용 빈도수를 고려하여 군집화를 하는 것이다. 세 가지 방법을 이용하여 합성 DB를 유사한 크기로 축소하였을 때, 대용량 문장 셋과 빈도를 고려한 세 번째 방법이 가장 우수한 음질을 보였다. 또한 마지막 방법은 합성음의 음질은 저하시키지 않으면서 합성 DB만을 감소시키는 성능을 보여, 제안된 방법의 타당함을 입증할 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
• /
• pp.120-125
• /
• 2013

본 연구는 대량의 특정 도메인 한영 병렬 말뭉치에서 통계 기반 기계 번역 시스템을 이용하여 병렬어휘를 효과적으로 추출해 낼 수 있는 방법에 관한 것이다. 통계 번역 시스템에서 어족이 다른 한국어와 영어간의 문장은 길이 및 어순의 차이로 인해 용어 번역 시 구절 번역 정확도가 떨어지는 문제점이 발생할 수 있다. 또한 문장 길이가 길어짐에 따라 이러한 문제는 더욱 커질 수 있다. 본 연구는 이러한 조건에서 문장의 길이가 축소된 코퍼스를 통해 한정된 코퍼스 자원 내 구 번역 테이블의 병렬어휘 추출 성능이 향상될 수 있도록 하였다.

• 말소리와 음성과학
• /
• 제13권4호
• /
• pp.35-46
• /
• 2021

본 연구는 제 2언어 억양습득 과정에서 나타나는 언어 보편적 간섭현상인 피치대역(음역) 축소현상과모국어 간섭현상이 어떤 양상으로 상호작용하며 한국어 습득과정에서 어떤 순서로 나타나는지 중국인 한국어 학습자들을 통해 살펴보았다. 본 연구에는 7명의 한국어 원어민 화자와 초·중·고급 수준의 중국인 한국어 학습자 각 10명 총 37명이 발화 실험에 참여하였다. 연구 참여자들은 난이도가 다른 한국어 담화 4개와 이를 중국어로 번역한 중국어 담화 4개를 낭독 발화하였다. 한국어화자와 중국인 학습자들이 산출한 음성자료는 음성분석 프로그램 Praat을 사용하여 각 문장별로 Pitch span, Pitch level, Pitch dynamic quotient(PDQ), 왜도와 첨도를 측정하였고 이후 언어 간 분석, 그룹 간 분석, 그룹 내 분석을 통해 두 현상의 상호작용양상을 살펴보았다. 언어 간 분석결과 중국어는 한국어보다 높은 Pitch span과 Pitch level로 특징지어졌다. 이를 바탕으로 초·중·고급 중국인 학습자들의 한국어 발화문에 대한 그룹 간 분석을 실시하였다. 그 결과 초급과 중급 학습자들에게서는 모국어 간섭보다는 음역 축소현상이 두드러지게 나타났으며 고급 학습자들은 음역 축소현상이 완화되어 한국 화자에 근접한 양상을 보여주었다. 중국인 학습자들이 발화한 목표어인 한국어와 모국어인 중국어 문장을 대상으로 한 그룹 내 분석에서도 숙달도가 높을수록 모국어와 목표어 간 피치 편차가 줄어들어 음역 축소현상이 완화되었다. 문장 내 피치 변동 범위를 파악하기 위한 PDQ분석에서 중국어 문장은 한국어 문장보다 음역 변동범위가 크다는 것을 알 수 있었다. 그룹 간 분석에서는 초·중급 학습자들의 PDQ가 한국어와 중국어보다 현저히 낮은 값을 보였다. 고급학습자들도 한국어나 중국어보다 낮은 수치를 보였으나 한국어에 근접한 양상으로 나타났다. 이상의 결과를 바탕으로 숙달도가 낮은 화자일수록 음역 축소 현상이 두드러지게 나타나며 고급 화자의 경우 목표어인 한국어와 유사한 양상으로 실현됨을 알 수 있었다. 따라서 본 연구의 분석 대상인 음성학적 층위에서는 모국어 간섭현상이 뚜렷하게 관찰되지 않았다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.389-393
• /
• 2020

말뭉치를 구성하고 있는 문장들 사이의 관계가 반영된 시각화는 말뭉치 전체의 구조나 유사의미 문장군의 분포 등을 파악하는데 매우 유용하게 활용될 수 있다. 본 연구에서는, 유사한 의미를 가지는 문장들은 서로 가까이에 분포하도록 시각화되어야 한다는 제어조건을 사용자가 제공했을 때, 해당 조건이 만족되도록 2차원 공간에 말뭉치의 각 문장을 시각화하는 기법을 소개한다.

• 정보처리학회논문지B
• /
• 제12B권6호
• /
• pp.691-696
• /
• 2005

모바일 디바이스와 같이 작은 필기의 화면을 갖는 기기에서는 긴 문장의 내용을 한눈에 파악하기가 쉽지 않다. 본 논문에서는 신문기사와 그 헤드라인으로부터 추출한 정보로부터 문장을 자동으로 축약할 수 있는 시스템을 제안하고자 한다. 축약된 문장은 문장 내의 필수적이지 않은 요소들을 제거함으로써 그 기본 의미는 그대로 전달하되 문장의 길이를 축소시킨 것이다. 신문기사의 헤드라인으로부터 문장 축약 방법을 학습하였기 때문에 매우 간결한 형태로 문장을 축약할 수 있다 예비 실험을 통해 본 논문에서 제안하고 있는 시스템이 생성해 내는 축약문장이 유용함을 보이고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
• /
• pp.3-7
• /
• 1995

한국어에서의 명사구 색인을 위한 기존의 방법들은 주로 간단한 규칙을 이용하여 왔고 그 결과 문장에 존재하는 모든 명사구를 추출하지 못했다. 이를 해결하기 위하여 본 논문에서는 개념 기반 명사구 색인 방법을 제안한다. 하나의 문장은 하나 이상의 개념으로 이루어져 있으므로, 명사구 추출은 개념을 고려하여 이루어져야 바람직하다 문장은 구문적으로 하나 이상의 내포문으로 이루어져 있다. 일반적으로 내포문 단위 내의 용어들이 나타내는 각각의 개념들은 서로 높은 연관성을 가진다. 그러므로 문장이 가지는 개념의 상이성을 내포문의 개념 상이성으로 축소할 수 있다. 문장을 내포문 단위로 분할하기 위하여 의존 문법을 기반한 구문분석과 공기정보를 이용한다. 특히 공기정보는 원거리 의존관계(long distance dependency)를 결정하여 한 내포문에 속함을 밝혀내는 데 도움을 준다. 이러한 내포문 내의 의존관계를 이용하여 명사구를 추출한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
• /
• pp.479-483
• /
• 1996

본 논문은 구운 분석의 검색 영역 축소를 통한 구문 분석기의 성능 향상을 목적으로 connectionism을 이용한 부분 구문 인식기의 설계와 구현을 기술한다. 본 부분 구문 인식기는 형태소 분석된 문장으로부터 명사-주어부와 술어부를 인식함으로써 전체 검색 영역을 여러 부분으로 나누어 구문 분석문제를 축소시키는 것을 목적으로 하고 있다. Connectionist 모델은 입력층과 출력층으로 구성된 개선된 퍼셉트론 구조이며, 입/출력층 사이의 노드들을, 입력층 사이의 노드들을 연결하는 연결 강도(weight)가 존재한다. 명사-주어부 및 술어부 구문 태그를 connectionist 모델에 적용하며, 학습 알고리즘으로는 개선된 백프로퍼게이션 학습 알고리즘을 사용한다. 부분 구문 인식 실험은 112개 문장의 학습 코퍼스와 46개 문장의 실험 코퍼스에 대하여 85.7%와 80.4%의 정확한 명사-주어부 및 술어부 인식을, 94.6%와 95.7%의 명사-주어부와 술어부 사이의 올바른 경계 인식을 보여준다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권3호
• /
• pp.125-132
• /
• 2022

문장 압축은 원본 문장의 중요한 의미는 유지하면서 길이가 축소된 압축 문장을 생성하는 자연어처리 태스크이다. 문법적으로 적절한 문장 압축을 위해, 초기 연구들은 사람이 정의한 언어 규칙을 활용하였다. 또한 시퀀스-투-시퀀스 모델이 기계 번역과 같은 다양한 자연어처리 태스크에서 좋은 성능을 보이면서, 이를 문장 압축에 활용하고자 하는 연구들도 존재했다. 하지만 언어 규칙을 활용하는 연구의 경우 모든 언어 규칙을 정의하는 데에 큰 비용이 들고, 시퀀스-투-시퀀스 모델 기반 연구의 경우 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 이를 해결할 수 있는 방법으로 사전 학습된 언어 모델인 BERT를 활용하는 문장 압축 모델인 Deleter가 제안되었다. Deleter는 BERT를 통해 계산된 perplexity를 활용하여 문장을 압축하기 때문에 문장 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않다는 장점이 있다. 하지만 Deleter는 perplexity만을 고려하여 문장을 압축하기 때문에, 문장에 속한 단어들의 언어 정보를 반영하여 문장을 압축하지 못한다. 또한, perplexity 측정을 위한 BERT의 사전 학습에 사용된 데이터가 압축 문장과 거리가 있어, 이를 통해 측정된 perplexity가 잘못된 문장 압축을 유도할 수 있다는 문제점이 있다. 이를 해결하기 위해 본 논문은 언어 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 계산에 반영하는 방법을 제안한다. 또한 고유명사가 자주 포함되어 있으며, 불필요한 수식어가 생략되는 경우가 많은 뉴스 기사 말뭉치로 BERT를 fine-tuning하여 문장 압축에 적절한 perplexity를 측정할 수 있도록 하였다. 영어 및 한국어 데이터에 대한 성능 평가를 위해 본 논문에서 제안하는 LI-Deleter와 비교 모델의 문장 압축 성능을 비교 실험을 진행하였고, 높은 문장 압축 성능을 보임을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2000년도 하계학술대회 논문집 D
• /
• pp.3066-3068
• /
• 2000

전자상거래의 활성화는 HTML 문서나 Javascript와 같은 웹 문서의 빈번한 전송을 요구할 것이며 이는 향후 인터넷 전송 트래픽을 야기하는 주요 요인이 될 전망이다. 웹 페이지는 비슷한 문장열이 인수에 해당하는 부분만이 변화되면서 반복하는 특징을 갖고 있다. 본 연구에서는 웹 페이지의 이러한 특징을 이용하여 매크로 기법을 사용한 웹 문서 압축 알고리즘을 제안한다 우리는 실험을 통해 본 알고리즘이 꿩 페이지의 저장공간 압축에 좋은 성능을 가짐을 보여줌으로써 전송 시간의 축소의 부가적인 효과를 거둘 수 있었다.