• 제목/요약/키워드: 자동 문장 생성

검색결과 194건 처리시간 0.024초

한국어 연속음성인식을 위한 발음사전 구축 (Pronunciation Dictionary For Continuous Speech Recognition)

  • 이경님;정민화
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.197-199
    • /
    • 2000
  • 연속음성인식을 수행하기 위해서는 발음사전과 언어모델이 필요하다. 이 둘 사이에는 디코딩 단위가 일치하여야 하므로 발음사전 구축시 디코딩 단위로 표제어 단위를 선정하며 표제어 사이의 음운변화 현상을 반영한 발음사전을 구축하여야 한다. 한국어에 부합하는 음운변화현상을 분석하여 학습용 자동 발음열을 생성하고, 이를 통하여 발음사전을 구축한다. 전처리 단계로 기호, 단위, 숫자 등 전처리 과정 및 형태소 분석 과정을 수행하며, 디코딩 단위인 의사 형태소 단위를 생성하기 위해 규칙을 이용한 태깅 과정을 거친다. 이를 통해 나온 결과를 발음열 생성기 입력으로 하며, 결과는 학습용 발음열 또는 발음사전 구성을 위한 형태로 출력한다. 표제어간 음운변화 현상이 반영된 상태의 표제어 단위이므로 실제 음운변화가 반영되지 않은 상태의 표제어와는 그 형태가 상이하다. 이는 연속 발음시 생기는 현상으로 실제 인식에는 이 음운변화 현상이 반영된 사전이 필요하게 된다. 생성된 발음사전의 효용성을 확인하기 위해 다음과 같은 실험을 통해 성능을 평가하였다. 음향학습을 위하여 PBS(Phonetically Balanced Sentence) 낭독체 17200문장을 녹음하고 그 전사파일을 사용하여 학습을 수행하였고, 발음사전의 평가를 위하여 이 중 각각 3100문장을 사용하여 다음과 같은 실험을 수행하였다. 형태소 태그정보를 이용하여 표제어간 음운변화 현상을 반영한 최적의 발음사전과 다중 발음사전, 언어학적 기준에 의한 수작업으로 생성한 표준 발음사전, 그리고 표제어간의 음운변화 현상을 고려하지 않고 독립된 단어로 생성한 발음사전과의 비교 실험을 수행하였다. 실험결과 표제어간 음운변화 현상을 반영하지 않은 경우 단어 인식률이 43.21%인 반면 표제어간 음운변화 현상을 반영한 1-Best 사전의 경우 48.99%, Multi 사전의 경우 50.19%로 인식률이 5~6%정도 향상되었음을 볼 수 있었고, 수작업에 의한 표준발음사전의 단어 인식률 45.90% 보다도 약 3~4% 좋은 성능을 보였다.

  • PDF

레벨 기반의 유사도 계산을 이용한 PropBank 의미역과 Sejong 의미역 간의 자동 변환 (Automatic Transformation of Semantic Roles between PropBank and Sejong using Similarity Estimation based on Tree Level)

  • 윤영신;석미란;김유섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.221-224
    • /
    • 2014
  • 의미 표지 부착 작업은 구문 표지 부착된 문장의 술어-논항 구조를 파악하여 논항에 적절한 의미역을 부착하는 과정이다. 이 작업을 통하여 생성되는 의미 표지 부착 말뭉치는 의미역 결정에 있어서 절대적으로 필요한 자원이 된다. 의미 표지 부착 말뭉치로는 세계적으로 PropBank가 널리 활용되고 있는데 이를 한국어에 적용시키기 위해서는 PropBank 의미역과 Sejong 의미역 간의 자동 변환이 필요하다. 이전에 제안되었던 이종 의미역 간의 자동변환 방법에서는 명사 계층의 구조 정보를 반영하지 않았다는 문제점이 있었다. 본 논문에서는 이러한 문제점을 보강하기 위하여 명사 계층구조를 반영하여 한국어 PropBank 의미역을 Sejong 의미역으로 자동 변환하는 방법을 제안한다. 제안하는 방법은 PropBank와 Sejong의 맵핑관계 중에서 1:N으로 맵핑되는 PropBank 의미역을 기준으로 명사 계층구조에서 변환 대상 의미역을 가지고 있는 단어와 변환 후보 의미역을 가진 단어들의 개념번호를 뽑아 두 단어 간의 거리를 측정한다. 그리고 레벨 당 가중치를 주어 유사도 계산을 하여 유사도가 적은 값으로 의미역을 자동 변환한다. 본 논문에서 제안하는 방법은 0.8의 성능을 보인다.

  • PDF

술어-논항 구조의 어휘 패턴을 이용한 스트링 커널 기반 관계 추출 (String Kernel-based Relation Extraction using Lexical Patterns of Predicate-Argument Structure)

  • 정창후;최성필;전홍우;홍순찬;정한민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.327-329
    • /
    • 2012
  • 문서 내에 존재하는 중요한 개체들 간의 관계를 자동으로 추출할 때 개체와 개체 사이의 상호작용 표현에 중요하게 관여하는 핵심자질을 잘 선택할수록 빠르고 정확하게 관계 추출을 수행할 수 있다. 본 논문에서는 개체 쌍 사이에 존재하는 술어-논항 구조의 어휘 패턴 문자열을 정규화해서 스트링 커널에 적용하는 관계 추출 방법을 제안한다. 제안된 시스템의 성능 평가를 위해서 과학기술문헌에 존재하는 중요한 개체들 간의 연관관계 추출 성능 평가를 수행하는 테스트컬렉션을 자체적으로 구축하였으며 실험을 통하여 제안된 방법의 성능을 측정하였다. 정확도 실험 결과, 스트링 커널의 입력으로 문장 전체를 사용한 경우에는 55.0693%, 개체 쌍 사이의 문자열을 사용한 경우에는 61.0331%, 그리고 술어-논항 구조의 어휘 패턴 문자열을 사용한 경우에는 69.14%로, 술어-논항 구조의 어휘 패턴 문자열을 사용했을 때 성능이 가장 좋게 나타났다. 결론적으로 문장 내의 술어-논항 구조를 분석하여 정규화된 어휘 패턴을 생성하고 이렇게 생성된 문자열을 스트링 커널에 적용하는 방법이 관계 추출에 유용한 방법임을 알 수 있었다.

한국어 대화체 음성언어 번역시스템에서의 개념기반 번역시스템 (Concept-based Translation System in the Korean Spoken Language Translation System)

  • 최운천;한남용;김재훈
    • 한국정보처리학회논문지
    • /
    • 제4권8호
    • /
    • pp.2025-2037
    • /
    • 1997
  • 대화체 음성언어번역시스템의 일부인 개념기반 번역시스템은 음성인식의 결과를 이용하여 다른 언어로 번역해 주는 시스템이다. 본 논문은 여행계획 영역에 대해 한국어를 해석하여 영어, 일본어, 한국어로 번역해 주는 시스템에 대해 기술한 것이다. 개념기반 번역은 비정형 문장이 많은 대화체 문장을 처리하기 위해 형태소 분석 등의 구문정보를 이용하지 않고, 의미단위의 번역을 시도한 것으로 화자의 의도를 정확히 번역해 주는 것을 목표로 한다. 개념기반 번역은 280여개의 개념과 개념간의 계층구조에 의해, 인식결과를 개념구조로 변환한 후 다른 언어로 생성해 준다. 효율적인 한국어 처리를 위해 기준단어를 이용한 토큰분리기와 문법자동 수정기를 개발하였다. 그리고 자연스러운 생성문을 위해 각 언어에 대한 후처리기를 개발하였다.

  • PDF

ICLAL: 인 컨텍스트 러닝 기반 오디오-언어 멀티 모달 딥러닝 모델 (ICLAL: In-Context Learning-Based Audio-Language Multi-Modal Deep Learning Models)

  • 박준영;여진영 ;이고은 ;최창환;최상일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.514-517
    • /
    • 2023
  • 본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

한국어 자가 지식 학습을 위한 패턴 및 인스턴스 생성 (Pattern and Instance Generation for Self-knowledge Learning in Korean)

  • 윤희근;박성배
    • 한국지능시스템학회논문지
    • /
    • 제25권1호
    • /
    • pp.63-69
    • /
    • 2015
  • 웹의 비구조 문서로부터 자동으로 인스턴스를 생성하기 위한 다양한 연구가 제안되었다. 영어권의 기존 연구들에서는 간단한 규칙과 정규식 기반의 패턴을 활용하였다. 영어에서는 단순한 정규식 기반의 패턴만으로도 충분히 높은 정확도를 보여주었지만. 한국어는 영어와 다른 언어적인 특성으로 인하여 기존의 정규식 형태의 패턴으로는 적합한 패턴을 생성할 수 없다. 이에 본 논문에서는 한국어에 적합한 패턴 및 인스턴스 생성 방법을 제안한다. 제안한 방법은 대상 문장의 의존 관계를 고려함으로써 높은 정확도를 가지는 패턴 집합을 생성한다. 또한 인스턴스의 주어(subject)와 목적어(object) 판별을 위하여 조사 정보를 함께 활용함으로써 한국어의 자유로운 어순으로부터 오는 제약을 해결한다. 실험 결과에 따르면 본 논문에서 제안한 패턴 생성 방법이 단순 어순만을 고려하여 생성된 패턴들에 비하여 더 높은 정확률을 보여주어, 한국어 대상 자동 인스턴스 생성에 적합함을 확인하였다.

대화체 문장 번역을 위한 토큰기반 변환중심 한일 기계번역 (A Token Based Transfer Driven Koran -Japanese Machine Translation for Translating the Spoken Sentences)

  • 양승원
    • 한국산업정보학회논문지
    • /
    • 제4권4호
    • /
    • pp.40-46
    • /
    • 1999
  • 본 논문에서는 음성언어 자동 통역시스템의 일부 모듈로 구현한 한일 기계번역 시스템을 소개하였다. 이 번역시스템은 예제중심 기계번역(EBMT)에 기초를 둔 변환중심 기계번역(TDMT) 방법을 기반으로 구현하였다. 본 시스템에서는 토큰(TOKEN)이라는 새로운 번역단위를 정의하여 사용하였다. 토큰단위의 번역방법을 사용함으로써 한국어 문장의 매우 비 정형적인 점을 해결하고 번역의 질을 높일 수 있다. 본 시스템의 구문분석 단계에서는 대역어를 선정하기에 적합한 정도까지의 의존트리를 생성하는 간이파싱만을 함으로써 필요없는 노력을 경감시켰다. 대역어 사전은 한국전자통신 연구원이 수집한 음성 데이터베이스로부터 추출한 말뭉치를 사용해 구성하였다. 구현한 시스템은 여행 계획영역에서 수집된 600 발화 안의 문장을 대상으로 시험하였는데 제한된 환경에서 87%, 아무런 제약이 없는 환경에서는 71%의 성공률을 보였다.

  • PDF

유사도 계산과 대화 전이 네트워크를 이용한 말뭉치 기반 대화 시스템 (The Corpus-based Dialogue System Using a Dialogue Transition Network and a Similarity Measure Method)

  • 강상우;박홍민;고영중;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.162-166
    • /
    • 2008
  • 본 연구는 말뭉치로부터 추출된 정보를 사용하여 대화 시스템에 필요한 과정들을 통합 처리하는 시스템을 제안한다. 기존 연구는 영역 확장 시 대화 시스템의 각 과정들을 위해 많은 노력이 필요하였지만, 제안하는 방법은 말뭉치를 사용하여 각 과정들을 통합적으로 업데이트함으로서 이 문제를 해결하고자 한다. 사용자 입력문장과 말뭉치의 각 문장들 간의 유사도 계산을 통하여 의미적으로 가장 유사한 말뭉치 문장의 정보를 이용하고, 시스템 응답에 필요한 정보를 선택한다. 또한, 문맥에 관련된 정보를 자동으로 추출하여 대화 관리를 위한 대화 전이 네트워크(network)를 생성한다. 따라서, 제안 시스템은 말뭉치의 추가 및 수정만으로 새로운 영역 확장과 관리에 용이한 구조를 갖는다. 실험으로 관찰한 제안된 시스템의 성능은 유사도 계산 만족도 약 77%, 시스템 응답의 적절성 약 84%로 충분히 작업 수행이 가능한 점수를 보여주었다.

  • PDF

천문 고문헌 특화 인공지능 자동번역 서비스 시스템 개발 연구 - 시스템 요구사항 분석 및 설계 위주 (Study on the development of automatic translation service system for Korean astronomical classics by artificial intelligence - Focused on system analysis and design step)

  • Seo, Yoon Kyung;Kim, Sang Hyuk;Ahn, Young Sook;Choi, Go-Eun;Choi, Young Sil;Baik, Hangi;Sun, Bo Min;Kim, Hyun Jin;Lee, Sahng Woon
    • 천문학회보
    • /
    • 제44권2호
    • /
    • pp.62.2-62.2
    • /
    • 2019
  • 한국의 고천문 자료는 삼국시대 이후 근대 조선까지 다수가 존재하여 세계적으로 드문 기록 문화를 보유하고 있으나, 한문 번역이 많이 이루어지지 않아 학술적 활용이 활발하지 못한 상태이다. 고문헌의 한문 문장 번역은 전문인력의 수작업에 의존하는 만큼 소요 시간이 길기에 투자대비 효율성이 떨어지는 편이다. 이에 최근 여러 분야에서 응용되는 인공지능의 적용을 대안으로 삼을 수 있으며, 초벌 번역 수준일지라도 자동번역기의 개발은 유용한 학술도구가 될 수 있다. 한국천문연구원은 한국정보화진흥원이 주관하는 2019년도 Information and Communication Technology 기반 공공서비스 촉진사업에 한국고전번역원과 공동 참여하여 인공신경망 기계학습이 적용된 고문헌 자동번역모델을 개발하고자 한다. 이 연구는 고천문 도메인에 특화된 인공지능 기계학습 기법으로 자동번역모델을 개발하여 이를 서비스하는 것을 목적으로 한다. 연구 방법은 크게 4가지 개발을 진행하는 것으로 나누어 볼 수 있다. 첫째, 인공지능의 학습 데이터에 해당되는 '코퍼스'를 구축하는 것이다. 이는 고문헌의 한자 원문과 한글 번역문이 쌍을 이루도록 만들어 줌으로써 학습에 최적화한 데이터를 최소 6만 개 이상 추출하는 것이다. 둘째, 추출된 학습 데이터 코퍼스를 다양한 인공지능 기계학습 기법에 적용하여 천문 분야 특수고전 도메인에 특화된 자동번역 모델을 생성하는 것이다. 셋째, 클라우드 기반에서 참여 기관별로 소장한 고문헌을 자동 번역 모델에 기반하여 도메인 특화된 모델로 도출 및 활용할 수 있는 대기관 서비스 플랫폼 구축이다. 넷째, 개발된 자동 번역기의 대국민 개방을 위해 웹과 모바일 메신저를 통해 자동 번역 서비스를 클라우드 기반으로 구축하는 것이다. 이 연구는 시스템 요구사항 분석과 정의를 바탕으로 설계가 진행 또는 일부 완료되어 구현 중에 있다. 추후 이 연구의 성능 평가는 자동번역모델 평가와 응용시스템 시험으로 나누어 진행된다. 자동번역모델은 평가용 테스트셋에 의한 자동 평가와 전문가에 의한 휴먼 평가에 따라 모델의 품질을 수치로 측정할 수 있다. 또한 응용시스템 시험은 소프트웨어 방법론의 개발 단계별 테스트를 적용한다. 이 연구를 통해 고천문 분야가 인공지능 자동번역 확산 플랫폼 시범의 첫 케이스라는 점에서 의의가 있다. 즉, 클라우드 기반으로 시스템을 구축함으로써 상대적으로 적은 초기 비용을 투자하여 활용성이 높은 한문 문장 자동 번역기라는 연구 인프라를 확보하는 첫 적용 학문 분야이다. 향후 이를 활용한 고천문 분야 학술 활동이 더욱 활발해질 것을 기대해 볼 수 있다.

  • PDF

영어 구문 분석의 효율 개선을 위한 3단계 구문 분석 (Three-Phase English Syntactic Analysis for Improving the Parsing Efficiency)

  • 김성동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권1호
    • /
    • pp.21-28
    • /
    • 2016
  • 영어 구문 분석기는 영한 기계번역 시스템의 성능에 가장 큰 영향을 미치는 부분이다. 본 논문에서의 영어 구문 분석기는 규칙 기반 영한 기계번역 시스템의 한 부분으로서, 많은 구문 규칙을 구축하고 차트 파싱 기법으로 구문 분석을 수행한다. 구문 규칙의 수가 많기 때문에 구문 분석 과정에서 많은 구조가 생성되는데, 이로 인해 구문 분석 속도가 저하되고 많은 메모리를 필요로 하여 번역의 실용성이 떨어진다. 또한 쉼표를 포함하는 긴 문장들은 구문 분석 복잡도가 매우 높아 구문 분석 시간/공간 효율이 떨어지고 정확한 번역을 생성하기 매우 어렵다. 본 논문에서는 실제 생활에서 나타나는 긴 문장들을 효율적으로 번역하기 위해 문장 분할 방법을 적용한 3단계 구문 분석 방법을 제안한다. 구문 분석의 각 단계는 독립된 구문 규칙들을 적용하여 구문 분석을 수행함으로써 구문 분석의 복잡도를 줄이려 하였다. 이를 위해 구문 규칙을 3가지 부류로 분류하고 이를 이용한 3단계 구문 분석 알고리즘을 고안하였다. 특히 세 번째 부류의 구문 규칙은 쉼표로 구성되는 문장 구조에 대한 규칙으로 구성되는데, 이들 규칙들을 말뭉치의 분석을 통해 획득하는 방법을 제안하여 구문 분석의 적용률을 지속적으로 개선하고자 하였다. 실험을 통해 제안한 방법이 문장 분할만을 적용한 기존 2단계 구문 분석 방법에 비해 유사한 번역 품질을 유지하면서도 시간/공간 효율 면에서 우수함을 확인하였다.