• 제목/요약/키워드: large-language model

검색결과 276건 처리시간 0.032초

온톨로지 지식 기반 특성치를 활용한 Bidirectional LSTM-CRF 모델의 시퀀스 태깅 성능 향상에 관한 연구 (Improving Bidirectional LSTM-CRF model Of Sequence Tagging by using Ontology knowledge based feature)

  • 진승희;장희원;김우주
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.253-266
    • /
    • 2018
  • 본 연구는 질의 응답(QA) 시스템에서 사용하는 개체명 인식(NER)의 성능을 향상시키기 위하여 시퀀스 태깅 방법론을 적용한 새로운 방법론을 제안한다. 사용자의 질의를 입력 받아 데이터베이스에 저장된 정답을 추출하기 위해서는 사람의 언어를 컴퓨터가 알아들을 수 있도록 구조화 질의어(SQL)와 같은 데이터베이스의 언어로 전환하는 과정이 필요한데, 개체명 인식은 사용자의 질의에서 데이터베이스에 포함된 클래스나 데이터 명을 식별하는 과정이다. 기존의 데이터베이스에서 질의에 포함된 단어를 검색하여 개체명을 인식하는 방식은 동음이의어와 문장성분 구를 문맥을 고려하여 식별하지 못한다. 다수의 검색 결과가 존재하면 그들 모두를 결과로 반환하기 때문에 질의에 대한 해석이 여러 가지가 나올 수 있고, 계산을 위한 시간복잡도가 커진다. 본 연구에서는 이러한 단점을 극복하기 위해 신경망 기반의 방법론을 사용하여 질의가 가지는 문맥적 의미를 반영함으로써 이러한 문제를 해결하고자 했고 신경망 기반의 방법론의 문제점인 학습되지 않은 단어에 대해서도 문맥을 통해 식별을 하고자 하였다. Sequence Tagging 분야에서 최신 기술인 Bidirectional LSTM-CRF 모델을 도입함으로써 신경망 모델이 가진 단점을 해결하였고, 학습되지 않은 단어에 대해서는 온톨로지 기반 특성치를 활용하여 문맥을 반영한 추론을 사용하였다. 음악 도메인의 온톨로지(Ontology) 지식베이스를 대상으로 실험을 진행하고 그 성능을 평가하였다. 본 연구에서 제안한 방법론인 L-Bidirectional LSTM-CRF의 성능을 정확하게 평가하기 위하여 학습에 포함된 단어들뿐만 아니라 학습에 포함되지 않은 단어들도 포함한 질의를 평가에 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.

심층 신경망을 활용한 진료 기록 문헌에서의 종단형 개체명 및 관계 추출 비교 연구 - 파이프라인 모델과 결합 모델을 중심으로 - (A Comparative Research on End-to-End Clinical Entity and Relation Extraction using Deep Neural Networks: Pipeline vs. Joint Models)

  • 최성필
    • 한국문헌정보학회지
    • /
    • 제57권1호
    • /
    • pp.93-114
    • /
    • 2023
  • 정보추출은 문헌 내에 존재하는 개체명을 인식함과 동시에 이들 간의 의미적 관계까지도 식별하여 최종적으로 문헌 내에 포함된 의미적 트리플을 자동으로 추출하여 활용할 수 있으므로 문헌에 대한 심층적인 분석과 이해에 많은 도움을 줄 수 있다. 그러나 지금까지 대부분의 정보추출에 대한 연구는 개체명 인식과 관계추출이 개별 연구로 각각 분리되어 진행되었으며, 그 결과 입력 문헌에 대한 정보추출의 최종 출력인 의미적 트리플 추출 성능에 대한 객관적이고 정확한 평가가 제대로 이루어지지 않았다. 이에 본 논문에서는 진료 기록 문헌에 나타나는 개체명과 그들 간의 관계를 트리플 형태로 직접 추출할 수 있는 종단형 정보추출의 2가지 모델인 파이프라인 및 결합형 모델을 구축하는 구체적인 방법론을 제시하고 성능 비교 실험을 진행하였다. 우선 파이프라인 모델은 양방향 GRU-CRFs를 활용한 개체명 인식 모듈과 다중 인코딩 기반 관계추출 모듈로 구현되었고, 결합형 모델을 위해서는 다중 헤드 레이블링 기반의 양방향 GRU-CRFs이 적용되었다. 두 가지 시스템을 바탕으로 진료기록 문헌 내의 개체명과 관계를 모두 태깅하여 구축된 i2b2/VA 2010 데이터셋을 활용한 비교 실험에서 파이프라인 모델의 성능이 5.5%(F-measure) 더 높게 나타났다. 추가적으로, 대규모 신경망 언어모델과 수작업으로 구축된 자질 정보를 활용한 최고 수준의 기존 시스템과의 비교 실험을 통해, 본 논문에서 구현한 종단형 모델의 객관적인 성능 수준을 파악할 수 있었다.

BERT 모형을 이용한 주제명 자동 분류 연구 (A Study on Automatic Classification of Subject Headings Using BERT Model)

  • 이용구
    • 한국문헌정보학회지
    • /
    • 제57권2호
    • /
    • pp.435-452
    • /
    • 2023
  • 이 연구는 딥러닝 기법의 전이학습 모형인 BERT를 이용하여 주제명의 자동 분류를 실험하고 그 성능을 평가하였으며, 더 나아가 주제명이 부여된 KDC 분류체계와 주제명의 범주 유형에 따른 성능을 분석하였다. 실험 데이터는 국가서지를 이용하여 주제명의 부여 횟수에 따라 6개의 데이터셋을 구축하고 분류 자질로 서명을 이용하였다. 그 결과, 분류 성능으로 3,506개의 주제명이 포함된 데이터셋(레코드 1,539,076건)에서 마이크로 F1과 매크로 F1 척도가 각각 0.6059와 0.5626 값을 보였다. 또한 KDC 분류체계에 따른 분류 성능은 총류, 자연과학, 기술과학, 그리고 언어 분야에서 좋은 성능을 보이며 종교와 예술 분야는 낮은 성능을 보였다. 주제명의 범주 유형에 따른 성능은 '식물', '법률명', '상품명'이 높은 성능을 보인 반면, '국보/보물' 유형의 주제명에서 낮은 성능을 보였다. 다수의 주제명을 포함하는 데이터셋으로 갈수록 분류기가 주제명을 제대로 부여하지 못하는 비율이 늘어나 최종 성능의 하락을 가져오기 때문에, 저빈도 주제명에 대한 분류 성능을 높이기 위한 개선방안이 필요하다.

119 응급신고에서 수보요원과 신고자의 통화분석을 활용한 머신 러닝 기반의 심정지 탐지 모델 (Machine-learning-based out-of-hospital cardiac arrest (OHCA) detection in emergency calls using speech recognition)

  • 김종인;이주영;정지오;신대진;최동현;김기홍;홍기정;김선희;정민화
    • 말소리와 음성과학
    • /
    • 제15권4호
    • /
    • pp.109-118
    • /
    • 2023
  • 심정지는 초기 대응에 따라 생존율과 예후에 영향을 미치는 중요한 응급 상황이다. 특히 병원밖심정지(out-of-hospital cardiac arrest, OHCA)의 경우, 119 구조대의 초기 조치가 심정지 환자의 생존율을 높이는 데 결정적인 역할을 한다. 그러나 국내에서는 수보요원의 수가 제한적이지만 다량의 신고 전화에 응대해야 하는 현실이다. 이런 상황에서 머신러닝 기반의 OHCA 탐지 프로그램은 수보요원의 보조 역할로 심정지 환자의 생존률을 높일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위해 머신러닝 기반의 심정지(OHCA) 탐지 프로그램을 개발하였다. 이 프로그램은 수보요원과 신고자의 통화 녹취록을 분석하여 심정지 여부를 판단한다. 제안한 모델은 수보요원 및 신고자와의 통화를 자동으로 전사하는 모델, 텍스트 기반의 심정지 탐지 모델, 그리고 프로그램 개발을 위한 서버와 클라이언트로 구성되어 있다. 실험 결과, 본 연구에서 제안한 모델은 F1 점수 기준으로 79.49%의 성능을 보였으며, 수보요원과 비교하여 심정지 감지 시간을 15초 단축하였다. 이 연구는 소규모 데이터셋을 사용하였음에도 불구하고, 심정지 기반의 탐지 프로그램이 수보요원의 보조 역할로 심정지 생존률에 기여할 수 있음을 입증하였다.

고성능 집적회로 설계를 위한 새로운 클락 배선 (A New Clock Routing Algorithm for High Performance ICs)

  • 유광기;정정화
    • 전자공학회논문지C
    • /
    • 제36C권11호
    • /
    • pp.64-74
    • /
    • 1999
  • 본 논문에서는 연결 에지 추가 기법을 이용하여 주어진 클락 스큐를 만족시키면서 동시에 총 배선 길이를 증가시키지 않는 새로운 클락 배선 최적화 알고리즘을 제안한다. 고속의 동기식 집적 회로에서는 클락 스큐가 회로의 속도를 제한하는 주된 요소로 작용하므로 성능의 향상을 위해서는 클락 스큐를 최소화해야 한다. 일반적으로 클락 스큐를 최소화하면 총 배선 길이가 증가하므로 오동작하지 않는 클락 스큐 범위 내에서 클락 배선을 수행한다. 이를 이용하여 본 논문에서는 제로 스큐 트리에 연결 점 이동 방법을 적용하여 총 배선길이와 지연 시간을 감소시킨다. 제안하는 알고리즘은 클락 트리의 두 노드 사이에 연결 에지를 추가하여 일반적인 그래프 형태의 클락 토폴로지를 구성하여 주어진 클락 스큐 범위를 만족시키고 동시에 총 배선장의 증가를 억제한다. 연결 에지를 구성하는 두 노드를 선택하기 위한 새로운 비용 함수를 고안하였다. 클락 트리 상에서 지연 시간의 차이가 크면서 거리가 가까운 두 노드를 연결함으로서 싱크 사이의 지연 시간의 차를 감소시켜서 클락 스큐를 감소시킨다. 또한 클락 신호선의 지연 시간 최소화를 위하여 배선 토폴로지 설계 및 배선 폭 조절 알고리즘을 개발하였다. 본 논문에서 제안하는 알고리듬을 C 프로그램 언어로 구현하여 실험한 결과 주어진 스큐 범위를 만족시키면서 지연 시간을 감소시키는 효과를 얻을 수 있었다

  • PDF

시간 데이타마이닝 프레임워크 (Temporal Data Mining Framework)

  • 이준욱;이용준;류근호
    • 정보처리학회논문지D
    • /
    • 제9D권3호
    • /
    • pp.365-380
    • /
    • 2002
  • 시간 데이타마이닝은 기존 데이타마이닝에 시간 개념을 추가하여 "시간값을 가진 대용량 데이타로부터 이전에 잘 알려지지는 않았지만, 묵시적이고 잠재적으로 유용한 시간 지식을 탐사하는 기술"로 정의된다. 시간 지식이란 주기적 패턴, 캘린더 패턴, 경향 등과 같이 시간 의미와 시간 관계를 가진 지식을 말한다. 실세계에서는 환자의 병력, 상품 구매 이력, 웹 로그 등과 같은 다양한 시간 데이타가 존재하며 이로부터 여러 형태의 유용한 시간 지식을 찾아낼 수 있다. 데이타마이닝에 대한 연구가 진행되면서 순차 패턴, 유사 시계열 탐사, 주기적 연관규칙 탐사 등과 같이 시간 지식을 탐사하고자 하는 시간 데이타마이닝에 대한 부분적인 연구가 수행되었다. 그러나 기존 연구는 단순히 데이타의 발생 순서 및 유사한 패턴을 찾아내는데 중점을 두고 있어 데이타가 포함하고 있는 시간 의미와 시간 관계를 탐사하는데 부족하며, 시간 지식의 전체적인 측면보다는 연관 규칙과 같은 일부분만을 다루고 있다는 문제점을 가지고 있다. 따라서 이 논문에서는 시간 데이타마이닝에 대한 체계적인 연구를 위하여 시간 데이타마이닝에 대한 기존 연구 내용과 해결해야 할 문제점을 분석하고 이를 바탕으로 전체적인 프레임워크를 제시하였다. 또한 그 구현 방안 및 적용평가를 수행하였다. 프레임워크에서는 시간 데이타마이닝 모델을 제안하고, 이를 바탕으로 시간 데이타마이닝 질의어와 시간 지식을 탐사할 수 있는 시간 데이타마이닝 시스템을 설계하였다.

국내용 애니메이션 사운드 라이브러리 구축 방안 (A Program for Korean Animation Sound Libraries)

  • 임영규
    • 만화애니메이션 연구
    • /
    • 통권15호
    • /
    • pp.221-235
    • /
    • 2009
  • 애니메이션 영상물에서 사용되는 사운드는 거의 모두가 인위적으로 만들어진다. 많은 수의 사운드는 실제의 소리를 녹음해서 사용하기도 하고, 신디사이저와 같은 전문 음향장비로 제작된 가상적 사운드를 여러 가지 방법으로 가공하여 사용하기도 한다. 한 편의 애니메이션은 적지 않은 양의 사운드를 소비하는데, 그를 위한 제작비용 또한 만만치 않다. 이렇게 해서 만들어진 사운드들은 여러 다른 영상작품에 사용될만한 가치가 충분히 있음에도 불구하고, 그렇지 못한 것이 현실이다. 본 논문은 이러한 사운드 소스들을 현 시장상황 하에서 새로운 부가가치로 인정받을 수 있는 '디지털 콘텐츠'로 활용하는 방안에 대하여 논의해 보려한다. 현재 가장 성공적인 디지털 콘텐츠 유통모델로 인정받고 있는 미국 Apple사의 iTunes Music Store 시스템은 국내 음원시장에서의 적용이 가능하다. 연구결과 이 시스템은 사운드의 창작자가 스스로 온라인 스토어의 콘텐츠 제공자로서 역할을 주도하며, 동시에 사용자는 간편한 방법과 저렴한 비용으로 원하는 콘텐츠를 제공 받을 수 있다는 특성을 갖고 있다. 그리고 이러한 시스템을 구축 할 때 반드시 필요한 것이, 원하는 데이터를 짧은 시간 안에 검색 가능하게 해 주는 검색 시스템인데, 이 부분은 우리말의 특징을 고려하여 새롭게 디자인 되어야 하는 부분일 것이다. 본 논문에서는 위키 시스템을 활용하여, 검색 작업과 더불어 사용자 스스로가 데이터베이스를 구축하고 다른 사용자들과 그것을 공유할 수 있도록 하는 방안을 제시하려 한다. 이러한 시스템을 바탕으로 국내판 애니메이션 사운드 라이브러리라는 새로운 음원 디지털 콘텐츠로써 국내 음원시장 개척의 발판을 마련하고자 한다.

  • PDF

한국어 수분류사 어휘의미망 KorLexClas 1.5 (KorLexClas 1.5: A Lexical Semantic Network for Korean Numeral Classifiers)

  • 황순희;권혁철;윤애선
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권1호
    • /
    • pp.60-73
    • /
    • 2010
  • 본 연구의 목적은 한국어 수분류사 체계를 설정하고, 수분류사와 공기명사 간 의미관계 정보를 제공하는 한국어 수분류사 어휘의미망 "KorLexClas 1.5"의 정보구조와 구축방식을 소개하는 데 있다. KorLex 명사, 동사, 형용사, 부사가 영어 워드넷(Princeton WordNet)을 기반으로 참고구축 방식으로 개발된 것에 비해, KorLexClas 1.0버전과 이를 확장한 1.5버전은 직접구축 방식으로 개발하였다는 점에서, 수분류사의 계층구조와 언어단위 간 의미관계 설정은 매우 방대한 시간과 정교한 구축 방식을 요구한다. 따라서 작업의 효율성을 기함과 동시에, 구축된 어휘의미망의 신뢰성 및 확장성을 높이기 위해, (1) 다양한 기구축 언어자원을 활용하되 상호 검증하는 절차를 거치고, (2) 부분문장 분석방법을 이용하여, 수분류사 및 공기명사 목록을 확장하며, (3) 언어학적 준거를 기준으로 수분류사의 계층구조를 설정하고, (4) 수분류사와 공기명사 간 의미관계 정보를 제공하되 확장성을 확보하기 위해, KorLexNoun 1.5에 '최하위 공통상 위노드(LUB : Least Upper Bound)'를 설정하는 방식을 택한다. 이러한 특성을 가진 KorLexClas 1.5는 기계번역을 비롯한 한국어정보처리의 제 분야에 응용될 수 있다.

온라인 쇼핑몰에서 상품 설명 이미지 내의 키워드 인식을 위한 딥러닝 훈련 데이터 자동 생성 방안 (The way to make training data for deep learning model to recognize keywords in product catalog image at E-commerce)

  • 김기태;오원석;임근원;차은우;신민영;김종우
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.1-23
    • /
    • 2018
  • E-commerce 환경의 발전으로 소비자들은 다양한 상품들을 한 자리에서 폭 넓게 비교할 수 있게 되었다. 하지만 온라인 쇼핑몰에 올라와있는 상당량의 주요 상품 정보들이 이미지 형태이기 때문에 컴퓨터가 인지할 수 있는 텍스트 기반 검색 시스템에 반영될 수 없다는 한계가 존재한다. 이러한 한계점은 일반적으로 기존 기계학습 기술 및 OCR(Optical Character Recognition) 기술을 활용해, 이미지 형태로 된 키워드를 인식함으로써 개선할 수 있다. 그러나 기존 OCR 기술은 이미지 안에 글자가 아닌 그림이 많고 글자 크기가 작으면 낮은 인식률을 보인다는 문제가 있다. 이에 본 연구에서는 기존 기술들의 한계점을 해결하기 위하여, 딥러닝 기반 사물인식 모형 중 하나인 SSD(Single Shot MultiBox Detector)를 개조하여 이미지 형태의 상품 카탈로그 내의 텍스트 인식모형을 설계하였다. 하지만 이를 학습시키기 위한 데이터를 구축하는 데 상당한 시간과 비용이 필요했는데, 이는 지도학습의 방법론을 따르는 SSD 모형은 훈련 데이터마다 직접 정답 라벨링을 해줘야 하기 때문이다. 본 연구는 이러한 문제점을 해결하기 위해 '훈련 데이터 자동 생성 프로그램'을 함께 개발하였다. 훈련 데이터 자동 생성 프로그램을 통해 수작업으로 데이터를 만드는 것에 비하여 시간과 비용을 대폭 절감할 수 있었으며, 생성된 훈련용 데이터를 통해 모형의 인식 성능을 높일 수 있었다. 더 나아가 실험연구를 통해 자동으로 생성된 훈련 데이터의 특징별로 인식기 모형의 성능에 얼마나 큰 영향을 끼치는지 알아보고, 성능 향상에 효과적인 데이터의 특징을 분석하였다. 본 연구를 통해서 개발된 상품 카탈로그 내 텍스트 인식모형과 훈련 데이터 자동 생성 프로그램은 온라인 쇼핑몰 판매자들의 상품 정보 등록 수고를 줄여줄 수 있으며, 구매자들의 상품 검색 시 결과의 정확성을 향상시키는 데 기여할 수 있을 것으로 기대한다.

Bi-LSTM 기반의 한국어 감성사전 구축 방안 (KNU Korean Sentiment Lexicon: Bi-LSTM-based Method for Building a Korean Sentiment Lexicon)

  • 박상민;나철원;최민성;이다희;온병원
    • 지능정보연구
    • /
    • 제24권4호
    • /
    • pp.219-240
    • /
    • 2018
  • 감성사전은 감성 어휘에 대한 사전으로 감성 분석(Sentiment Analysis)을 위한 기초 자료로 활용된다. 이와 같은 감성사전을 구성하는 감성 어휘는 특정 도메인에 따라 감성의 종류나 정도가 달라질 수 있다. 예를 들면, '슬프다'라는 감성 어휘는 일반적으로 부정의 의미를 나타내지만 영화 도메인에 적용되었을 경우 부정의 의미를 나타내지 않는다. 그렇기 때문에 정확한 감성 분석을 수행하기 위해서는 특정 도메인에 알맞은 감성사전을 구축하는 것이 중요하다. 최근 특정 도메인에 알맞은 감성사전을 구축하기 위해 범용 감성 사전인 오픈한글, SentiWordNet 등을 활용한 연구가 진행되어 왔으나 오픈한글은 현재 서비스가 종료되어 활용이 불가능하며, SentiWordNet은 번역 간에 한국 감성 어휘들의 특징이 잘 반영되지 않는다는 문제점으로 인해 특정 도메인의 감성사전 구축을 위한 기초 자료로써 제약이 존재한다. 이 논문에서는 기존의 범용 감성사전의 문제점을 해결하기 위해 한국어 기반의 새로운 범용 감성사전을 구축하고 이를 KNU 한국어 감성사전이라 명명한다. KNU 한국어 감성사전은 표준국어대사전의 뜻풀이의 감성을 Bi-LSTM을 활용하여 89.45%의 정확도로 분류하였으며 긍정으로 분류된 뜻풀이에서는 긍정에 대한 감성 어휘를, 부정으로 분류된 뜻풀이에서는 부정에 대한 감성 어휘를 1-gram, 2-gram, 어구 그리고 문형 등 다양한 형태로 추출한다. 또한 다양한 외부 소스(SentiWordNet, SenticNet, 감정동사, 감성사전0603)를 활용하여 감성 어휘를 확장하였으며 온라인 텍스트 데이터에서 사용되는 신조어, 이모티콘에 대한 감성 어휘도 포함하고 있다. 이 논문에서 구축한 KNU 한국어 감성사전은 특정 도메인에 영향을 받지 않는 14,843개의 감성 어휘로 구성되어 있으며 특정 도메인에 대한 감성사전을 효율적이고 빠르게 구축하기 위한 기초 자료로 활용될 수 있다. 또한 딥러닝의 성능을 높이기 위한 입력 자질로써 활용될 수 있으며, 기본적인 감성 분석의 수행이나 기계 학습을 위한 대량의 학습 데이터 세트를 빠르게 구축에 활용될 수 있다.