• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.361-365
• /
• 2023

오픈 도메인 질의응답 (ODQA, Open-Domain Question Answering)은 주어진 질문에 대한 답을 찾는 작업으로 일반적으로 질문과 관련 있는 지식을 검색 모델(Retrieval)을 통해 찾는 단계와, 찾은 지식에서 문서의 정답을 독해 모델(Reader)을 이용하여 찾는 단계로 구성되어 있다. 본 논문은 기존의 DPR(Dense Passage Retrieval)을 이용한 복수의 검색 모델(Retrieval)만을 계층적으로 사용하여 독해 모델(Reader)을 사용하지 않고 정답 문장을 찾는 방법과 정답 문장을 찾는 데 특화된 검색 모델 학습을 위한 유효한 성능 향상을 보이는 Hard Negative Sampling 기법을 제안한다. 해당 제안기법을 적용한 결과, 동일 조건에서 학습된 검색 - 독해(Retrieval-Reader) 구조의 베이스라인 모델보다 EM에서 12%, F1에서 10%의 성능 향상을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.143-148
• /
• 2023

본 논문에서는 금융 도메인 특화 사전학습 언어모델인 KF-DeBERTa(Korean Finance DeBERTa)를 제안한다. KF-DeBERTa는 대규모의 금융 말뭉치를 기반으로 학습하였으며, Transformer 아키텍처와 DeBERTa의 특징을 기반으로 구성되었다. 범용 및 금융 도메인에 대한 평가에서 KF-DeBERTa는 기존 언어모델들에 비해 상당히 높은 성능을 보였다. 특히, 금융 도메인에서의 성능은 매우 두드러졌으며, 범용 도메인에서도 다른 모델들을 상회하는 성능을 나타냈다. KF-DeBERTa는 모델 크기 대비 높은 성능 효율성을 보여주었고, 앞으로 금융 도메인에서의 활용도가 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.707-710
• /
• 2023

관계추출은 문장 내 두 개체 간의 의미적 관계를 추론하는 자연어분석 태스크이다. 딥러닝의 발전과 더불어 관계추출은 BERT 계열의 이해형 언어모델을 이용하였다. 그러나, ChatGPT의 혁신적인 등장과 함께, GPT계열의 생성형 언어모델에 대한 연구가 활발해졌다. 본 논문에서는 소규모의 생성형 언어모델(Kebyt5)을 이용하여 관계추출 성능개선을 위한 프롬프트 구성 및 생각의 사슬(CoT) 학습 방법을 제안한다. 실험결과 Kebyt5-large 모델에서 CoT 학습을 수행하였을 경우, Klue-RoBERTa-base 모델보다 3.05%의 성능개선이 있었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.571-576
• /
• 2023

본 연구에서는 인권의 측면에서 AI 모델이 향상된 답변을 제시할 수 있는 방안을 모색하기 위해서 AI가 인권의 문제를 고민하는 전문가와 자신의 문제를 해결하고자 하는 사용자 사이에서 어느 정도로 도움을 줄 수 있는가를 정량적, 정성적으로 검증했다. 구체적으로는 국가인권위원회의 결정례와 상담사례를 분석한 후 이를 바탕으로 좀 더 나은 답변은 무엇인지에 대해 고찰하기 위해서 인권과 관련된 질의 응답 세트를 만든다. 질의 응답 세트는 인권 코퍼스를 학습한 모델과 그렇지 않은 모델의 생성 결과를 바탕으로 한다. 또한 생성된 질의 응답 세트를 바탕으로 설문을 실시하여 전문적인 내용을 담은 문장에 대한 선호도를 분석한다. 본 논문은 대화형 생성 모델이 인권과 관련된 주제에 대해서도 선호되는 답변을 제시할 수 있는가에 대한 하나의 대안이 될 수 있을 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.918-919
• /
• 2023

딥러닝 기술이 발전함에 따라 모델의 복잡성 역시 증가하고 있다. 본 연구에서는 모델 경량화를 위해 Knowledge Distillation 기법을 Crowd Counting Model에 적용했다. M-SFANet을 Teacher 모델로, 파라미터수가 적은 MCNN 모델을 Student 모델로 채택해 Knowledge Distillation을 적용한 결과, 기존의 MCNN 모델보다 성능을 향상했다. 이는 정확도와 메모리 효율성 측면에서 많은 개선을 이루어 컴퓨팅 리소스가 부족한 기기에서도 본 모델을 실행할 수 있어 많은 활용이 가능할 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.695-697
• /
• 2023

최근 몇 년 간 딥러닝 기반 모델의 규모와 복잡성이 증가하면서 강력하고, 높은 정확도가 확보되지만 많은 양의 계산 자원과 메모리가 필요하기 때문에 모바일 장치나 임베디드 시스템과 같은 리소스가 제한된 환경에서의 배포에 제약사항이 생긴다. 복잡한 딥러닝 모델의 배포 및 운영 시 요구되는 고성능 컴퓨터 자원의 문제점을 해결하고자 사전 학습된 대규모 모델로부터 가벼운 모델을 학습시키는 지식증류 기법이 제안되었다. 하지만 현대 딥러닝 기반 모델은 높은 정확도 대비 훈련 데이터에 과적합 되는 과잉 확신(overconfidence) 문제에 대한 대책이 필요하다. 본 논문은 효율적인 경량화를 위한 미리 학습된 모델의 과잉 확신을 방지하고자 초점 손실(focal loss)을 이용한 모델 보정 기법을 언급하며, 다양한 손실 함수 변형에 따라서 지식증류의 성능이 어떻게 변화하는지에 대해 탐구하고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.727-730
• /
• 2024

최근 딥러닝 기술이 급속히 발전하며 현대 사회의 다양한 응용분야에서 빠르게 적용되고 있다. 특히 영상 기반의 딥러닝 기술은 자연어 처리와 함께 인공지능 기술의 핵심 연구 분야로 많은 연구가 진행되고 있다. 논문에서는 최근 많은 연구가 진행되고 있는 영상의 의미적 분할 (Semantic Segmentation) 성능을 향상하기 위한 연구를 진행한다. 특히 모델에서 고정밀의 의미적 분할을 수행할 수 있도록 추가적인 정보로써 의사 깊이맵 (Pseudo Depth-Map)을 활용하는 방법을 제안하였다. 더불어, 의사 깊이맵을 모델 상에서 효과적으로 학습시키기 위하여 다중 디코더 모델과 학습 효율을 높이는 학습 스케줄링 전략을 제안한다. 의사 깊이맵과 다중 디코더 모델 기반의 제안 모델은 기존 의미적 분할 모델과 비교하여 iIoU 기준 2%의 성능 향상을 보였다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.7 no.2
• /
• pp.123-138
• /
• 1997

In this paper, we design a model of security management in the EDI(Electronic Data Interchange) system implemented on the basis of ITU-T X.400 series. First of all, we defined requirements and functions for providing the security management facility in the EDI system which manipulates a lot of commercial documents. The model to satisfy the requirements is also designed for SEDI (Secure EDI) system which provides security services.

• Journal of Information Management
• /
• v.36 no.4
• /
• pp.155-174
• /
• 2005

Recently, under the pressure of national necessity, the national S&T information system(NTIS) for collecting, managing and distributing various R&D information is under discussion. The close inter-connections and cooperations among elements in R&D process, activity, information and data levels are the basis of national S&T information system. In this paper, we propose a cross reference model of R&D information. The proposed model includes research project, person and output information which are essential in the R&D activities. By using the proposed model, a cross navigating and referencing among R&D information is possible. And various queries on the models from various viewpoints are also possible. XML Topic Map, ISO13250 Standard, is used for development of the proposed model. The efficiencies and further practical usages of proposed model are discussed by demonstrating the proposed model with an example.

• The Journal of Information Technology and Database
• /
• v.5 no.1
• /
• pp.13-37
• /
• 1998

인터넷 등의 컴퓨터 통신 네트워크의 발달로 인하여 분산된 정보자원의 공유를 통한 자원에 대한 재사용성의 필요성이 대두되었다. IRD(Information Resource Dictionary)는 조직 내에서 관련된 모든 정보에 대한 데이터가 논리적으로 중앙화된 정보저장소(repository)이다. IRD 내의 데이터는 다른 데이터를 기술하므로 이른바 메타 데이터라고 하기도 한다. IRD의 사전(dictionary) 요소는 정보자원의 종류, 정보자원의 의미, 정보자원의 논리적 구조, 정보자원의 위치, 그리고 정보자원의 접근방법 등을 기술한다. FIPS ANSI의 IRDS는 이항 관계를 이용하여 무결성 제약조건을 표현하므로 제약조건 규칙의 표현과 일반적인 추론 규칙의 표현이 제한되어 있으며, 다양한 형태의 무결성 제약조건의 표현과 IRD와 관련된 여러 정보의 도출 또는 추론 및 관리에 관한 사항은 IRD 응용 고유의 문제로 간주하여 언급하고 있지 않다. 한편, FIPS IRDS는 사용자가 SQL 및 IRD에 대한 전문적 지식이 없이는 사용자 질의 작성이 어려운 점등에 대한 문제점을 안고 있다. 본 논문은 FIPS IRDS의 기본모델에서 정보자원 표현, 정보자원들간의 관계, 정보자원의 관리 정보 구분을 명확히 하기 위해 정보자원 모델을 정보자원 표현요소와 정보자원 관리요소의 두 부류로 나누어 구분하고, 각 부류에 대한 자격 질의(competency question)를 통하여 유추된 요소들을 FIPS ANSI IRDS 기본 모델의 스키마 기술 레벨과 스키마 레벨에 첨가함으로써 그 기본 모델을 확장한다. 그리고, FIPS ANSI IRDS가 제공하는 IRD 기술과 관리 기능을 그대로 포함하면서 앞에서 문제점으로 지적된 제약조건 표현과 추론규칙 표현을 위하여 확장된 기본 모델을 중심으로 각 레벨의 구성 요소들의 형식적 의미(formal semantics)와 레벨 내 혹은 레벨 구성요소들간의 관계성(relationship), 그리고 제약조건의 표현과 질의 추론 규칙들을 식별하여 FOPL(First Order Predicate Logic)로 표현한다. 또한, 본 논문은 FOPL로 표현된 predicate들과 규칙들을 구현하기 위하여 Prolog로 변환하기 위한 이론적 방법론을 제시하고 정보자원 관리를 위한 기본 함수들과 스키마 진화(schema evolution)를 위한 방법론을 제안한다.