• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.443-447
• /
• 2023

검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.289-294
• /
• 2023

대형 언어 모델(Large Language Model)은 방대한 데이터와 파라미터를 기반으로 문맥 이해에서 높은 성능을 달성하였지만, Human Alignment를 위한 문장 생성 제어 연구는 아직 활발한 도전 과제로 남아있다. 본 논문에서는 Instruction Tuning을 통한 문장 생성 제어 실험을 진행한다. 자연어 처리 도구를 사용하여 단일 혹은 다중 제약 조건을 포함하는 Instruction 데이터 셋을 자동으로 구축하고 한국어 언어 모델인 Polyglot-Ko 모델에 fine-tuning 하여 모델 생성이 제약 조건을 만족하는지 검증하였다. 실험 결과 4개의 제약 조건에 대해 평균 0.88의 accuracy를 보이며 효과적인 문장 생성 제어가 가능함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.638-643
• /
• 2023

문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

• Science of Emotion and Sensibility
• /
• v.22 no.2
• /
• pp.49-58
• /
• 2019

In the era of the 4th Industrial Revolution, artificial intelligence (AI) has become one of the core technologies in terms of the business strategy among information technology companies. Both international and domestic major portal companies are launching AI search services. These AI search services utilize voice, images, and other unstructured data to provide different experiences from existing text-based search services. An unfamiliar experience is a factor that can hinder the usability of the service. Therefore, the usability testing of the AI search services is necessary. This study examines the usability of the AI search service on the Naver App 8.9.3 beta version by comparing it with the search services of the current Naver App and targets 30 people in their 20s and 30s, who have experience using Naver apps. The usability of Smart Lens, Smart Voice, Smart Around, and AiRS, which are the Naver App beta versions of their artificial intelligence search service, is evaluated and statistically significant usability changes are revealed. Smart Lens, Smart Voice, and Smart Around exhibited positive changes, whereas AiRS exhibited negative changes in terms of usability. This study evaluates the change in usability according to the application of the artificial intelligence search services and investigates the correlation between the evaluation factors. The obtained data are expected to be useful for the usability evaluation of services that use AI.

• Proceedings of the Korean Society for Information Management Conference
• /
• 1999.08a
• /
• pp.109-112
• /
• 1999

본 연구는 이용자의 정보요구를 최대한 충족시키고 보다 사용하기 편한 이용자 지향의 탐색엔진을 개발하기 위해서 이용자 관점에서 국내 탐색엔진 한글알타비스타와 네이버를 평가하고자 한다. 이용자 중심의 탐색엔진 평가를 위해, 본 연구는 이용자가 자신의 검색질의로 탐색엔진을 통해 직접 검색을 하게 한 후 검색결과에 대해 이용자 스스로 평가하도록 한다. 평가기준은 수와 첸의 탐색엔진의 평가기준을 바탕으로 하여 탐색시간 및 노력, 탐색결과의 정확율, 연결성, 중복률, 유용성, 이용자의 만족도로 한글알타비스타와 네이버의 검색효율성 출 비교·평가하고자 한다.

• Digital Contents
• /
• no.1 s.140
• /
• pp.69-69
• /
• 2005

2004년 포털 시장은 어느 때보다 상위권 포털사이트간 경쟁이 첨예한 시기였다. 다음, 네이버, 네이트의 포털 3강 구도가 고착된 가운데 다음과 네이버가 순방문자 규모 1위를 놓고 , 또 다음과 네이트가 페이지뷰 1위를 놓고 치열한 선두 다툼을 벌였다. 2위 그룹에 속한 사이트들은 상위권 포털로 진입하기 위해 공격적인 마케팅을 펼쳤다. 드림위즈는 인티즌의 커뮤니티부문을 인수했고, 대대적인 프로모션을 통해 야심차게 등장한 파란 역시 M&A를 통한 상위권 도약을 노리고 있는 것으로 알려져 있다.

• Digital Contents
• /
• no.8 s.123
• /
• pp.18-19
• /
• 2003

포탈분야: 싸이월드(cywold.com) 상위 사이트들의 경쟁이 치열했던 포탈 분야에서는 네이버가 1월 순방문자 수에서 야후를 제치고 포탈 분야 2위에 올랐으며, 이후에도 꾸준히 야후와의 격차를 넓혀가는 한편으로 다음과의 격차를 줄여나가고 있다. 한편 검색서비스 분야에서는 꾸준한 성장세를 보여주고 있는 다음과 서비스 시작 8개월만에 100만 지식을 돌파한 지식 검색 서비스를 통해 검색서비스 1위를 지키려는 네이버, 그리고 정통의 검색사이트인 야후의 자존심 경쟁이 치열한 시기였다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2001.08a
• /
• pp.159-164
• /
• 2001

본 연구는 국내 아동 전용 인터넷 검색서비스 야후꾸러기와 쥬니어네이버를 이용자 중심에서 비교, 평가하고, 두 검색서비스를 이용하는데 있어 아동이 나타내는 문제점을 밝히고자 하는 것이다. 정량적 연구를 통해 야후꾸러기와 쥬니어네이버의 검색효율성, 검색결과의 정확률, 검색결과의 연결성, 검색결과의 유용성, 검색서비스의 만족도를 이용자 중심에서 비교, 평가하고, 정성적 연구를 통해 이용자가국내 아동 전용 인터넷 검색서비스를 이용하여 자신이 찾고자 하는 검색질의로 검색하는 과정을 분석한 후 아동들이 인터넷 검색서비스를 이용하는데 갖는 문제점들을 밝힌다. 이 연구를 통해 아동의 정보 요구가 최대한 반영된 인터넷 검색서비스를 개발하는데 기여하고자 한다.

• The Korean Publising Journal, Monthly
• /
• s.367
• /
• pp.44-45
• /
• 2006

• Journal of the Korean Society for information Management
• /
• v.30 no.2
• /
• pp.297-315
• /
• 2013

This study aims to analyze and evaluate term suggestion services of major search portals, Naver and Google Korea. In particular, this study evaluated relevance and currency of related search terms provided, and analyzed characteristics such as number and distribution of terms, and queries that did not produce terms. This study also analyzed types of terms in terms of the relationship between queries and terms, and investigated types and characteristics of harmful terms and terms with grammatical errors. Finally, Korean queries and English queries, and popular queries and academic queries were compared in terms of the amount and relevance of search terms provided. The results of this study show that the relevance and currency of Naver's related search terms are somewhat higher than those of Google. Both Naver and Google tend to add terms to or delete terms from original queries, and provide identical search terms or synonym terms rather than providing entirely new search terms. The results of this study can be implemented to the portal's effective development of term suggestion services.