• Korea Information Processing Society Review
• /
• v.11 no.2
• /
• pp.48-56
• /
• 2004

인터넷 기술의 발전과 함께 축적된 방대한 정보에 대하여 사용자는 이전보다 더욱 정확하고 빠르게, 그리고 원하는 정보를 더욱 편리하게 얻을 수 있는 새로운 정보검색 기술을 기대하고 있다. 최근 사용자의 질문 의도를 파악한 후, 검색 대상 문서로부터 답을 찾아 제공하는 질의응답형 정보검색기술(이하 질의응답 기술)에 대해 많은 관심이 집중되고 있다.(중략)

• Annual Conference of KIPS
• /
• 2023.11a
• /
• pp.461-464
• /
• 2023

최근 GPT-3 와 LLaMa 같은 생성형 거대 언어모델을 활용한 서비스가 공개되었고, 실제로 많은 사람들이 사용하고 있다. 해당 모델들은 사용자들의 다양한 질문에 대해 유창한 답변을 한다는 이유로 주목받고 있다. 하지만 LLMs 의 답변에는 종종 Inconsistent content 와 non-factual statement 가 존재하며, 이는 사용자들로 하여금 잘못된 정보의 전파 등의 문제를 야기할 수 있다. 이에 논문에서는 동일한 질문에 대한 LLM 의 답변 샘플과 외부 지식을 활용한 Hallucination Detection 방법을 제안한다. 제안한 방법은 동일한 질문에 대한 LLM 의 답변들을 이용해 일관성 점수(Consistency score)를 계산한다. 거기에 외부 지식을 이용한 사실검증을 통해 사실성 점수(Factuality score)를 계산한다. 계산된 일관성 점수와 사실성 점수를 활용하여 문장 수준의 Hallucination Detection 을 가능하게 했다. 실험에는 GPT-3 를 이용하여 WikiBio dataset 에 있는 인물에 대한 passage 를 생성한 데이터셋을 사용하였으며, 우리는 해당 방법을 통해 문장 수준에서의 Hallucination Detection 성능이 baseline 보다 AUC-PR scores 에서 향상됨을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.105-108
• /
• 2010

쌍방향으로 질문과 답변을 하는 커뮤니티 기반의 지식검색서비스에서는 질의를 통해 원하는 답변을 얻을 수 있지만, 수많은 사용자들이 참여함에 따라 방대한 문서 속에서 검증된 문서를 찾아내는 것은 점점 더 어려워지고 있다. 지식검색서비스에서 기존 연구는 사용자들이 생성한 데이터 즉 추천수, 조회수 등의 비텍스트 정보를 이용하거나 답변의 길이, 자료첨부, 연결어 등의 텍스트 정보 이용하여 전문가를 식별하거나 문서의 품질을 평가하고, 이를 검색에 반영하여 검색성능을 향상시키는 데 활용했다. 그러나 비텍스트 정보는 질의/응답의 초기에 사용자들에 의해 충분한 정보를 확보할 수 없는 단점이 제기 되며, 텍스트 정보는 전체의 문서를 답변의 길이, 자료 첨부등과 같은 일부요인으로 판단해야하기 때문에 품질평가의 한계가 있다고 볼 수 있겠다. 본 논문에서는 이러한 비텍스트 정보와 텍스트 정보의 문제점을 개선하기 위한 품질평가 알고리즘을 제안한다. 제안된 알고리즘을 통한 품질지수는 텍스트/비텍스트 정보와 소셜 네트워크 사용자 중앙성을 고려하여 질문에 적합하고 신뢰성 있는 답변을 랭킹화 함으로써 지식검색문서를 분별하는 지표가 되며, 이는 지식검색서비스의 성능향상에 기여를 할 수 있을 것으로 기대된다.

• Annual Conference of KIPS
• /
• 2009.11a
• /
• pp.945-946
• /
• 2009

현재의 컴퓨터 설문 시스템은 설문의 규칙이나 처리절차들을 하드코딩하는 방식으로 구현하기 때문에 설문이 변경되면 처리엔진을 수정해야 한다. 이것은 설문 처리엔진이 설문에 종속되어 있음을 의미한다. 본 논문에서는 이러한 약점을 해결하고자 능동문서 모델을 이용하여 설문으로부터 처리엔진을 독립시키는 방법을 고안하였다. 능동문서 기반의 설문지는 컨텐츠, 로직, 지식베이스(사용자 응답), 질의로 구성된다. 이 중에서 로직은 다양한 질문유형에 대한 처리 방법을 기술하는 것으로서 어떤 설문 설계자도 정의할 수 있어야 한다. 또한 로직은 직관적으로 서술할 수 있고 실행가능 하도록 XML 형식의 규칙 마크업 언어인 ERML로 표현하였다. ERML로 작성된 로직은 Prolog로 변환된 후 추론기에 등록되며, 사용자 응답에 따라 설문을 제어하고 처리한다. 마지막으로 몇 가지 질문유형을 ERML로 구현하고 설문 시스템(WINAD: The Web Interview System with Active Documents)에 적용한 실험 결과 설문으로부터 처리엔진을 독립시킬 수 있음을 확인했다.

• Annual Conference of KIPS
• /
• 2011.11a
• /
• pp.815-818
• /
• 2011

모바일 인터넷 통신망의 급속한 발전과 스마트폰 보급률이 늘어남에 따라 언제 어디서나 빠르게 인터넷에 접속할 수 있는 정보 인프라가 갖추어졌다. 더불어 이를 이용하는 사용자 간의 사회적 네트워크 소통 시스템이 최근 주목받고 있다. 하지만 단순한 메시지나 사진, 음성이나 동영상 등의 데이터를 교환하는데 그치고 있다. 이러한 시스템 환경에서는 다른 사용자의 피드백이 필요한 질문이나 설문, 투표와 같은 요청이 발생하였을 때 만족스러운 결과를 얻기까지 여러 번의 복잡한 메시지 교환이 이루어져야 한다. 본 논문에서는 이러한 불편을 해결하기 위하여 질문자의 물음에 답변하는 일반적인 설문조사 방식이 아닌 투표 할 수 있는 후보에 대한 추천을 응답자들이 직접 하는 것이 가능하도록 하는 시스템을 설계 및 구현하였다.

• Science of Emotion and Sensibility
• /
• v.11 no.2
• /
• pp.215-226
• /
• 2008

The previous research suggested a self-report questionnaire-type scale to measure a user's emotions naturally expressed while using a product. Using the scale, this research measured their emotions expressed while users use cellular phones naturally for a certain time without setting tasks. The results suggest that the cellular phone of high usability lead to higher 'Satisfaction in Usability' and lower 'Uncomfortableness' than the cellular phone with usability flaws. On the other hand the cellular phone with usability flaws lead to higher 'Uncomfortableness' and lower 'Satisfaction in Usability' but higher in other representative emotions such as 'Aesthetics', 'Novelty', 'Pleasure', and 'Excellence' than the other cellular phone. It can be insufficient to define the correlation between the product usability and the user's emotions based on the results of this research: however, the correlation between these two factors will be discovered in more detail by analyzing the changes of the user's emotions according to the length of time of using cellular phone.

• Journal of KIISE
• /
• v.43 no.8
• /
• pp.902-909
• /
• 2016

Question answering system (QA system) is a system that finds an actual answer to the question posed by a user, whereas a typical search engine would only find the links to the relevant documents. Recent works related to the open domain QA systems are receiving much attention in the fields of natural language processing, artificial intelligence, and data mining. However, the prior works on QA systems simply replace all words that are not in the training data with a single token, even though such unseen words are likely to play crucial roles in differentiating the candidate answers from the actual answers. In this paper, we propose a method to compute vectors of such unseen words by taking into account the context in which the words have occurred. Next, we also propose a model which utilizes inverse document frequencies (IDF) to efficiently process unseen words by expanding the system's vocabulary. Finally, we validate that the proposed method and model improve the performance of a QA system through experiments.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 2008.10b
• /
• pp.218-234
• /
• 2008

중국은 2008년 현재 메신저 이용자 수와 블로그 등의 웹 2.0 이용자 수에 있어서 세계 1위이다. 그리고 중국의 2007년 850억 달러의 인터넷 디지털 시장은 2015년에 2640억 달러로 성장할 전망이다. 이와 같이 인터넷 시장의 규모와 성장 가능성으로 인해 중국 인터넷 비즈니스의 중요성이 높아지고 있다. 이러한 필요성에 따라서 본 연구에서는 중국의 인터넷 동향 중에서 가장 큰 주목을 끌고 있는 웹 2.0 기반의 사회 연결망 서비스 분야에서 다음 세 가지의 연구 질문을 설정하고 그 답을 찾아보았다. 첫째, 중국 사회 연결망 서비스의 주요 특징은 무엇인가? 이러한 질문에 답하기 위해 본 연구에서는 문헌연구를 바탕으로 중국의 대표적인 사회 연결망 서비스 업체로 Tencent QQ와 Sina Poco를 살펴보았고, 중국 사회 연결망 서비스 이용자의 가입 이유, 갱신 이유, 주요 내용, 유상 서비스에 대한 태도 등을 살펴보았으며, 중국 인터넷 사용자의 집단별 특징에 대해 살펴보았다. 둘째, 중국 사회 연결망 서비스의 이용에 영향을 미치는 주요 요인들은 무엇인가? 이러한 질문에 답하기 위해 동기부여이론, TAM 이론. 관련 선행연구 등을 검토하여 중국 사회 연결망 서비스의 이용에 영향을 미치는 요인들로서 사용자 참여, 사회적 영향, 네트워크 효과, 유용성, 시스템 품질 등을 도출하였고 PLS를 이용한 데이터 분석을 통해 검증하였다. 검증결과, 사회 연결망 서비스 이용에 유용성이 가장 큰 영향을 미치고, 다음으로 네트워크 효과, 사용자 참여, 시스템 품질 순으로 유의한 영향을 미치는 것으로 나타났다. 반면, 사회적 영향은 유의하지 않은 것으로 나타났다. 셋째, 중국과 한국은 어떠한 점에서 차이가 있는가? 가장 두드러진 차이는 사회적 영향에 있어서 한국은 유의 적인데 비해 중국이 유의적이지 않다는 점이다. 이는 한국과 중국 사이에 국가 문화적 차이가 존재하기 때문에 발생했다고 생각할 수도 있고, 중국이 인터넷 성장기에 있는데 비해 한국은 인터넷 성숙기에 있는 등의 기술적, 사회적, 경제적 발달 과정상의 차이에 의한 것이라고도 볼 수 있다.

• Proceedings of the ESK Conference
• /
• 1998.04a
• /
• pp.76-80
• /
• 1998

디자인 개발시 사용자 참여의 중요성이 날로 증가하고 있는 것은 자명한 사실이다. 그중 사용성 평가에 서의 사용자의 참여는 비교적 활발한 상태이다. 하지만, 현재 기본적으로 행해지고 있는 렙에서의 사용 성 평가는 여러 가지 면에서 극히 제한적이며 비용이 많이 들고, 시간 또한 많이 소비된다. 또한 이러 한 평가는 광범위한 데이터의 수집과 빠른 피드백을 얻는 데 여러 가지 문제점을 가지고 있다. 우리가 사용성 평가에서 필요로 하는 것은 빠르고 정확한 피드백을 광범위하게 수집하여 디자인에 제공할 수 있는 방법이다. 본 연구에서는 디자인 개발에 있어 앞에서 설명한 빠르고 광범위한 사용자의 피드백을 얻기위한 방법으로 인터넷을 사용하여 사용자의 직접적인 참여-사용성 평가 등-가 가능하게 되었다는 것에 초점을 맞추었다. 사용성 평가를 위한 프로토 타이핑과 사용자의 문화적 배경과 성향을 가늠할 수 있는 질문들을 인터넷의 홈페이지에 올려 각각의 서로 다른 문화권에 속해 있는 사용자들이 제품 디자인 개발 과정에서 되는 사용자의 테스트 데이터를 원격 수집하여 디자인 평가/개발에 즉각적인 피드백을 제시하여 디자인 프로 세스에서의 사용자의 참여를 극대화 시킨다. 이렇게함으로써 상당한 분량의 상용성 평가를 단시간에 시행 하는 것이 가능하며 서로 다른 문화권에 속해있는 사용자의 관념적 특성과 사용형태의 현상적 특성을 밝히 고 이들간의 관계를 연계 분석하여 데이터의 질적인 향상또한 기대할 수 있을 것이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.220-222
• /
• 2001

컴퓨터의 사용인구가 많아지고, 인터넷의 보급이 급속히 늘어남에 따라 많은 정보가 생산되고 있다. 그리고 이러한 정보를 사용자에게 좀더 효율적인 방법으로 제공하는 서비스들도 많아지게 되었다. 그러나 컴퓨터에 익숙하지 않은 사용자들은 쉽게 이러한 서비스를 이용하지 못하기 때문에 사용자를 돕는 시스템이 필요하다. 인터넷 서비스제공 업체들은 사용자의 질문에 대해 관리자가 직접 답을 해주는데, 이들 시스템을 이용하는 사용자들의 증가로 질의응답 업무의 양이 커지고 있다. 본 논문에서는 이를 해결하기 위해 사용자의 질의를 자동으로 분류하여 응답하고 사용자가 FAQ를 개념적으로 브라우징 할 수 있는 시스템의 유용성을 입증하기 위하여, 그 적용 가능성과 일반 사용자들의 이용 결과를 통계적으로 분석하였다.