• 제목/요약/키워드: Question Clustering

검색결과 19건 처리시간 0.025초

Q&A 문서의 검색 결과 요약을 활용한 질의응답 시스템 (Question and Answering System through Search Result Summarization of Q&A Documents)

  • 유동현;이현아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권4호
    • /
    • pp.149-154
    • /
    • 2014
  • 지식iN과 같은 사용자 참여 질의응답 커뮤니티에서 원하는 질문에 대한 답을 찾기 위해서는 검색 결과로 제공되는 다양한 문서를 일일이 확인하여 판단하는 과정이 필요하다. 만일 사용자가 원하는 답변을 자동으로 정제하여 제시할 수 있다면, 질의응답의 사용성이 크게 향상될 수 있다. 본 논문에서는 질의응답 데이터 분석을 통해 사용자의 질문의 유형을 단어, 목록, 도표, 글의 4가지 유형으로 분류하고, 문서 내 통계적 특성을 활용하여 각 분류별 답변을 자동으로 제시하기 위한 방식을 제안한다. 단어, 목록, 글 유형은 질의어에 대해 검색된 질문을 군집화하고, 군집 내 빈도와 질의어에 대한 근접도, 답변 신뢰도 등으로 계산된 답변 내 어휘의 적합도를 활용하여 요약한 답변을 사용자에게 제시한다. 도표형은 답변들에서 사용자의 의견 정보를 추출하여 의견 통계를 도표로 제시한다.

구문의미 분석을 활용한 복합 문단구분 시스템에 대한 연구 (Research on the Hybrid Paragraph Detection System Using Syntactic-Semantic Analysis)

  • 강원석
    • 한국멀티미디어학회논문지
    • /
    • 제24권1호
    • /
    • pp.106-116
    • /
    • 2021
  • To increase the quality of the system in the subjective-type question grading and document classification, we need the paragraph detection. But it is not easy because it is accompanied by semantic analysis. Many researches on the paragraph detection solve the detection problem using the word based clustering method. However, the word based method can not use the order and dependency relation between words. This paper suggests the paragraph detection system using syntactic-semantic relation between words with the Korean syntactic-semantic analysis. This system is the hybrid system of word based, concept based, and syntactic-semantic tree based detection. The experiment result of the system shows it has the better result than the word based system. This system will be utilized in Korean subjective question grading and document classification.

질의응답을 위한 복수문서 요약에 관한 실험적 연구 (An Experimental Study on Multi-Document Summarization for Question Answering)

  • 최상희;정영미
    • 정보관리학회지
    • /
    • 제21권3호
    • /
    • pp.289-303
    • /
    • 2004
  • 이 연구에서는 이용자가 여러 곳에 분산되어 있는 문서들을 일일이 보지 않고 하나의 요약문에서 쉽게 질의에 맞는 답을 찾을 수 있는 가장 효율적인 방안을 제시하고자 하였다. 이를 위해, 클러스터링 기법, 단락확장 기법, 두 기법의 특성을 반영한 혼합 기법 등 세 가지 복수문서 요약 기법의 성능을 평가하는 실험을 수행하였다. 요약기법 평가 기준으로는 요약 정확률과 요약문내 정보 중복도를 적용하였다. 실험결과 이용자 질의에 따라 여러 문서를 요약하는 최적 기법으로 문장검색을 기반으로 한 순차적 단락확장 기법을 제안하였다. 순차적 단락확장은 특히, 용약의 대상이 되는 문서가 대용량인 환경에서 정확한 정보를 찾아 요약문을 생성하는 성능이 가장 우수한 것으로 나타났다.

질의응답문서 검색에서 문서구조를 이용한 질의재생성에 관한 연구 (Query Reconstruction for Searching QA Documents by Utilizing Structural Components)

  • 최상희;서은경
    • 정보관리학회지
    • /
    • 제23권2호
    • /
    • pp.229-243
    • /
    • 2006
  • 질의응답문서는 이용자가 입력한 질의, 질의설명, 답을 아는 다른 이용자가 제시한 응답으로 구성된 구조화된 문서로서, 최근 웹 문서처럼 검색이 일반적으로 일어나고 있는 정보원이다. 이 연구에서는 질의응답문서의 구조적 특성을 기반으로 질의를 재생성하여 질의응답문서의 검색효율을 향상시키고자 하였다. 질의재생성 실험에서 성능이 비교된 문서구조는 질의와 응답내용이다. 질의를 기반으로 질의를 재생성하는 방식에서는 질의응답검색 시스템에 입력되어 있는 유사질의를 활용하여 클러스터링하는 기법이 적용되었다. 응답정보를 기반으로 질의를 재생성하는 방식에서는 가장 유사한 기존 질의에 대해 응답된 내용에서 단락검색으로 적합한 문장들을 선정하여 활용하는 기법이 적용되었다. 실험 결과 응답정보를 활용하여 질의를 재생성하는 방식이 정확률은 유지하면서 더 다양한 검색결과를 제공하는 것으로 나타났다.

자기구성 지도를 이용한 인터넷 FAQ의 자동응답 및 개념적 브라우징 (Automatic Response and Conceptual Browsing of Internet FAQs Using Self-Organizing Maps)

  • 안준현;류중원;조성배
    • 한국지능시스템학회논문지
    • /
    • 제12권5호
    • /
    • pp.432-441
    • /
    • 2002
  • 최근 인터넷상의 정보를 가공하여 사용자에게 효율적으로 제공하는 서비스들이 많아지고 있지만, 컴퓨터에 익숙하지 않은 사용자들은 이러한 서비스를 쉽게 이용하지 못하기 때문에 사용자들을 돕는 시스템이 필요하다. 예를 들어, 웹사이트의 경우 전자우편을 통한 사용자들의 질문에 대해 관리자가 직접 답을 해줘야 하는데, 사용자의 증가로 질의응답 업무의 양이 커지고 있다. 본 논문에서는 이를 해결하기 위하여 사용자의 질의를 자동으로 분류하여 응답하고 사용자가 FAQ를 개념적으로 브라우징할 수 있도록 하는 시스템을 제안한다. 이 시스템은 다양한 크기의 질의 메일을 정형화된 크기로 만들기 위한 키워드 클러스터링 자기구성 지도(SOM)와 이를 실제 해당 답변 클래스로 분류하는 전자 우편 분류 SOM의 이단계 구조로 구성되어 사용자의 질의에 해당하는 답변을 자동으로 전송할 수 있으며, 사용자가 이차원상에 표현된 문서 지도를 이용하여 쉽게 전체 자료의 분포를 파악하여 검색할 수 있다. 실제 한 달간 수집한 2,206개의 한메일넷 질의 데이터에 대한 실험 결과, 95%의 분류율을 보여 그 유용성을 볼 수 있었으며, 단계별 검색이 가능하여 사용자가 효율적으로 검색할 수 있음을 확인할 수 있었다.

음소 질의어 집합 생성 알고리즘 (Phonetic Question Set Generation Algorithm)

  • 김성아;육동석;권오일
    • 한국음향학회지
    • /
    • 제23권2호
    • /
    • pp.173-179
    • /
    • 2004
  • 음소 질의어 집합은 문맥 속에서 비슷한 조음 효과를 보이는 음소들을 분류해 놓은 것으로서, 음성 인식 시스템 학습 시 결정트리를 기반으로 HMM (hidden Markov model)의 상태들을 클러스터링할 때 사용된다. 현재까지의 음소 질의어 집합은 대부분 음성학자나 언어학자들에 의해 수작업으로 제시되어 왔는데, 이러한 지식 기반음소 질의어들은 언어 또는 유사음소 단위 (PLU: phone like unit)에 종속될 뿐 아니라 생성된 클러스터 내의 동질성을 저하시킬 수 있다는 단점이 있다. 본 논문에서는 이와 같은 문제점들을 해결하기 위해 음성 데이터를 사용하여 측정한 음소들 사이의 유사도를 기반으로 언어나 유사음소단위에 상관없이 자동으로 음소 질의어 집합을 생성하는 알고리즘을 제안한다. 실험결과, 제안한 방법으로 생성된 음소 질의어들을 사용한 인식기의 에러율이 약 14.3%감소하여 데이터 기반의 음소 질의어 집합이 상태 클러스터링에 효율적임을 관측하였다.

영어 동사의 의미적 유사도와 논항 선택 사이의 연관성 : ICE-GB와 WordNet을 이용한 통계적 검증 (The Strength of the Relationship between Semantic Similarity and the Subcategorization Frames of the English Verbs: a Stochastic Test based on the ICE-GB and WordNet)

  • 송상헌;최재웅
    • 한국언어정보학회지:언어와정보
    • /
    • 제14권1호
    • /
    • pp.113-144
    • /
    • 2010
  • The primary goal of this paper is to find a feasible way to answer the question: Does the similarity in meaning between verbs relate to the similarity in their subcategorization? In order to answer this question in a rather concrete way on the basis of a large set of English verbs, this study made use of various language resources, tools, and statistical methodologies. We first compiled a list of 678 verbs that were selected from the most and second most frequent word lists from the Colins Cobuild English Dictionary, which also appeared in WordNet 3.0. We calculated similarity measures between all the pairs of the words based on the 'jcn' algorithm (Jiang and Conrath, 1997) implemented in the WordNet::Similarity module (Pedersen, Patwardhan, and Michelizzi, 2004). The clustering process followed, first building similarity matrices out of the similarity measure values, next drawing dendrograms on the basis of the matricies, then finally getting 177 meaningful clusters (covering 437 verbs) that passed a certain level set by z-score. The subcategorization frames and their frequency values were taken from the ICE-GB. In order to calculate the Selectional Preference Strength (SPS) of the relationship between a verb and its subcategorizations, we relied on the Kullback-Leibler Divergence model (Resnik, 1996). The SPS values of the verbs in the same cluster were compared with each other, which served to give the statistical values that indicate how much the SPS values overlap between the subcategorization frames of the verbs. Our final analysis shows that the degree of overlap, or the relationship between semantic similarity and the subcategorization frames of the verbs in English, is equally spread out from the 'very strongly related' to the 'very weakly related'. Some semantically similar verbs share a lot in terms of their subcategorization frames, and some others indicate an average degree of strength in the relationship, while the others, though still semantically similar, tend to share little in their subcategorization frames.

  • PDF

진화주의 기술경제학과 '왈라스 함정' (Can the Evolutionary Economics Solve the Walras' Trap?)

  • 김태억
    • 기술혁신연구
    • /
    • 제13권1호
    • /
    • pp.213-246
    • /
    • 2005
  • Despite of the impressive progress made in the Evolutionary techno-economics during the last two decades, there have been very little, if not at all, theoretical advancement in explaining an endogenous mechanism of transforming a technological paradigm within self-perpetuatingstructural dynamics. The question poorly attempted was raised by Schumpeter a century ago in his effort to overcome the well-known 'Walras' trap'. Although there have been increasing number of researchers recently tackling the issue quite seriously from within the Evolutionary school, I see it that radical reconstruction of the basic principle of Evolutionary research framework is urgently needed to solve the century long fundamental question, from evolutionary approach to transformational approach. In the paper, I will show the theoretical feasibility of explaining an endogenous mechanism of paradigm transformation, relying upon the concept of localized dynamics and the concept of morphogenetic structuration. It should be emphasized that there must be aendogenous process of deepening structural Instability generated in the process of economic coordination to secure efficient circular flow. The concept of development bottleneck initiated by the Baumol's cost disease could be regarded as one of the important source of such mechanism. Unfortunately, however, it is a brief conceptual description presented in the paper rather than a comprehensive analytical model, due to the space limitation imposed.

  • PDF

Water Distribution Network Partitioning Based on Community Detection Algorithm and Multiple-Criteria Decision Analysis

  • Bui, Xuan-Khoa;Kang, Doosun
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.115-115
    • /
    • 2020
  • Water network partitioning (WNP) is an initiative technique to divide the original water distribution network (WDN) into several sub-networks with only sparse connections between them called, District Metered Areas (DMAs). Operating and managing (O&M) WDN through DMAs is bringing many advantages, such as quantification and detection of water leakage, uniform pressure management, isolation from chemical contamination. The research of WNP recently has been highlighted by applying different methods for dividing a network into a specified number of DMAs. However, it is an open question on how to determine the optimal number of DMAs for a given network. In this study, we present a method to divide an original WDN into DMAs (called Clustering) based on community structure algorithm for auto-creation of suitable DMAs. To that aim, many hydraulic properties are taken into consideration to form the appropriate DMAs, in which each DMA is controlled as uniform as possible in terms of pressure, elevation, and water demand. In a second phase, called Sectorization, the flow meters and control valves are optimally placed to divide the DMAs, while minimizing the pressure reduction. To comprehensively evaluate the WNP performance and determine optimal number of DMAs for given WDN, we apply the framework of multiple-criteria decision analysis. The proposed method is demonstrated using a real-life benchmark network and obtained permissible results. The approach is a decision-support scheme for water utilities to make optimal decisions when designing the DMAs of their WDNs.

  • PDF

인터넷 게시판 질문 분류를 위한 인터랙티브 접근방법에 관한 연구 (An Interactive Approach to Categorize Questions on the Internet BBSs)

  • Jae-Kwang Lee;Seong-Ho Noh;Ok-Hyun Ryou
    • 한국전자거래학회지
    • /
    • 제8권3호
    • /
    • pp.177-195
    • /
    • 2003
  • 전통적인 고객지원방법에서는 콜 센터와 서비스 센터가 고객의 질문과 요구 사항을 접수하고 응대하는 기능을 담당해왔다. 최근 인터넷의 급속한 확산에 따라 전화, 우편, 방문 등의 전통적인 고객과의 의사소통수단이 전자우편과 인터넷 게시판과 같은 웹기반의 고객지원시스템으로 전환되고 있다. 인터넷 게시판은 기본적으로 고객의 질문에 관리자가 응답하는 시스템이므로 고객이 응답을 받는데 시간이 걸리는 제약이 있다. 이러한 시간적 제약을 해결하기 위하여 고객이 인터넷을 통하여 고객지원시스템에 접속하여 미리 구축된 지식 데이터베이스로부터 원격에서 질문에 대한 응답을 받을 수 있도록 공통적인 질문과 응답을 FAQ와 같은 형태를 제공한다. 그리고, 인터넷 게시판에 다양한 내용과 형태의 질문이 혼재되어 사용됨으로써 응답과 관리상의 어려움이 많다. 따라서 질문들을 체계적으로 분류하여 FAQ를 만들고, 인터넷 게시판의 관리작업을 지원하기 위한 도구의 필요성이 대두되고 있다. 본 연구에서는 키워드와 키워드들간의 친밀도를 이용하여 벡터형태로 표현한 질문들간의 유사 도를 계산하여 질문들을 클러스터링 하는 방법을 제안한다. 제안한 방법은 기본적으로 자동으로 질문들을 분류하지만, 내용이 애매모호한 질문의 경우 사용자가 상호작용을 통하여 사용자의 판단을 받아들일 수 있도록 개발되었다. 그리고, 제안한 방법의 성능을 평가하기 위하여 프로토타입 시스템을 개발하고 제한된 상황하에서 실험을 수행하였다.

  • PDF