• 제목/요약/키워드: Query Classification

검색결과 122건 처리시간 0.024초

자연어 질의유형 판별과 응답 추출을 위한 어휘 의미 체계에 관한 연구 (A Study on Work Semantic Categories for Natural Language Question Type Classification and Answer Extraction)

  • 윤성희
    • 한국산학기술학회논문지
    • /
    • 제5권6호
    • /
    • pp.539-545
    • /
    • 2004
  • 자연어 질의를 입력하고 문서로부터 질의에 대한 정답을 추출하여 제공하는 질의응답 시스템에서는 사용자의 질의 의도를 파악하여 질의 유형을 분류하는 과정이 매우 중요하다. 본 논문에서는 질의 유형을 분류하기 위해 복잡한 분류 규칙이나 대용량의 사전 정보를 이용하지 않고 질의의 의도를 나타내는 어휘들을 추출하고 인접 명사들의 의미 정보를 이용하여 질의 및 정답 유형을 결정할 수 있는 방법을 제안한다. 또 동의어 정보와 접미사 정보를 이용하고, 의문사가 생략된 경우 어휘 의미 정보를 이용하여 질의 유형 분류기의 성능을 향상시킬 수 있음을 보인다.

  • PDF

콘텐트 기반의 이미지검색을 위한 분류기 접근방법 (Image Classification Approach for Improving CBIR System Performance)

  • 한우진;손경아
    • 한국통신학회논문지
    • /
    • 제41권7호
    • /
    • pp.816-822
    • /
    • 2016
  • 콘텐트 기반 이미지 검색은 기존의 태그 또는 레이블이 있는 텍스트 기반의 검색이 아닌 이미지의 특징을 이용하여 검색하는 방법이다. 실생활 이미지 데이터는 태그나 레이블이 달려있는 경우가 많지 않기 때문에 텍스트 기반의 검색 방법을 사용하기 힘든 경우가 있다. 또한, 기존에 주로 사용되는 이미지 특징 벡터의 유사도를 사용하여 검색하는 방법은 추출 벡터의 유사도 기준으로 사용자가 의도한 결과가 나올지 확신할 수 없다. 예를 들어 사용자가 입력한 질의 이미지와 검색된 이미지들의 종류가 일치하는지의 문제가 있다. 본 논문에서는 사용자가 질의 이미지의 클래스를 예상하고 결과도 동일한 클래스를 원한다는 가정에 착안하여 이미지 검색 엔진의 성능을 개선하였다. 기존의 유사도 기반의 검색에 머신 러닝 기법을 사용한 이미지 분류기를 적용하여 질의와 동일한 클래스의 결과를 찾는 방법을 제안하였으며, 그 성능을 20개 카테고리에 속하는 11,530개의 이미지로 구성되어 있는 PASCAL VOC 공개 데이터를 이용하여 검증하였다.

용어 자동분류를 사용한 검색어 범주화의 분석적 고찰 (An Analytic Study on the Categorization of Query through Automatic Term Classification)

  • 이태석;정도헌;문영수;박민수;현미환
    • 정보처리학회논문지D
    • /
    • 제19D권2호
    • /
    • pp.133-138
    • /
    • 2012
  • 검색 창을 통해 입력된 검색어는 정보이용자가 의미 있는 자료를 찾아내는 적극적인 활동의 산물이다. 따라서 검색로그는 정보이용자의 관심사항을 알 수 있는 중요한 분석 데이터이다. 본 연구의 목적은 입력한 검색어의 범주화 결과와 엑세스한 문서의 범주가 어느 정도 유사한 상관관계를 가지는지 분석적으로 고찰해보는 것이다. KISTI(한국과학기술정보연구원)의 NDSL(과학기술정보센터) 사이트의 2009년 검색로그의 검색세션을 식별하고 검색세션단위로 검색어와 이용 자료를 추출한 후, 검색어에 대해 어떤 주제 분류에 속하는 용어인지 자동분류기로 식별한 결과가 실제 이용한 자료의 주제 분야와 잘 맞는지 비교하였다. 그 결과 상위 100개 검색어 분류에 대한 유사도 평균이 58.8%로 파악되었다. 결국 전체적인 유사도는 58.8%이하이며, 관련 연구에서 수행한 자료의 자동분류 검색성능 전문가 평가 결과인 76.8%에 비해 낮다. 이것은 검색어로 쓰인 용어가 다른 연구 분야의 관심 용어로 새롭게 주목 받고 있기 때문이라는 사실을 알 수 있었다.

사용자 의도 트리를 사용한 동적 카테고리 재구성 (Dynamic recomposition of document category using user intention tree)

  • 김효래;장영철;이창훈
    • 정보처리학회논문지B
    • /
    • 제8B권6호
    • /
    • pp.657-668
    • /
    • 2001
  • 기존에 단어의 빈도수를 근간으로 하는 문서 분류 시스템에서는 단일 키워드를 사용하기 때문에 사용자의 의도를 충분히 반영한 문서 분류가 어려웠다. 이러한 단점을 개선하기 위하여 우선 기존의 설명에 근거한 학습방법(explanation based learning)에서 한 예제만 있어도 지식베이스 정보와 함께 개념을 학습할 수 있다는 점에 착안하여 먼저 사용자 질의를 분석, 확장한 후 사용자 의도 트리를 생성한다. 이 의도 트리의 정보를 기존의 키워드 빈도 수에 근거한 문서분류 과정에 제약 및 보충 정보로 사용하여 사용자의 의도에 더욱더 근접한 웹 문서를 분류할 수 있다. 문서를 분류하는 측면에서 볼 때 구조화된 사용자 의도 정보는 단순한 키워드의 한계를 극복하여 문서 분류 과정에서 특정 키워드 빈도수의 임계값을 결정함으로서 잃게되는 문서 및 정보를 좀더 보유하고 재적용할 수 있게 된다. 질의에서 분석, 추출된 사용자 의도 트리는 기존의 통계 및 확률을 사용한 문서 분류기법들과 조합하여 사용자 의도정보를 제공함으로서 카테고리의 형성 방향과 범위를 결정하는데 높은 효율성을 보인다.

  • PDF

Analyzing RDF Data in Linked Open Data Cloud using Formal Concept Analysis

  • Hwang, Suk-Hyung;Cho, Dong-Heon
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권6호
    • /
    • pp.57-68
    • /
    • 2017
  • The Linked Open Data(LOD) cloud is quickly becoming one of the largest collections of interlinked datasets and the de facto standard for publishing, sharing and connecting pieces of data on the Web. Data publishers from diverse domains publish their data using Resource Description Framework(RDF) data model and provide SPARQL endpoints to enable querying their data, which enables creating a global, distributed and interconnected dataspace on the LOD cloud. Although it is possible to extract structured data as query results by using SPARQL, users have very poor in analysis and visualization of RDF data from SPARQL query results. Therefore, to tackle this issue, based on Formal Concept Analysis, we propose a novel approach for analyzing and visualizing useful information from the LOD cloud. The RDF data analysis and visualization technique proposed in this paper can be utilized in the field of semantic web data mining by extracting and analyzing the information and knowledge inherent in LOD and supporting classification and visualization.

유사한 질의쌍의 어휘 번역확률을 이용한 질의 분류 (Query Classification Based on Translation Probabilities of Similar Query Pair)

  • 김설영;장계훈;이경순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.443-446
    • /
    • 2010
  • 질의 분류에서 어휘의 다양한 표현으로 인한 어휘 불일치문제는 성능저하의 주요 원인이다. 본 논문에서는 야후!앤써 질의응답 아카이브를 이용해서 같은 카테고리의 질의-질의쌍들에 대해 어휘-어휘 번역확률을 계산하는 방법을 제안한다. 정보검색에서 우수한 성능을 보인 어휘 사이의 번역확률을 반영하는 번역기반 언어모델이 질의 분류에서 유효함을 확인하였고 언어모델과의 비교실험을 통해 성능향상을 보였다. 어휘관계를 측정하는 방법에서 번역확률 계산방법에 따른 성능측정에서 전체 질의-대답쌍들에 대해 번역확률을 계산하는 것보다 같은 카테고리에 속하는 질의-질의쌍들에 대해 번역확률을 계산하는 것이 분류를 위해 더 좋은 번역확률임을 확인하였다.

본문-질의 비교를 활용한 오답 질의 분류 (Incorrect query classification via context-query comparison)

  • 한상도;유환조;이근배;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.440-442
    • /
    • 2019
  • 본 논문은 딥 러닝 기반의 독해 기술이 풀지 못하는 문제를 분류해내는 기술에 관한 것이다. 해당 연구에서는 독해 데이터 및 시스템 결과 분석을 통해 시스템이 풀지 못하는 문제들의 특징을 도출해내고, 이에 알맞은 전략들을 시도해 보았다. 분석 결과에 따른 시도들은 각 목적에 부합하는 결과를 나타냈으며, 특히 독해 기술의 특징에 기반한 방법론이 효과적이었다. 본 논문에서 제안하는 방법은 본문과 질의 간 유사도 행렬을 활용하는 것으로, 기존의 독해 기술이 본문과 질의의 유사도를 활용하여 정답을 내는 것에 영감을 얻었다.

  • PDF

영역 기반의 영상 질의를 이용한 내용 기반 영상 검색 (Content-based image retrieval using region-based image querying)

  • 김낙우;송호영;김봉태
    • 한국통신학회논문지
    • /
    • 제32권10C호
    • /
    • pp.990-999
    • /
    • 2007
  • 본 논문에서는 효과적인 영상 검색을 위한 방법으로서 JSEG 영상 분할 기법을 통한 영역 기반의 영상 인덱싱 및 검색 기법을 제안한다. JSEG은 영상을 색상 분류에 따라 양자화하고 이에 영역 윈도우를 적용시켜 J-image를 만든 다음, 세부 분할된 영역의 성장과 병합을 통하여 영상을 효과적으로 분할하는 방법이다. 제안하는 영상 검색 시스템은 JSEG에 의해 분할된 영상을 사용자에게 질의 영상으로 주고, 사용자로 하여금 분할 영상에서 관심 영역군(群)을 선택하게 한다. 그리고 나서, 사용자 질의에 의해 선택된 영역의 MBR을 구하고 이 영역의 중심을 기준으로 다중 윈도우 마스크를 생성하여 적용시킴으로써 특정 관심 영역을 중심으로 한 영상의 전역적인 특징을 추출한다. 최종적으로 추출된 특징의 성능 비교를 위한 기술자로는 누적 히스토그램을 이용하였다. 제안된 방법은 특정 영역에서의 특징과 전역 특징을 동시에 추출하여 검색에 이용함으로써 보다 빠르고 정확하게 사용자가 원하는 영상을 제공할 수 있다. 실험 결과는 영상 색인 및 검색에 있어서 제안된 방법이 영상 기반의 검색 기법과 비교하여 더 효과적임을 보여준다.

Classification of HTTP Automated Software Communication Behavior Using a NoSQL Database

  • Tran, Manh Cong;Nakamura, Yasuhiro
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제5권2호
    • /
    • pp.94-99
    • /
    • 2016
  • Application layer attacks have for years posed an ever-serious threat to network security, since they always come after a technically legitimate connection has been established. In recent years, cyber criminals have turned to fully exploiting the web as a medium of communication to launch a variety of forbidden or illicit activities by spreading malicious automated software (auto-ware) such as adware, spyware, or bots. When this malicious auto-ware infects a network, it will act like a robot, mimic normal behavior of web access, and bypass the network firewall or intrusion detection system. Besides that, in a private and large network, with huge Hypertext Transfer Protocol (HTTP) traffic generated each day, communication behavior identification and classification of auto-ware is a challenge. In this paper, based on a previous study, analysis of auto-ware communication behavior, and with the addition of new features, a method for classification of HTTP auto-ware communication is proposed. For that, a Not Only Structured Query Language (NoSQL) database is applied to handle large volumes of unstructured HTTP requests captured every day. The method is tested with real HTTP traffic data collected through a proxy server of a private network, providing good results in the classification and detection of suspicious auto-ware web access.

전자우편 문서의 자동분류를 위한 다중 분류기 결합 (Combining Multiple Classifiers for Automatic Classification of Email Documents)

  • 이지행;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권3호
    • /
    • pp.192-201
    • /
    • 2002
  • 디지털 형태의 문서가 널리 퍼지고 끊임없이 증가함에 따라 이를 자동으로 가공하고 처리하는 문서 자동분류의 중요성이 널리 인식되고 있다. 최근의 문서 자동분류는 k-최근접 이웃, 결정트리, Support Vector Machine, 신경망 등의 다양한 기계학습 기법을 이용하여 연구되고 있다. 그러나 많은 연구가 잘 조직된 데이타 집합을 이용하여 연구결과를 보여주고 있으며, 실제 문제에의 응용성에는 큰 비중을 두지 않고 있다. 본 논문에서는 문서분류의 응용시스템인 질의 자동응답시스템에 적용할 수 있는 다중분류기 결합 방법을 제안하고 실제 전자우편 문서의 분류문제를 해결한다. 첫째로, 다중신경 망을 이용한 문서분류를 제안한다. 제안한 방법은 최대값 결합, 신경망 결합을 통해 성능의 향상을 가져온다. 둘째로, 여러 분류기의 결합을 통해 문서분류의 성능을 개선한다. 본 논문에서는 투표 결합방법, Borda 결합, 신경망 결합방법 등을 적용하여 여러 분류기의 결합을 수행하였다. 실용 가능성을 분석한 실험결과 90%이상의 정확율을 보여 제안한 방법이 실용적일 수 있음을 알 수 있었다.