• 제목/요약/키워드: Automatic rank

검색결과 45건 처리시간 0.027초

SVM을 이용한 음성채팅시스템의 성능 향상 방법 (Performance Improvement Methods of a Spoken Chatting System Using SVM)

  • 안혁주;이성희;송영길;김학수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권6호
    • /
    • pp.261-268
    • /
    • 2015
  • 음성채팅시스템에서 사용자의 음성 질의는 자동음성인식기를 통하여 텍스트 질의로 변환된다. 만약 자동음성인식기의 1순위 결과가 틀린다면 이 오류는 그대로 음성채팅시스템에 전파된다. 자동음성인식기의 1순위 정밀도를 향상시키기 위하여 본 논문에서는 RankSVM을 이용하여 자동음성인식기의 n개 결과를 재순위화하는 후처리 모델을 제안한다. 채팅시스템을 학습하기 위해서는 대용량의 채팅 문장들이 필요하다. 만약 새로운 채팅 문장들이 학습데이터에 자주 추가되지 않는다면 채팅시스템의 응답은 금방 진부해질 것이다. 이러한 문제를 해결하기 위하여 본 논문에서는 SVM을 이용하여 TV와 영화 시나리오로부터 채팅 문장들을 자동으로 선택하는 데이터 수집 모델을 제안한다. 실험에서 제안된 후처리 모델은 후처리를 하지 않은 모델보다 정확률에서 4.4%, 재현율에서 6.4% 더 좋은 결과를 보였다. 그리고 제안된 데이터 수집 모델은 98.95%의 높은 정확률과 57.14%의 재현율을 보였다.

태그 서열 위치와 경사 부스팅을 활용한 한국어 웹 본문 추출 (Korean Web Content Extraction using Tag Rank Position and Gradient Boosting)

  • 모종훈;유재명
    • 정보과학회 논문지
    • /
    • 제44권6호
    • /
    • pp.581-586
    • /
    • 2017
  • 웹 문서를 자동으로 수집하면 대량의 정보를 손쉽게 모을 수 있다. 이러한 정보 수집 과정을 위해 웹 문서에서 메뉴, 광고 등 불필요한 정보를 제거하고 본문을 자동으로 추출할 필요가 있다. 특히 한국어 웹문서는 영어권과 달리 메타데이터가 포함된 경우가 드물고 디자인이 복잡하여 한국어 웹에 맞는 자동 본문 추출 방법이 필요하다. 기존의 본문 추출 방법은 주로 본문 블록의 문자적, 구조적 특성을 활용한다. 시각적 특성을 처리하기 위해서는 렌더링, 이미지 처리 등에 많은 계산이 필요하기 때문이다. 이 논문에서는 HTML에서 태그 위치를 준-시각적 특성으로 활용한 새로운 본문 추출 방법을 제시한다. 태그 위치는 텍스트의 길이에 따라 가변적이기 때문에 태그 서열 위치라는 특성을 개발하였고, 이를 경사 부스팅과 함께 이용하면 정확한 본문 추출이 가능함을 보인다. 본 논문의 연구 결과는 텍스트 분석에 필요한 양질의 문서 자료를 다양한 형태의 웹페이지에서 자동으로 수집하는 데에 쓰일 수 있다.

MeSH 시소러스를 이용한 한영 교차언어 키워드 자동 부여 (Automatic Korean to English Cross Language Keyword Assignment Using MeSH Thesaurus)

  • 이재성;김미숙;오영순;이영성
    • 정보처리학회논문지B
    • /
    • 제13B권2호
    • /
    • pp.155-162
    • /
    • 2006
  • 의학용 시소러스인 MeSH (Medical Subject Heading)는 영어 의학 논문 색인을 위한 통제어 시소러스로서 오랫동안 사용되고 있다. 본 논문에서는 한국어 MeSH를 이용하여 한국어 의학 논문의 요약문에 자동으로 영문 MeSH 색인어를 부여하는 '교차언어 키워드 부여' 방법을 제안하고 색인 전문가 및 저자의 색인 효율과 비교한다. 이 색인어 부여 과정은 우선 한국어 MeSH 용어를 문장에서 인식하여 추출하고, 이 용어를 다시 영어 MeSH 용어로 바꾼 후, 용어의 중요도를 계산하여 상위의 용어를 색인어로 부여한다. 특히, 한국어 MeSH 용어 추출을 위해 효과적으로 띄어쓰기 변이를 처리할 수 있는 방법을 제안한다 실험 결과, 띄어쓰기 변이를 효과적으로 처리하여 한국어 MeSH의 크기를 약 42% 정도 줄였을 뿐만 아니라, 후보 색인어 추출의 효과도 높였다. 또 이 방법을 이용하여 색인어 자동 부여를 한 후, 색인 전문가 및 저자의 색인 결과를 비교한 결과, 이 자동 색인 방법이 전문가의 색인 능력보다는 부족했지만, 저자의 색인 능력과는 별 차이가 없음을 보였다.

단어 간 의미적 연관성을 고려한 어휘 체인 기반의 개선된 자동 문서요약 방법 (An Improved Automatic Text Summarization Based on Lexical Chaining Using Semantical Word Relatedness)

  • 차준석;김정인;김판구
    • 스마트미디어저널
    • /
    • 제6권1호
    • /
    • pp.22-29
    • /
    • 2017
  • 최근 스마트 디바이스의 급속한 발달과 보급으로 인하여 인터넷 웹상에서 등장하는 문서의 데이터는 하루가 다르게 증가 하고 있다. 이러한 정보의 증가로 인터넷 웹상에서는 대량의 문서가 증가하여 사용자가 해당 문서의 데이터를 이해하는데, 어려움을 겪고 있다. 그렇기 때문에 자동 문서 요약 분야에서 문서를 효율적으로 요악하기 위해 다양한 연구가 진행 되고 있다. 효율적으로 문서를 요약하기 위해 본 논문에서는 텍스트랭크 알고리즘을 이용한다. 텍스트랭크 알고리즘은 문장 또는 키워드를 그래프로 표현하며, 단어와 문장 간의 의미적 연관성을 파악하기 위해 그래프의 정점과 간선을 이용하여 문장의 중요도를 파악한다. 문장의 상위 키워드를 추출 하고 상위 키워드를 기반으로 중요 문장 추출 과정을 거친다. 중요 문장 추출 과정을 거치기 위해 단어 그룹화 과정을 거친다. 단어그룹화는 특정 가중치 척도를 이용하여 가중치 점수가 높은 문장을 선별하여 선별된 문장들을 기반으로 중요 문장을 중요 문장을 추출하여, 문서를 요약을 하게 된다. 이를 통해 기존에 연구 되었던 문서요약 방법보다 향상된 성능을 보였으며, 더욱 효율적으로 문서를 요약할 수 있음을 증명하였다.

분석 CRM 실무자의 자연어 질의 처리를 위한 기업 데이터베이스 구성요소 인덱싱 방법론 (A PageRank based Data Indexing Method for Designing Natural Language Interface to CRM Databases)

  • 박성혁;황경서;이동원
    • CRM연구
    • /
    • 제2권2호
    • /
    • pp.53-70
    • /
    • 2009
  • 분석 CRM 영역에서는 고객 데이터 분석을 통하여 고객 행동과 관련된 통찰력을 얻는 것이 중요하다. 이러한 분석 과정에서, 사용자 스스로 기업 데이터베이스에서 대용량 고객 이력 데이터를 조회하고 추출하기 위해서는 SQL 을 사용하여 자유롭게 질의구문을 작성할 수 있어야 한다. 그런데 일반 사용자들이 이러한 업무를 수행하고자 할 때, 기업 데이터베이스 구성 요소에 대한 전문적인 지식이 부족하기 때문에 정보 탐색에 있어서 어려움을 겪는다. 이를 해결하기 위한 방안으로 본 연구에서는 사용자가 제공하는 자연어 수준의 질의를 분석하고, 데이터베이스를 구성하는 값을 중심으로 올바른 질의 결과를 제공하기 위한 데이터베이스 구성요소 인덱싱 방법론을 제안한다. 구체적으로 기업 데이터베이스를 구성하는 세 가지 요소인 관계, 속성, 값에 대한 정보를 읽어 들여 요약 정보에 대한 인덱스를 구성한 다음 사용자의 자연어 질의에서 분석된 의미 단위 별로 데이터베이스 요약 정보와 연결해주는 TableRank 기법을 소개한다. 실험용 데이터베이스를 대상으로 테스트를 수행한 결과, 사용자의 자연어 질의 결과가 데이터베이스를 구성하는 값 정보와 연결되는 것이 관찰되었다. 논문의 후반부에서는 자연어 질의를 자동적으로 처리하기 위한 선행 모듈 개발의 시사점을 정리하고, 향후 기업 데이터베이스 자동 검색 시스템으로 발전하기 위한 방안에 대해서도 설명한다.

  • PDF

한국형 마음챙김 명상에 기초한 인지 치료가 불안 장애 환자의 불안과 우울에 미치는 효과 비교 (The Effectiveness of Mindfulness-Based Cognitive Therapy-Korean (MBCT-K) for Anxiety and Depression in Patients with Anxiety Disorder)

  • 신나연
    • 디지털정책학회지
    • /
    • 1권1호
    • /
    • pp.1-5
    • /
    • 2022
  • 본 연구의 목적은 마음 챙김에 기반한 인지치료가 불안장애 환자의 불안, 우울에 미치는 영향을 알아보기 위해 수행되었다. 본 연구는 24명의 불안장애 환자를 대상으로 하였으며, 인구사회학적 특성은 빈도, 평균과 표준편차으로 분석하였고 마음챙김 명상에 기반한 인지 치료 전후 불안과 우울은 Wilcoxon signed rank test를 이용하였다. 본 연구 결과 한국형 마음 챙김 명상에 기반한 인지치료는 불안과 우울을 유의하게 감소시킬 수 있었다(Z=-1.9, p=.06, Z=-2.9, p<.001). 본 연구 결과를 통하여 마음 챙김 명상을 불안장애 환자에게 적용하고 이들의 삶의 질을 향상시키는 방법을 모색하는 것이 필요하다고 할 수 있다.

Sorting Instagram Hashtags all the Way throw Mass Tagging using HITS Algorithm

  • D.Vishnu Vardhan;Dr.CH.Aparna
    • International Journal of Computer Science & Network Security
    • /
    • 제23권11호
    • /
    • pp.93-98
    • /
    • 2023
  • Instagram is one of the fastest-growing online photo social web services where users share their life images and videos with other users. Image tagging is an essential step for developing Automatic Image Annotation (AIA) methods that are based on the learning by example paradigm. Hashtags can be used on just about any social media platform, but they're most popular on Twitter and Instagram. Using hashtags is essentially a way to group together conversations or content around a certain topic, making it easy for people to find content that interests them. Practically on average, 20% of the Instagram hashtags are related to the actual visual content of the image they accompany, i.e., they are descriptive hashtags, while there are many irrelevant hashtags, i.e., stophashtags, that are used across totally different images just for gathering clicks and for search ability enhancement. Hence in this work, Sorting instagram hashtags all the way through mass tagging using HITS (Hyperlink-Induced Topic Search) algorithm is presented. The hashtags can sorted to several groups according to Jensen-Shannon divergence between any two hashtags. This approach provides an effective and consistent way for finding pairs of Instagram images and hashtags, which lead to representative and noise-free training sets for content-based image retrieval. The HITS algorithm is first used to rank the annotators in terms of their effectiveness in the crowd tagging task and then to identify the right hashtags per image.

검색 기반의 질문생성에서 중복 방지를 위한 유사 응답 검출 (Detection of Similar Answers to Avoid Duplicate Question in Retrieval-based Automatic Question Generation)

  • 최용석;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권1호
    • /
    • pp.27-36
    • /
    • 2019
  • 본 연구는 검색 기반의 질문 자동 생성 시스템에서 사용자가 이미 답변한 내용을 재질문하지 않도록 사용자의 응답과 유사도가 높은 응답을 질문-데이터베이스에서 찾는 방법을 제안한다. 유사도가 높게 검출된 응답의 질문은 이미 사용자가 아는 내용일 확률이 높기 때문에 질문 후보군에서 제거한다. 유사 응답 검출에는 두 응답간의 동일 단어, 바꿔쓰기 표현, 문장 내용을 모두 사용하였다. 바꿔쓰기 표현은 통계기반의 기계번역에서 사용하는 구절 테이블을 사용하여 구축하였다. 문장 내용은 두 문장을 주의-기반 컨볼루션 신경망으로 압축하여 유사도를 계산하였다. 평가를 위해 구축한 100개의 평가 응답에 질문-응답 데이터베이스로부터 가장 유사한 응답을 추출해서 얻은 결과는 MRR값 71%의 성능을 보였다.

RNN과 강화 학습을 이용한 자동 문서 제목 생성 (Automatic Document Title Generation with RNN and Reinforcement Learning)

  • 조성민;김우생
    • Journal of Information Technology Applications and Management
    • /
    • 제27권1호
    • /
    • pp.49-58
    • /
    • 2020
  • Lately, a large amount of textual data have been poured out of the Internet and the technology to refine them is needed. Most of these data are long text and often have no title. Therefore, in this paper, we propose a technique to combine the sequence-to-sequence model of RNN and the REINFORCE algorithm to generate the title of the long text automatically. In addition, the TextRank algorithm was applied to extract a summarized text to minimize information loss in order to protect the shortcomings of the sequence-to-sequence model in which an information is lost when long texts are used. Through the experiment, the techniques proposed in this study are shown to be superior to the existing ones.

DEFECT INSPECTION IN SEMICONDUCTOR IMAGES USING HISTOGRAM FITTING AND NEURAL NETWORKS

  • JINKYU, YU;SONGHEE, HAN;CHANG-OCK, LEE
    • Journal of the Korean Society for Industrial and Applied Mathematics
    • /
    • 제26권4호
    • /
    • pp.263-279
    • /
    • 2022
  • This paper presents an automatic inspection of defects in semiconductor images. We devise a statistical method to find defects on homogeneous background from the observation that it has a log-normal distribution. If computer aided design (CAD) data is available, we use it to construct a signed distance function (SDF) and change the pixel values so that the average of pixel values along the level curve of the SDF is zero, so that the image has a homogeneous background. In the absence of CAD data, we devise a hybrid method consisting of a model-based algorithm and two neural networks. The model-based algorithm uses the first right singular vector to determine whether the image has a linear or complex structure. For an image with a linear structure, we remove the structure using the rank 1 approximation so that it has a homogeneous background. An image with a complex structure is inspected by two neural networks. We provide results of numerical experiments for the proposed methods.