• 제목/요약/키워드: 문서 분류기

검색결과 191건 처리시간 0.028초

맞춤형 정보제공을 위한 RSS 기반 교육정보시스템의 개발 (A Development of RSS-based Educational Information System for Providing Adapted Information)

  • 강정민;전석주
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권5호
    • /
    • pp.293-302
    • /
    • 2007
  • 본 연구에서는 교사, 학생 및 학부모와 같은 교육정보 사용자들에게 맞춤정보를 제공하는 RSS 기반 교육정보시스템을 개발한다. 다양한 교육정보 웹페이지로부터 교육정보를 수집하기 위해서 우리는 웹기반 RSS 리더기를 설계한다. 웹기반 RSS 리더기는 RSS를 제공하는 해당사이트나 블로그 등의 URL의 주소를 입력받아 RSS 파일인지를 인식하고 파서에 로드하여 XML 문서로 생성하고 분류하여 시스템에 등록한다. 시스템에 등록된 문서에 해당되는 웹페이지에 새로운 정보가 업데이트 되면 자동으로 이를 수집하여 사용자에게 제공해준다. 따라서 사용자들은 자신에게 적합한 정보를 얻기 위해 일일이 해당되는 사이트를 검색하지 않고서도 실시간으로 맞춤형 교육정보를 제공받을 수 있다.

  • PDF

스마트 기기의 멀티 모달 로그 데이터를 이용한 사용자 성별 예측 기법 연구 (A Study on Method for User Gender Prediction Using Multi-Modal Smart Device Log Data)

  • 김윤정;최예림;김소이;박규연;박종헌
    • 한국전자거래학회지
    • /
    • 제21권1호
    • /
    • pp.147-163
    • /
    • 2016
  • 스마트 기기 사용자의 성별 정보는 성공적인 개인화 서비스를 위해 중요하며, 스마트 기기로부터 수집된 멀티 모달 로그 데이터는 사용자의 성별 예측에 중요한 근거가 된다. 하지만 각 멀티 모달 데이터의 특성에 따라 다른 방식으로 성별 예측을 수행해야 한다. 따라서 본 연구에서는 스마트 기기로부터 발생한 로그 데이터 중 텍스트, 어플리케이션, 가속도 데이터에 기반한 각기 다른 분류기의 예측 결과를 다수결 방식으로 앙상블하여 최종 성별을 예측하는 기법을 제안한다. 텍스트 데이터를 이용한 분류기는 데이터 유출에 의한 사생활 침해 문제를 최소화하기 위해 웹 문서로부터 각 성별의 특징적 단어 집합을 도출하고 이를 기기로 전송하여 사용자의 기기 내에서 성별 분류를 수행한다. 어플리케이션 데이터에 기반한 분류기는 사용자가 실행한 어플리케이션들에 성별을 부여하고 높은 비율을 차지하는 성별로 사용자의 성별을 예측한다. 가속도 기반 분류기는 성별에 따른 사용자의 가속도 데이터 인스턴스를 학습한 SVM 모델을 사용하여 주어진 성별을 분류한다. 자체 제작한 안드로이드 어플리케이션을 통해 수집된 실제 스마트 기기 로그 데이터를 사용하여 제안하는 기법을 평가하였으며 그 결과 높은 예측 성능을 보였다.

정보검색 기법을 이용한 산업/직업 코드 자동 분류 시스템 (An automated Classification System of Standard Industry and Occupation Codes by Using Information Retrieval Techniques)

  • 임희석
    • 컴퓨터교육학회논문지
    • /
    • 제7권4호
    • /
    • pp.51-60
    • /
    • 2004
  • 본 논문은 통계청에서 실시하는 인구 주택 총조사와 사업체 기초통계조사 시 실시되는 수작업에 의한 표준 산업/직업 코드 분류 시 발생하는 막대한 비용과 시간, 일관성의 결여 등을 해소하기 위한 표준 산업/직업 코드 자동 분류 시스템을 제안한다. 제안한 시스템은 정보 검색 기법과 문서 분류 기법을 이용하여 자연어로 기술된 레코드를 입력 받아 입력 레코드에 해당하는 분류 코드를 생성한다. 수작업으로 올바른 코드가 할당되어 있는 산업 분류 레코드 46,762개와 직업 분류 코드 36,286개를 이용하여 10-fold cross-validation evaluation을 수행한 결과, 제안한 시스템은 완전 자동 모드에서 2수준의 산업 분류에 대해서 87.08%, 5수준에 대해서는 66.08%의 생성률을 보였으며 반자동 모드에서는 각각 99.10%와 92.88%의 성능을 보였다. 직업 분류 코드에 대한 성능은 산업 분류 코드에 대한 성능보다는 약간 저하된 성능을 보였다. 제안한 시스템은 아직 수작업을 완전히 대체할 수 있는 완전 자동 분류기로서는 많은 개선의 여지를 가지고 있지만 수작업을 최소화할 수 있는 반자동 도구나 수작업의 정확도를 검증할 수 있는 보조 도구로써 충분히 활용될 수 있을 것으로 기대된다.

  • PDF

양방향 장단기 메모리 네트워크를 활용한 높은 정밀도의 지지 근거 추출 (Extracting Supporting Evidence with High Precision via Bi-LSTM Network)

  • 박채훈;양원석;박종철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.285-290
    • /
    • 2018
  • 논지가 높은 설득력을 갖기 위해서는 충분한 지지 근거가 필요하다. 논지 내의 주장을 논리적으로 지지할 수 있는 근거 자료 추출의 자동화는 자동 토론 시스템, 정책 투표에 대한 의사 결정 보조 등 여러 어플리케이션의 개발 및 상용화를 위해 필수적으로 해결되어야 한다. 하지만 웹문서로부터 지지 근거를 추출하는 시스템을 위해서는 다음과 같은 두 가지 연구가 선행되어야 하고, 이는 높은 성능의 시스템 구현을 어렵게 한다: 1) 논지의 주제와 직접적인 관련성은 낮지만 지지 근거로 사용될 수 있는 정보를 확보하기 위한 넓은 검색 범위, 2) 수집한 정보 내에서 논지의 주장을 명확하게 지지할 수 있는 근거를 식별할 수 있는 인지 능력. 본 연구는 높은 정밀도와 확장 가능성을 가진 지지 근거 추출을 위해 다음과 같은 단계적 지지 근거 추출 시스템을 제안한다: 1) TF-IDF 유사도 기반 관련 문서 선별, 2) 의미적 유사도를 통한 지지 근거 1차 추출, 3) 신경망 분류기를 통한 지지 근거 2차 추출. 제안하는 시스템의 유효성을 검증하기 위해 사설 4008개 내의 주장에 대해 웹 상에 있는 845675개의 뉴스에서 지지 근거를 추출하는 실험을 수행하였다. 주장과 지지 근거를 주석한 정보에 대하여 성능 평가를 진행한 결과 본 연구에서 제안한 단계적 시스템은 1,2차 추출 과정에서 각각 0.41, 0.70의 정밀도를 보였다. 이후 시스템이 추출한 지지 근거를 분석하여, 논지에 대한 적절한 이해를 바탕으로 한 지지 근거 추출이 가능하다는 것을 확인하였다.

  • PDF

ASK-HIM: 아날로그 스틱을 이용한 한국어 입력 방법 (ASK-HIM: Analog Stick Korean Hangeul Input Method)

  • 김호진;이기혁
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.1056-1062
    • /
    • 2006
  • 소니컴퓨터엔터테인먼트의 플레이스테이션(R)이나 마이크로소프트의 엑스박스(R)등의 비디오 게임기가 차지하고 있는 시장의 크기가 점점 커지고 있고, 이에 적용되는 기술도 점점 발전하고 있다. 최근에는 무선랜이나 블루투스 등의 기술을 통한 네트워크 연결을 통해 인터넷 접속이 가능해졌고, 간단한 문서 편집이나 개인 정보 관리 기능도 추가되었다. 이러한 기능들이 추가되면서 비디오 게임기에 문자를 입력하는 방법의 필요성이 일어나고 있다. 하지만 비디오 게임기의 기본 입력 장치인 아날로그 스틱을 이용하여 한국어를 입력하는 방법에 대한 연구는 부족한 상태이다. 본 논문에서는 한글의 창제원리를 이용하여 자음과 모음을 각각 아래쪽, 위쪽, 왼쪽, 오른쪽의 네 가지 기본 그룹으로 분류하고, 시계 방향 회전과 반시계 방향 회전을 이용해서 자모를 매핑하는 새로운 한국어 입력 방법인 ASK-HIM을 제안한다. ASK-HIM 은 화면 키보드와 비교를 하였을 때 좀 더 좋은 결과를 보여주었고, 단순한 방식으로 사용이 편리하다는 장점을 지니고 있다.

  • PDF

교육용 블로그를 위한 RSS 문서 분류기 (RSS Web Document Classifier for Educational Blogs)

  • 이영석;김준일;조정원;최병욱
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2005년도 추계종합학술대회
    • /
    • pp.1125-1128
    • /
    • 2005
  • If you're tired of visiting site in search of the type of web documents that interests you, you can use an RSS (Really Simple Syndication) client to organize web content and deliver it to you in a manner that's much quicker and easier to access. This paper gives an overview of RSS technologies and implement a suitable RSS client for educational blogs. In addition to that, this paper propose a method for classification system in order to improve a RSS client.

  • PDF

Naive Bayes 문서 분류기를 위한 점진적 학습 모델 연구 (A Study on Incremental Learning Model for Naive Bayes Text Classifier)

  • 김제욱;김한준;이상구
    • 정보기술과데이타베이스저널
    • /
    • 제8권1호
    • /
    • pp.95-104
    • /
    • 2001
  • In the text classification domain, labeling the training documents is an expensive process because it requires human expertise and is a tedious, time-consuming task. Therefore, it is important to reduce the manual labeling of training documents while improving the text classifier. Selective sampling, a form of active learning, reduces the number of training documents that needs to be labeled by examining the unlabeled documents and selecting the most informative ones for manual labeling. We apply this methodology to Naive Bayes, a text classifier renowned as a successful method in text classification. One of the most important issues in selective sampling is to determine the criterion when selecting the training documents from the large pool of unlabeled documents. In this paper, we propose two measures that would determine this criterion : the Mean Absolute Deviation (MAD) and the entropy measure. The experimental results, using Renters 21578 corpus, show that this proposed learning method improves Naive Bayes text classifier more than the existing ones.

  • PDF

SVM을 이용한 악성 댓글 판별 시스템의 설계 및 구현 (A Design and Implementation of Malicious Web Log Identification System by Using SVM)

  • 김묘실;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.285-289
    • /
    • 2006
  • 댓글은 온라인 상에서 자신의 의견을 달고 다른 사람의 의견을 공유함으로써 필요한 정보를 쉽고 빠르게 얻을 수 있다. 본 논문에서는 익명성을 이용해서 특정인을 근거 없이 비방하거나 명예를 훼손하는 악성 댓글을 판단하는 시스템을 구현한다. 자질의 추출 방법을 여러 가지로 실험하여 동사, 형용사 등을 추가했을 때 자질의 출현빈도를 이용한 가중치를 계산하고, 용어 벡터로 표현된 입력 문서를 이진 분류기(Binary Classifier)인 $SVM^{light}$을 이용하여 악성 댓글인지를 판단하는 시스템을 구현하고 그 성능을 평가한다.

  • PDF

나이브 베이지안 분류기와 MapReduce 를 이용한 SNS 문서 필터링 및 토픽 예측 (Documents Filtering and Topic Prediction for SNS using Naïve Bayesian Classifier and MapReduce)

  • 박호식;강남용;박슬기;문정민;오상윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.109-111
    • /
    • 2014
  • SNS(Social Network Service)는 새로운 소통수단으로 인적 네트워크뿐만 아니라 사회, 문화 등에 많은 영향을 미치고 있다. 특히, 무선인터넷과 스마트폰의 보급으로 정보유통량이 기하급수적으로 증가하면서, 데이터를 처리 및 분석하는 것이 화두가 되고 있다. 본 논문에서는 급증하는 SNS 데이터를 처리 및 분석하여 의미 있는 데이터를 키워드 중심으로 추출하고자 하였다. 이를 위해 기존 데이터 처리방식이 아닌 빅데이터 처리에 적합한 MapReduce 환경에서 SNS 데이터를 필터링하고, 토픽을 예측하기 처리방법을 제시하였다. 또한, 웹 서비스를 기반으로 구현하여 분석된 데이터를 시각적으로 표현하고, 재생산하였으며, 실험을 통해 제안하는 처리방법의 성능을 검증하였다.

Gabor, MDLC, Co-Occurrence 특징의 융합에 의한 언어 인식 (Language Identification by Fusion of Gabor, MDLC, and Co-Occurrence Features)

  • 장익훈;김지홍
    • 한국멀티미디어학회논문지
    • /
    • 제17권3호
    • /
    • pp.277-286
    • /
    • 2014
  • 본 논문에서는 Gabor 특징과 MDLC 특징, 그리고 co-occurrence 특징의 융합에 의한 질감 특징 기반언어 인식 방법을 제안한다. 제안된 방법에서는 먼저 시험 영상에 Gabor 변환에 이은 크기 연산자를 적용하여 Gabor 크기 영상을 얻고 그 통계치를 계산하여 결과를 벡터화한다. 이어서 MDLC 연산자를 이용하여 MDLC 영상을 얻고 역시 그 통계치를 계산하여 벡터화한다. 다음으로 시험 영상으로부터 GLCM을 계산하고 이를 이용하여 co-occurrence 특징을 계산한 다음 벡터화한다. 이들 Gabor, MDLC, co-occurrence 특징에 의한 벡터들은 벡터 융합에 의하여 특징 벡터로 사용된다. 분류 단계에서는 얼굴 인식에 주로 사용되는 WPCA를 분류기로 하여 시험 특징 벡터와 가장 유사한 학습 특징 벡터를 찾는다. 제안된 방법의 성능은 15개국 언어의 문서를 스캔하여 얻은 시험 문서 영상 DB에 대한 평균 인식률을 조사하여 알아본다. 실험 결과 제안된 방법은 시험 DB에 대하여 비교적 낮은 특징 벡터 차원으로 매우 우수한 언어 인식 성능을 보여준다.