• 제목/요약/키워드: 불용어

검색결과 94건 처리시간 0.027초

국한문 혼용 텍스트 색인어 추출기법 연구 『시사총보』를 중심으로 (An Experimental Approach of Keyword Extraction in Korean-Chinese Text)

  • 정유경;반재유
    • 정보관리학회지
    • /
    • 제36권4호
    • /
    • pp.7-19
    • /
    • 2019
  • 본 연구는 국한문 혼용 텍스트를 대상으로 한글 형태소 분석 기법과 한문 어조사를 반영한 색인어 추출기법을 제안하였다. 국한문 혼용체로 작성된 『시사총보』 논설을 대상으로 해당 시기에 사용된 고유명사 및 한자어 사전을 보완하였으며 한자어 불용어 리스트를 고려하여 색인어를 추출하였다. 본 연구에서 제안한 국한문 색인 시스템은 수작업 색인 결과를 기준으로, 중국어형태소 분석기에 비해 재현율과 정확률 측면에서 상대적으로 높은 성능을 보였으며, 어문법이 확립되지 않은 근현대 시기의 국한문 혼용체를 대상으로 한 첫 번째 색인어 추출기법을 제안하였다는 데에서 연구의 차별점이 있다.

자연어검색시스템을 위한 스태밍알고리즘의 설계 및 구현 (A stemming algorithm for a korean language free-text retrieval system)

  • 이효숙
    • 정보관리학회지
    • /
    • 제14권2호
    • /
    • pp.213-234
    • /
    • 1997
  • 본 연구에서는 자연어 검색시스템을 위한 스태밍알고리즘을 설계하고 이를 구현하였다. 알고리즘은 순환적으로 다음과 같은 세가지 과정으로 진행된다. : 불용어사전에 의한 불용어의 제거; 규칙 테이블1의 적용에 따른 기본 어미의 처리; 전단계에서 처리되고 남은 어절에 대해 규칙테이블 2를 적용하여 확장스태밍 및 다시쓰기루틴으로 진행된다. 알고리즘의 성능 평가를 위한 한글문헌집단을 사용하여 테스트한 결과 압축률 21.4%, 오류율 15.9%의 결과를 나타내었다.

  • PDF

명사-동사 공기패턴을 이용한 문서 자동 요약 (Automatic Text Summarization using Noun-Verb Cooccurrence Pattern)

  • 남기종;이창범;강대욱;박혁로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.611-614
    • /
    • 2002
  • 문서 자동 요약은 입력된 문서에 대해 컴퓨터가 자동으로 요약을 생성하는 과정을 의미한다. 즉, 컴퓨터가 문서의 기본적인 내용을 유지하면서 문서의 복잡도 즉 문서의 길이를 줄이는 작업이다. 효율적인 정보 접근을 제공함과 동시에 정보 과적재를 해결하기 위한 하나의 방법으로 문서 자동요약에 관한 연구가 활발히 진행되고 있다. 본 논문의 목적은 어휘 연관성 정보를 이용하여 한국어 문서를 자동으로 요약하는 효율적이며 효과적인 모형을 개발하는 것이다. 제안한 방법에서는 신문기사와 같은 특정 부류에 국한되는 단어간의 어휘연관성을 이용하여 명사-명사 공기패턴과 명사-동사 공기패턴을 구축하여 문서요약에 이용한다. 크게 불용어 처리 단계, 공기패턴 구축 단계, 문장 중요도 계산 단계, 요약 생성단계의 네 단계로 나누어 요약을 생성한다. 30% 중요문장 추출된 신문기사를 대상으로 평가한 결과 명사-명사 공기패턴과 빈도만을 이용한 방법보다 명사-동사 공기패턴을 이용한 방법이 좋은 결과를 가져 왔다.

  • PDF

소셜 네트워크 서비스 데이터에서 Bi-LSTM 기반 약물 부작용 게시물 탐지 모델 연구 (A Study on Bi-LSTM-Based Drug Side Effects Post Detection Model in Social Network Service Data)

  • 이충천;이승희;송미화;이수현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.397-400
    • /
    • 2022
  • 본 연구에서는 소셜 네트워크 서비스(Social Network Service, SNS) 데이터로부터 약물 부작용 게시글을 추출하기 위한 순환 신경망(Recurrent Neural Network, RNN) 기반 분류 모델을 제안한다. 먼저, 처방 빈도가 높으며 게시글을 많이 확보할 수 있는 케토프로펜 약물에 대하여 국내 최대 소셜 네트워크 플랫폼인 네이버 블로그와 카페의 게시글(2005 년~2020 년)을 확보하고 최종 3,828 건을 분석하였다. 결과적으로 케토프로펜에 대한 3 종(약물, 부작용, 불용어)의 렉시콘을 정의하였으며 이를 기반으로 Bi-LSTM 분류모델 기준 87%의 정확도를 얻었다. 본 연구에서 제안하는 모델은 SNS 데이터가 약물 부작용 정보 획득을 위한 기존 (전자의무기록, 자발적 약물 부작용 보고 시스템 등) 자료원에 대한 보완적 정보원이 되며, 개발된 Bi-LSTM 분류모델을 통해 약물 부작용 게시글 추출의 편리성을 제공할 것으로 기대된다.

A Comparative Study on Requirements Analysis Techniques using Natural Language Processing and Machine Learning

  • Cho, Byung-Sun;Lee, Seok-Won
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권7호
    • /
    • pp.27-37
    • /
    • 2020
  • 본 연구의 목적은 다양한 도메인에 대한 소프트웨어 요구사항 명세서로부터 수집된 요구사항을 데이터로 활용하여 데이터 중심적 접근법(Data-driven Approach)의 연구를 통해 요구사항을 분류한다. 이 과정에서 기존 요구사항의 특징과 정보를 바탕으로 다양한 자연어처리를 이용한 데이터 전처리와 기계학습 모델을 통해 요구사항을 기능적 요구사항과 비기능적 요구사항으로 분류하고 각 조합의 결과를 제시한다. 그 결과로, 요구사항을 분류하는 과정에서, 자연어처리를 이용한 데이터 전처리에서는 어간 추출과 불용어제거와 같은 토큰의 개수와 종류를 감소하여 데이터의 희소성을 좀 더 밀집형태로 변형하는 데이터 전처리보다는 단어 빈도수와 역문서 빈도수를 기반으로 단어의 가중치를 계산하는 데이터 전처리가 다른 전처리보다 좋은 결과를 도출할 수 있었다. 이를 통해, 모든 단어를 고려하여 가중치 값은 기계학습에서 긍정적인 요인을 볼 수 있고 오히려 문장에서 의미 없는 단어를 제거하는 불용어 제거는 부정적인 요소로 확인할 수 있었다.

단어의 의미와 순서를 고려하는 문서색인방법을 이용한 CNN 기반 한글문서분류 (Classification of Korean Documents Based on CNN Using Document Indexing Method based on Word Meaning and Order)

  • 김남훈;양형정
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.41-45
    • /
    • 2017
  • 본 논문에서는 컨볼루션 신경망 네트워크(CNN:Convolution Neural Network)을 기반으로 단어의 의미와 순서를 고려하는 문서 색인 방법을 이용하여 한글 문서 분류 방법을 제안한다. 먼저 문서를 형태소 분석하여 어절 단위로 분리 한 후, 불용어를 처리 하고, 문서의 단어 의미를 고려하는 문서 표현하고, 문서의 단어 순서까지 고려하여 CNN의 입력으로 사용하였다. 실험결과 CNN 분류기를 기반으로 본 논문에서 제안하는 문서 색인 방법은 TF-IDF를 이용하는 방법보다 4.2%, Word2vec만 단독으로 사용하는 것보다 1.4%의 성능 상승을 이루었다. 이러한 결과를 통해 본 논문에서 제안하는 방법이 문서범주화 데이터 셋에서 문서 분류 성능향상에 영향을 미친다는 것을 확인하였다.

  • PDF

서울시 일부 지하공간에서의 실내공기질에 관한 연구 (A Study on IAQ(Indoor Air Quality) for Underground Environments in Seoul)

  • 정진원;김윤신;권성안;홍승철;박원석;이상복;이홍석
    • 한국대기환경학회:학술대회논문집
    • /
    • 한국대기환경학회 1999년도 추계학술대회 논문집
    • /
    • pp.374-375
    • /
    • 1999
  • 오늘날 경제적 생활 환경의 개선으로 인하여 현대인의 생활에 많은 변화를 가져오고 있다. 제한된 공간에서 인간 활동은 지하생활공간이라는 새로운 활동영역을 창출하였고, 이에 따라 실내에서의 거주 시간은 더욱 증가하고 있다. 지하생활공간이라는 용어가 일반인들에게는 다소 생소하게 받아들여질 수 있지만 여기서 말하는 지하생활공간이라 함은 불특정 다수인이 이용하는 지하철, 지하상가, 지하주차장, 지하 보ㆍ차도, 지하터널 등을 말하며 개인의 생활 양식에 따라 단시간 이용하거나 또는 생활터전으로 장시간 거주할 수 있는 공간이라고 할 수 있다.(중략)

  • PDF

WWW환경에서 데이터 전송량 절감을 위한 가상인덱스 시스템 (Virtural Index System to Reduce Amount of Data Transmission in WWW Environment)

  • 강재철;김창화
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권6호
    • /
    • pp.693-705
    • /
    • 1999
  • 최근에 사용중인 검색엔진은 증가하는 지역사이트의 정보를 로봇사이트에 인덱스하는데 많은 문제점이 있다. 첫째, 지역사이트의 문서 전체를 로봇사이트로 전송하므로 네트워크의 트래픽을 증가시킨다. 왜냐하면 인덱스 하는데 불필요한 불용어와 특수문자, 중복된 키워드 전체를 전송하기 때문이다. 둘째 지역사이트의증가로 인해 로봇의 방문주기가 길어지므로 최근의 정보를 유지하는데 어려움이 있다. 마지막으로 문서를 로봇사이트에서 파싱하므로 파싱 시간이 길다. 이러한 문제점을 해결하기 위해 본 논문에서는 VITAR 방식을 제안하고 중앙집중식 인덱스방식과 성능을 비교분석한다. 이 방식은 지역사이트에서 문서를 생성,갱신, 삭제하고 지역 인덱스에이전트에 의해 파싱한후 푸싱기법을 이용하여 가상인덱스에 키워드 메시지만을 전송한다. VITAR방식의 장점은 키워드메시지만을 전송하므로 네트워크 트래픽을 줄일 수 있고 지역사이트에서 미리 파싱하므로 파싱 시간을 줄일 수 있으며 , 각 지역사이트의 문서가 변경되는 즉시 가상인덱스가 변경되므로 인해 최근의 자료를 유지할 수있다. 특히 중앙집중식 인덱스방식과 성능을 비교분석한 결과 생성타입인 경우 80.3%의 전송절감효과를 얻을 수있었다.

인터넷 비즈니스 웹사이트의 개인정보보호정책 현황

  • 한정희;장활식;김종기
    • 정보보호학회지
    • /
    • 제11권4호
    • /
    • pp.35-43
    • /
    • 2001
  • 본 논문에서는 인터넷 비즈니스를 수행하는 기업들의 웹사이트의 개인정보보호정책 현황을 고찰하였다. 서비스 유형별 개인정보보호정책 공표현황을 살펴보면, 포털/검색엔진 사이트와 쇼핑몰 사이트, 그리고 금융서비스를 제공하는 사이트가 타 사이트에 비해 고객 및 회원, 또는 방문자의 개인정보보호의 공식적인 공표가 더 많다. 그리고 서비스 유형에 크게 구분없이 대부분의 사이트들이 개인정보보호정책의 목적, 개인정보 수집목적 및 이용목적, 개인정보 수집 범위 및 방법, 개인정보 보유기간 및 파기, 제3자와의 정보공유 및 정보제공 경우, 정보보호를 위한 기술적·제도적 대책 등을 잘 명시하고 있으나 정책구성에 필요한 용어정의, 불만/분쟁처리방법, 아동보호방법, 정책의 시행일자 등을 명시하는데 미흡했다.

  • PDF

날짜 정보를 이용한 가중치 계산 방법을 적용한 자동 문서분류 (Term Weighting Using Date Information and Its Appliance in Automatic Text Classification)

  • 심보준;박진우;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.169-173
    • /
    • 2007
  • 문장을 구성하는 단어들은 문장의 의미를 표출하는 데에 있어서 모두 같은 크기의 중요도를 갖지는 않는다. 따라서, 정보검색 분야에서는 오랫동안 단어에 부여할 서로 다른 가중치를 구하는 다양한 전략을 연구해 왔다. 매우 일반적인 기능어들은 불용어로 분류하여 고려 대상에서 제외하기도 하고, 개체명 추출기를 이용하여 고유명사에 높은 가중치를 부여하거나, TF-IDF와 같이 단어가 문서 집합에 출현하는 양상과 빈도를 고려하여 가중치를 구하는 전략을 사용하기도 한다. 이와 같은 연구들에서는 같은 단어라면 어떤 상황에서도 변하지 않는 가중치를 가지게 된다. 본 논문에서는 같은 단어라 할지라도 날짜에 따라서, 어떤 날짜에는 중요한 단어이므로 높은 가중치를 받지만, 다른 날짜에는 낮은 가중치를 부여하는 전략을 제안하고 있다. 이 방법은 모든 정보검색 작업에서 사용할 수 있는 범용적인 전략이다. 본 연구에서는 특히, 문서분류 작업에 제안 방법을 적용했을 때, 제안 방법을 적용하지 않은 기본 시스템보다 분류 정확성이 더 향상되는 것을 실험을 통해서 확인하였다.

  • PDF