• 제목/요약/키워드: keyword dictionary

검색결과 35건 처리시간 0.025초

실시간 이슈 탐지를 위한 일반-급상승 단어사전 생성 및 매칭 기법 (A Generation and Matching Method of Normal-Transient Dictionary for Realtime Topic Detection)

  • 최봉준;이한주;용우석;이원석
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권5호
    • /
    • pp.7-18
    • /
    • 2017
  • 트위터는 사용자들에게 정보를 받거나 교환하는 채널로써의 역할이 활발히 이루어지고 있고 새로운 사건이 발생했을 때 빠르게 반응하기 때문에 지진이나 홍수, 자살 등의 새로운 사건을 탐지하는 센서역할로 활용할 수 있다. 그리고 사건을 탐지하기 위해서 우선적으로 관련된 트윗 추출이 필수적이다. 하지만 관련된 트윗을 찾기 위해 관련 키워드를 포함한 트윗을 추출하기 때문에 해당 키워드가 없지만 의미적으로 사건과 관련이 있는 트윗은 찾지 못하는 문제점이 있다. 또한 기존의 연구들은 디스크에 저장된 데이터에 대한 분석이 주를 이루고 있어 원하는 결과를 얻기 위해서는 데이터를 수집하여 저장하고 분석에 이르기까지 오랜 시간이 소모된다. 이러한 문제점을 해결하기 위해 본 연구에서는 실시간 이슈 탐지를 위한 일반-급상승 단어 사전 생성 및 매칭 기법을 제안한다. 데이터 스트림 인메모리 기반으로 일반-급상승 단어 사전을 생성 및 관리하기 때문에 새로운 사건을 빠르게 학습하고 대응할 수 있다. 또한 분석을 원하는 주제의 일반 사전과 급상승 사전을 동시에 관리하기 때문에 기존의 방법으로 찾지 못하는 트윗을 검출해 낼 수 있다. 본 연구를 통해 빠른 정보와 대응이 필요한 분야에 즉시적으로 활용할 수 있다.

텍스트 마이닝과 딥러닝을 활용한 암호화폐 가격 예측 : 한국과 미국시장 비교 (The Prediction of Cryptocurrency on Using Text Mining and Deep Learning Techniques : Comparison of Korean and USA Market)

  • 원종관;홍태호
    • 지식경영연구
    • /
    • 제22권2호
    • /
    • pp.1-17
    • /
    • 2021
  • 본 연구에서는 한국과 미국의 대표적인 거래소인 빗썸과 코인베이스의 비트코인 가격을 ARIMA와 순환 신경망(Recurrent Neural Network)을 이용해 예측하고, 이후 각 국가의 뉴스 기사를 이용해 분리 학습에 기반한 separated RNN 모형을 제안한다. separated RNN 모형은 학습 데이터를 가격의 추세 변화 점을 기준으로 분리해 학습시킨 후, 추세 변화점 별 뉴스 데이터를 활용해 용어 기반 사전을 구축한다. 이후 용어 기반 사전과 평가 데이터 기간의 뉴스 데이터를 이용해 예측할 데이터의 가격 추세 변화 점을 찾아낸 후, 매칭되는 모형을 적용해 예측 결과를 산출한다. 2017년 5월 22일부터 2020년 9월 16일까지의 가격 데이터를 사용해 분석한 결과, 제안된 separated RNN을 이용해 예측한 결과가 한국과 미국의 비트코인 가격 예측 모두에서 순환 신경망(RNN)을 이용해 예측한 결과보다 높은 예측 성과를 보였다. 본 연구는 시계열 예측 기법의 한계를 뉴스 데이터를 이용한 추세 변화 점 탐색을 통해 극복할 수 있고, 성과 향상을 위한 추후 다양한 시계열 예측 기법 및 추세 변화 점 탐색을 위한 다양한 텍스트 마이닝 기법을 적용해볼 필요가 있음을 시사한다.

Semantic Web과 Semantic Network을 활용한 다국어 상품검색 에이전트 (Multilingual Product Retrieval Agent through Semantic Web and Semantic Networks)

  • 문유진
    • 지능정보연구
    • /
    • 제10권2호
    • /
    • pp.1-13
    • /
    • 2004
  • 상품검색은 고객들이 전자상거래의 접촉을 시작하는 인터페이스로서 매우 중요한 프로세스이다. 또한 전자상거래는 고객들에게 검색 시 쉽게 접근할 수 있는 프로세스를 제공하여야 한다. 특히 World Wide Web에서 상품정보는 광범위한 고객들이 신속하게 팽창하는 정보를 추적하기 위해서 통합과 표준화가 이뤄져야 한다. 상품 카탈로그(catalogue)에 대한 국제 표준화가 다양한 분야와 업종에서 구축되어져 왔는데, 요즈음은 UNSPSC((Universal Standard Products and Services Classification) 코드로의 수렴에 대한 논의가 활발해지고 있다. 이 표준을 채택하여 이 논문은 다국어상품검색 에이전트의 아키텍쳐(architecture)를 설계한다. 이 아키텍쳐는 중앙등록기 모델의 상품 카탈로그 관리를 기반으로 하여 분산처리의 update프로세스를 채택한다. 또한 이 아키텍쳐는 구매자 관점과 공급자 관점을 모두 고려한다. 상품정보의 일관성과 버전 관리는 UNSPSC코드 시스템에 의하여 제어된다. 고객이 사용하기 편리하도록 표준화에 포함되어져 있지 않은 상품명과 다국어 상품명은 Semantic Network, 시소러스(thesaurus)와 Semantic Web의 상품명 온톨로지 등을 활용하여 해결한다. 이를 위한 알고리즘들을 설계하고 또한 구현한다.

  • PDF

한국학술지인용색인(KCI)의 인문학, 사회과학, 예술체육 분야 저자키워드의 의미적 관계 유형 최적화 연구 (A Study on the Optimization of Semantic Relation of Author Keywords in Humanities, Social Sciences, and Art and Sport of the Korea Citation Index (KCI))

  • 고영만;송민선;이승준
    • 한국문헌정보학회지
    • /
    • 제49권1호
    • /
    • pp.45-67
    • /
    • 2015
  • 본 연구의 목적은 KCI의 인문, 사회, 예술체육 분야 저자키워드를 기반으로 구축한 구조적 학술용어사전 데이터베이스 시스템 STNet에 실제 입력된 용어들의 의미적 관계들을 분석하여 관계 유형을 최적화하고 관계명을 세분화하는 방안을 기술하는 것이다. 분석 결과, 관계 유형과 관계명을 최적화하기 위해서는 빈도수에 의한 관계명 신설 또는 관계의 유형화 제한, 관계의 방향성 고려, 기존 관계명 반영의 4가지 논리적 기준이 필요한 것으로 나타났다. STNet의 "실존인물" 클래스를 테스트베드로 삼아 이 기준을 적용해 관계 유형을 최적화하고 관계명을 세분화한 결과 원래 RT, RT_X, RT_Y로 연결된 1,743건의 관계 중 1,135건이 세분화되는 것으로 나타났다. 이는 약 65%의 RT 관계가 구체화된 것으로 사전 구축 및 검색 단계에서의 유용성 측면에서 상당한 의미가 있음을 보여주는 것이다.

기업 리뷰 웹 사이트 텍스트 분석을 통한 직원 불만 표현 추출과 불만 원인 도출 및 해소 방안 (Employee's Discontent Text Analysis on Anonymous Company Review Web and Suggestions for Discontent Resolve)

  • 백혜연;박용석
    • 한국정보통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.357-364
    • /
    • 2019
  • 전현직 직원에 의한 산업정보 유출 비율이 80%에 이르나 산업정보유출 사고에 대한 뉴스기사나 정보유출 행위의 원인에 대한 연구들에서는 그 원인들을 처우나 인사 불만 등으로 간략하게 설명하고 있다. 본 연구에서는 전현직 직원들이 익명 기업리뷰 웹사이트에 남긴 기업에 대한 평가 텍스트를 분석하여 기업에 대한 불만 내용들을 더욱 구체적으로 확인하였다. 이 중 어떠한 불만사항이 퇴직이나 퇴사, 나아가 산업인력유출의 결과로 이어질 수 있는지 파악하기 위해 불만 분야에 대한 의미사전목록을 제시하고 부분문법그래프(LGG)를 구축하였다. 또한 텍스트 분석 결과에서 나타난 전현직 직원들의 불만사항과 기존 연구들에서 설문을 통해 정리한 인력유출 원인을 서로 비교하였다. 추가적으로 분석된 불만을 바탕으로 기업불만 해소를 통한 인력유출 방지 방안을 간략 제시하였다. 기존 설문 위주의 산업 인력 유출에 대한 분석에 더하여, 웹 크롤링을 통한 자유롭고 솔직한 불만 분석을 제공하는 데 의의가 있다.

n-Gram 색인화와 Support Vector Machine을 사용한 스팸메일 필터링에 대한 연구 (A study on the Filtering of Spam E-mail using n-Gram indexing and Support Vector Machine)

  • 서정우;손태식;서정택;문종섭
    • 정보보호학회논문지
    • /
    • 제14권2호
    • /
    • pp.23-33
    • /
    • 2004
  • 인터넷 환경의 급속한 발전으로 인하여 이메일을 통한 메시지 교환은 급속히 증가하고 있다. 그러나 이메일의 편리성에도 불구하고 개인이나 기업에서는 스팸메일로 인한 시간과 비용의 낭비가 크게 증가하고 있다. 이러한 스팸메일에 대한 문제들을 해결하기 위하여 많은 방법들이 연구되고 있으며, 대표적인 방법으로 키워드를 이용한 패턴매칭이나 나이의 베이지안 방식과 같은 확률을 이용한 방법들이 있다. 본 논문에서는 기존의 연구에 대한 문제점을 보완하기 위하여 패턴 분류문제에 있어서 우수한 성능을 보이는 Support Vector Machine을 사용하여 정상적인 메일과 스팸메일을 분류하는 방안을 제시하였으며, 특히 n-Gram을 사용하여 생성된 색인어와 단어사전을 학습데이터 생성에 사용함으로서 효율적인 학습을 수행하도록 하였다. 결론에서는 제안된 방법에 대한 성능을 검증하기 위하여 기존의 연구 결과와 비교함으로서 제안된 방법의 성능을 검증하였다.

공격키워드 사전 및 TF-IDF를 적용한 침입탐지 정탐률 향상 연구 (A Study on Improving Precision Rate in Security Events Using Cyber Attack Dictionary and TF-IDF)

  • 김종관;김명수
    • 융합보안논문지
    • /
    • 제22권2호
    • /
    • pp.9-19
    • /
    • 2022
  • 최근, 디지털전환의 확대로 사이버공격의 위협에 더욱 더 노출되고 있으며, 각 기관 및 기업은 공격이 유입되는 것을 막기 위해 시그니처 기반의 침입차단시스템을 네트워크 가장 앞단에 운영중에 있다. 그러나, 관련된 ICT시스템에 적절한 서비스를 제공하기 위해 엄격한 차단규칙을 적용할 수 없어 많은 오이벤트가 발생되고, 운영효율이 저하되고 있다. 따라서, 공격탐지 정확도 향상을 위하여 인공지능을 이용한 많은 연구과제가 수행되고 있다. 대부분의 논문은 정해진 연구용 데이터셋을 이용하여 수행하였지만, 실제 네트워크에서는 연구용 학습데이터셋과는 다른 로그를 이용해야만 하기 때문에 실제 시스템에서는 사용사례는 많지 않다. 본 논문에서는 실제 시스템에서 수집한 보안이벤트 로그에 대하여 주요 공격키워드를 분류하고, 주요 키워드별로 가중치를 부과, TF-IDF를 이용하여 유사도 검사를 수행후 실제 공격여부를 판단하는 기법에 대하여 제안하고자 한다.

감정 온톨로지의 구축을 위한 구성요소 분석 (Component Analysis for Constructing an Emotion Ontology)

  • 윤애선;권혁철
    • 인지과학
    • /
    • 제21권1호
    • /
    • pp.157-175
    • /
    • 2010
  • 의사소통에서 대화자 간 감정의 이해는 메시지의 내용만큼이나 중요하다. 비언어적 요소에 의해 감정에 관한 더 많은 정보가 전달되고 있기는 하지만, 텍스트에도 화자의 감정을 나타내는 언어적 표지가 다양하고 풍부하게 녹아들어 있다. 본 연구의 목적은 인간언어공학에 활용할 수 있는 감정 온톨로지를 구축할 수 있도록 그 구성요소를 분석하는 데 있다. 텍스트 기반 감정 처리 분야의 선행 연구가 감정을 분류하고, 각 감정의 서술적 어휘 목록을 작성하고, 이를 텍스트에서 검색함으로써, 추출된 감정의 정확도가 높지 않았다. 이에 비해, 본 연구에서 제안하는 감정 온톨로지는 다음과 같은 장점이 있다. 첫째, 감정 표현의 범주를 기술 대상과 방식에 따라 6개 범주로 분류하고, 이들 간 상호 대응관계를 설정함으로써, 멀티모달 환경에 적용할 수 있다. 둘째, 세분화된 감정을 분류할 수 있되, 감정 간 차별성을 가질 수 있도록 24개의 감정 명세를 선별하고, 더 섬세하게 감정을 분류할 수 있는 속성으로 강도와 극성을 설정하였다. 셋째, 텍스트에 나타난 감정 표현을 명시적으로 구분할 수 있도록, 경험자 기술 대상과 방식 언어적 자질에 관한 속성을 도입하였다. 넷째, 본 연구의 감정분류는 Plutchik의 분류와 호환성을 갖고 있으며, 언어적 요소의 기술에서 국제표준의 태그세트를 수용함으로써, 다국어 처리에 활용을 극대화할 수 있도록 고려했다.

  • PDF

트위터의 감정 분석을 통한 실시간 장소 추천 시스템 (Real-time Spatial Recommendation System based on Sentiment Analysis of Twitter)

  • 오평화;황병연
    • 한국전자거래학회지
    • /
    • 제21권3호
    • /
    • pp.15-28
    • /
    • 2016
  • 본 논문에서는 모바일에서 획득한 GPS(Global Positioning System)를 활용하여 사용자의 위치 주변에서 발생한 SNS 데이터를 수집하고 분석을 통해 사용자가 원하는 장소를 추천하는 시스템을 제안한다. 이를 위해 트위터에서 위치정보를 포함하는 게시글을 표본 집합으로 정하고 모바일의 위치정보와 함께 활용했을 때, 사용자의 검색의도에 부합하는 양질의 정보를 제공할 수 있음을 실험을 통해 증명하였다. 이를 위해 2015년 11월부터 12월까지 수집한 트윗(Tweet)을 대상으로 임의의 위치정보와 검색어로 구성된 질의를 구성하고 형태소 분석을 거쳐 분석에 적합한 형태의 데이터로 변환하였다. 또한 장소 추천을 위해 감정사전을 구축하여 긍정 및 부정을 의미하는 극성 키워드들을 정의하고 레이블을 구성한 후, 감정사전과 극성키워드를 이용해 개별 트윗의 추천 점수를 도출하였다. 논문은 추천 점수와 사용자의 현재 위치, 트윗이 작성된 위치와 사용자 위치 사이의 거리 계산을 통해 가까운 거리 순으로 10개의 장소 정보를 정렬하여 결과를 보인다. 또한 성능평가를 위해 감정 분석된 트윗에 대한 정밀도와 재현율을 도출하여 시스템의 성능을 확인한다. 실험은 '맛집', '공연' 2개의 키워드와 10개 지역을 기준으로 수행하였다. 실험 결과 키워드 1개당 수집된 트윗은 평균 10.5개였으며, 총 10번의 실험에 사용된 평균 210개의 트윗 중 긍정 또는 부정의 단어를 포함한 트윗의 개수는 평균 122개였다. 또한 감정 분석을 통해 긍정 또는 부정으로 분류된 트윗은 평균 65개였으며 그 중 실제로 긍정 또는 부정의 의미를 담은 트윗은 평균 46개였다. 이를 통해 시스템은 38%의 재현율로 감정요소를 담은 트윗을 탐지하고, 71%의 정밀도로 감정 분석을 수행했음을 확인했다.

신조어를 활용한 사회적 현상 아카이빙 방안 연구 (A Study on the Archiving of a Social Phenomenon through Neologism)

  • 김환;임진희
    • 기록학연구
    • /
    • 제52호
    • /
    • pp.315-342
    • /
    • 2017
  • 언어는 사회 구성원들 간의 의사소통을 위한 중요한 매개체인 동시에 그 사회를 반영하는 거울이다. 시대에 따른 사회 문화의 변화와 발전과 함께 언어 또한 변하고 발전한다. 이처럼 시대의 변화에 따라 새로운 개념을 표현하기 위해 수많은 신조어가 나타나고 있다. 최근 소셜네트워크와 인터넷 커뮤니티 사이트를 중심으로 신조어의 사용이 급증하고 있는데 이렇게 인터넷상에서 유행하는 신조어를 살펴보면 시대의 세태와 갈등, 사람들의 심리, 사상, 문화 등 사회 현상을 함축적으로 반영하고 있는 것을 알 수 있다. 본 논문에서는 일시적인 기간 동안 사회적 현상을 반영하고 있는 신조어와 함께 관련 기록들을 수집하고 분석하는 것에 대한 의미와 중요성에 대해 고찰하고, 이를 '신조어 아카이빙'이라는 개념으로 설명하고자 한다. 신조어 아카이빙이 기존에 존재하는 사전의 개념과 어떻게 차이가 있는지 비교를 통해 신조어 아카이빙 구축 방향을 제시하고자 한다. 또한 이 연구를 통해 세대간 원활한 의사소통과 정보 공유의 불평등 해소 등 국민 언어생활에 편의와 당대의 사회상을 기억하고 더 나아가 전문가들의 신조어 또는 사회 현상을 연구하는 데 도움이 되기를 기대해 본다.