• 제목/요약/키워드: NER(Named Entity Recognition)

검색결과 45건 처리시간 0.017초

Personal Smart Travel Planner Service

  • Ki-Beom Kang;Myeong Gyun Kang;Seong-Hyuk Jo;Jeong-Woo Jwa
    • International Journal of Advanced Culture Technology
    • /
    • 제11권4호
    • /
    • pp.385-392
    • /
    • 2023
  • The smart tourism service provides tourists with personal travel planner services and context-awareness-based tour guide services. In this paper, we propose the personal travel planner service that creates my travel itinerary using the smart tourism app and the travel planner system. The smart tourism app provides recommended travel products and POI tourist information used to create my travel itinerary. The smart tourism app also provides the smart tourism chatbot service that allows users to select POI tourist information easily and conveniently. The travel planner system consists of the smart tourism information system and the smart tourism chatbot system. The smart tourism information system provides users with travel planner services, recommended travel products, and POI tourism information through the smart tourism app. The smart tourism chatbot system consists of named entity recognition (NER), dialogue state tracking (DST), and Neo4J servers, and provides chatbot services as a smart tourism app. Users can create their own travel itinerary, modify the travel itinerary while traveling, and then register it as a recommended travel product to users, including acquaintances.

Development of the Rule-based Smart Tourism Chatbot using Neo4J graph database

  • Kim, Dong-Hyun;Im, Hyeon-Su;Hyeon, Jong-Heon;Jwa, Jeong-Woo
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권2호
    • /
    • pp.179-186
    • /
    • 2021
  • We have been developed the smart tourism app and the Instagram and YouTube contents to provide personalized tourism information and travel product information to individual tourists. In this paper, we develop a rule-based smart tourism chatbot with the khaiii (Kakao Hangul Analyzer III) morphological analyzer and Neo4J graph database. In the proposed chatbot system, we use a morpheme analyzer, a proper noun dictionary including tourist destination names, and a general noun dictionary including containing frequently used words in tourist information search to understand the intention of the user's question. The tourism knowledge base built using the Neo4J graph database provides adequate answers to tourists' questions. In this paper, the nodes of Neo4J are Area based on tourist destination address, Contents with property of tourist information, and Service including service attribute data frequently used for search. A Neo4J query is created based on the result of analyzing the intention of a tourist's question with the property of nodes and relationships in Neo4J database. An answer to the question is made by searching in the tourism knowledge base. In this paper, we create the tourism knowledge base using more than 1300 Jeju tourism information used in the smart tourism app. We plan to develop a multilingual smart tour chatbot using the named entity recognition (NER), intention classification using conditional random field(CRF), and transfer learning using the pretrained language models.

비정형 Security Intelligence Report의 정형 정보 자동 추출 (An Automatically Extracting Formal Information from Unstructured Security Intelligence Report)

  • 허윤아;이찬희;김경민;조재춘;임희석
    • 디지털융복합연구
    • /
    • 제17권11호
    • /
    • pp.233-240
    • /
    • 2019
  • 사이버 공격을 예측하고 대응하기 위해서 수많은 보안 기업 회사에서는 공격기법의 특성, 수법 유형을 빠르게 파악하고, 이에 대한 Security Intelligence Report(SIR)들을 배포한다. 하지만 각 기업에서 배포하는 SIR들은 방대하며, 형식이 맞춰져 있지 않다. 본 논문은 대량의 비정형한 SIR들에서 정보를 추출하는데 소요되는 시간을 줄이고 효율적으로 파악하기 위해 SIR들에 대해 정형화하고 주요 정보를 추출하기 위해 5가지 분석기술이 적용된 프레임워크를 제안한다. SIR들의 데이터는 정답 라벨이 없기 때문에 비지도 학습방식을 통해 키워드 추출, 토픽 모델링, 문서 요약, 유사문서 검색 총 4가지 분석기술을 제안한다. 마지막으로 SIR들에서 위협 정보 추출하기 위해 데이터를 구축하였으며, 개체명 인식 기술에 적용하여 IP, Domain/URL, Hash, Malware에 속하는 단어를 인식하고 그 단어가 어떤 유형에 속하는지 판단하는 분석기술을 포함한 총 5가지 분석기술이 적용된 프레임워크를 제안한다.

소셜미디어 빅데이터의 개체명 인식을 활용한 옥외 힐링 장소 인식 분석 (Outdoor Healing Places Perception Analysis Using Named Entity Recognition of Social Media Big Data)

  • 성정한;이경진
    • 한국조경학회지
    • /
    • 제50권5호
    • /
    • pp.90-102
    • /
    • 2022
  • 최근 힐링에 대한 관심이 증가함에 따라 힐링을 콘셉트로 하는 옥외 공간이 조성되고 있다. 보다 전문적이고 심층적인 옥외 힐링 장소 계획·설계·디자인을 위해 88,155건의 블로그 게시글 텍스트 데이터를 개체명 인식하여 텍스트 마이닝을 진행했다. 옥외 힐링 장소의 인식과 특징을 파악을 위해 출현 빈도 분석과 응집 분석을 진행하였다. 선행연구 고찰을 통해 힐링 장소의 6가지 요소를 도출하였으며, 시간과 인원을 추가한 총 8가지 요소를 통해 인식과 특성을 살펴보았다. 분석 결과 사람들은 힐링 장소를 방문하는 데 있어 장소적요소, 시간적요소, 사회적요소, 활동요소를 인원, 식물, 색상·형태, 심리적 요소보다 중요하게 생각하였다. 상위 출현 키워드를 통해 여러 가지 인식과 특성을 파악할 수 있었다. 응집 분석 결과를 통해 장소적요소, 시간적요소, 사회적요소의 키워드들이 응집되어 나타나 주로 어떤 장소, 어떤 시간대, 누구와 함께 방문하는지 구체적으로 살펴볼 수 있었다. 연구를 통해 실제 사람들이 작성한 인식 데이터를 대량 분석하여 힐링 장소의 인식과 특성을 도출하였으며, 계획과 마케팅적으로 활용할 수 있는 구체적인 요소가 나타남을 확인했다.

온톨로지 지식 기반 특성치를 활용한 Bidirectional LSTM-CRF 모델의 시퀀스 태깅 성능 향상에 관한 연구 (Improving Bidirectional LSTM-CRF model Of Sequence Tagging by using Ontology knowledge based feature)

  • 진승희;장희원;김우주
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.253-266
    • /
    • 2018
  • 본 연구는 질의 응답(QA) 시스템에서 사용하는 개체명 인식(NER)의 성능을 향상시키기 위하여 시퀀스 태깅 방법론을 적용한 새로운 방법론을 제안한다. 사용자의 질의를 입력 받아 데이터베이스에 저장된 정답을 추출하기 위해서는 사람의 언어를 컴퓨터가 알아들을 수 있도록 구조화 질의어(SQL)와 같은 데이터베이스의 언어로 전환하는 과정이 필요한데, 개체명 인식은 사용자의 질의에서 데이터베이스에 포함된 클래스나 데이터 명을 식별하는 과정이다. 기존의 데이터베이스에서 질의에 포함된 단어를 검색하여 개체명을 인식하는 방식은 동음이의어와 문장성분 구를 문맥을 고려하여 식별하지 못한다. 다수의 검색 결과가 존재하면 그들 모두를 결과로 반환하기 때문에 질의에 대한 해석이 여러 가지가 나올 수 있고, 계산을 위한 시간복잡도가 커진다. 본 연구에서는 이러한 단점을 극복하기 위해 신경망 기반의 방법론을 사용하여 질의가 가지는 문맥적 의미를 반영함으로써 이러한 문제를 해결하고자 했고 신경망 기반의 방법론의 문제점인 학습되지 않은 단어에 대해서도 문맥을 통해 식별을 하고자 하였다. Sequence Tagging 분야에서 최신 기술인 Bidirectional LSTM-CRF 모델을 도입함으로써 신경망 모델이 가진 단점을 해결하였고, 학습되지 않은 단어에 대해서는 온톨로지 기반 특성치를 활용하여 문맥을 반영한 추론을 사용하였다. 음악 도메인의 온톨로지(Ontology) 지식베이스를 대상으로 실험을 진행하고 그 성능을 평가하였다. 본 연구에서 제안한 방법론인 L-Bidirectional LSTM-CRF의 성능을 정확하게 평가하기 위하여 학습에 포함된 단어들뿐만 아니라 학습에 포함되지 않은 단어들도 포함한 질의를 평가에 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.