• 제목/요약/키워드: entity extraction

검색결과 86건 처리시간 0.023초

비정형 Security Intelligence Report의 정형 정보 자동 추출 (An Automatically Extracting Formal Information from Unstructured Security Intelligence Report)

  • 허윤아;이찬희;김경민;조재춘;임희석
    • 디지털융복합연구
    • /
    • 제17권11호
    • /
    • pp.233-240
    • /
    • 2019
  • 사이버 공격을 예측하고 대응하기 위해서 수많은 보안 기업 회사에서는 공격기법의 특성, 수법 유형을 빠르게 파악하고, 이에 대한 Security Intelligence Report(SIR)들을 배포한다. 하지만 각 기업에서 배포하는 SIR들은 방대하며, 형식이 맞춰져 있지 않다. 본 논문은 대량의 비정형한 SIR들에서 정보를 추출하는데 소요되는 시간을 줄이고 효율적으로 파악하기 위해 SIR들에 대해 정형화하고 주요 정보를 추출하기 위해 5가지 분석기술이 적용된 프레임워크를 제안한다. SIR들의 데이터는 정답 라벨이 없기 때문에 비지도 학습방식을 통해 키워드 추출, 토픽 모델링, 문서 요약, 유사문서 검색 총 4가지 분석기술을 제안한다. 마지막으로 SIR들에서 위협 정보 추출하기 위해 데이터를 구축하였으며, 개체명 인식 기술에 적용하여 IP, Domain/URL, Hash, Malware에 속하는 단어를 인식하고 그 단어가 어떤 유형에 속하는지 판단하는 분석기술을 포함한 총 5가지 분석기술이 적용된 프레임워크를 제안한다.

지식베이스 확장을 위한 멀티소스 비정형 문서에서의 정보 추출 시스템의 개발 (Development of Information Extraction System from Multi Source Unstructured Documents for Knowledge Base Expansion)

  • 최현승;김민태;김우주;신동욱;이용훈
    • 지능정보연구
    • /
    • 제24권4호
    • /
    • pp.111-136
    • /
    • 2018
  • 지식베이스를 구축하는 작업은 도메인 전문가가 온톨로지 스키마를 이해한 뒤, 직접 지식을 정제하는 수작업이 요구되는 만큼 비용이 많이 드는 활동이다. 이에, 도메인 전문가 없이 다양한 웹 환경으로부터 질의에 대한 답변 정보를 추출하기 위한 자동화된 시스템의 연구개발의 필요성이 제기되고 있다. 기존의 정보 추출 관련 연구들은 웹에 존재하는 다양한 형태의 문서 중 학습데이터와 상이한 형태의 문서에서는 정보를 효과적으로 추출하기 어렵다는 한계점이 존재한다. 또한, 기계 독해와 관련된 연구들은 문서에 정답이 있는 경우를 가정하고 질의에 대한 답변정보를 추출하는 경우로서, 문서의 정답포함 여부를 보장할 수 없는 실제 웹의 비정형 문서로부터의 정보추출에서는 낮은 성능을 보인다는 한계점이 존재한다. 본 연구에서는 지식베이스 확장을 위하여 웹에 존재하는 멀티소스 비정형 문서로부터 질의에 대한 정보를 추출하기 위한 시스템의 개발 방법론을 제안하고자 한다. 본 연구에서 제안한 방법론은 "주어(Subject)-서술어(Predicate)"로 구분된 질의에 대하여 위키피디아, 네이버 백과사전, 네이버 뉴스 3개 웹 소스로부터 수집된 비정형 문서로부터 관련 정보를 추출하며, 제안된 방법론을 적용한 시스템의 성능평가를 위하여, Wu and Weld(2007)의 모델을 베이스라인 모델로 선정하여 성능을 비교분석 하였다. 연구결과 제안된 모델이 베이스라인 모델에 비해, 위키피디아, 네이버 백과사전, 네이버 뉴스 등 다양한 형태의 문서에서 정보를 효과적으로 추출하는 강건한 모델임을 입증하였다. 본 연구의 결과는 현업 지식베이스 관리자에게 지식베이스 확장을 위한 웹에서 질의에 대한 답변정보를 추출하기 위한 시스템 개발의 지침서로서 실무적인 시사점을 제공함과 동시에, 추후 다양한 형태의 질의응답 시스템 및 정보추출 연구로의 확장에 기여할 수 있을 것으로 기대한다.

기술 문헌 분석 테스트베드 툴킷 개발 (Developing a Test-Bed Toolkit for Scientific Document Analysis)

  • 최성필;송사광;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제12권8호
    • /
    • pp.13-19
    • /
    • 2012
  • 본 논문은 논문, 특허, 연구보고서 등과 같은 다양한 과학 기술 문헌에 포함된 기술 지식을 효과적으로 추출하는데 필요한 텍스트 분석 엔진들의 효과적인 모니터링 및 성능 최적화를 위한 테스트베드 도구를 소개한다. 이 도구는 과학 기술 분야의 전문 용어를 비롯한 인명, 지명, 기관명 등을 자동으로 인식하는 기술 개체 인식 엔진을 위한 테스트베드와 인식된 기술 개체 간의 의미적 연관 관계를 자동으로 추출하는 기술개체 간 관계 추출 테스트베드로 구성되어 있다. 이를 활용함으로써 사용자 및 개발자들은 기술 문헌 분석 엔진의 실행 모니터링은 물론 오류 분석을 효율적으로 수행할 수 있다.

Bidirectional Dynamic LSTM 을 이용한 음절 단위 개체명 추출 및 자동화된 말뭉치 구축 (Syllables-based Named Entity Extraction and Automatic Corpus Construction using Bidirectional Dynamic LST)

  • 오성식;임창대;안기호;박외진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.317-320
    • /
    • 2017
  • 개체명 인식은 자연어 문장에서 장소, 제작물, 사람 등 분류를 통한 의미 부여가 가능한 단어를 파악하는 기술로서 의미 분석을 위한 핵심 기술이다. 현재 많은 개체명 분석 관련 연구들은 형태소 분석 결과에 의존적인 형태를 갖고 있어서, 형태소 분석 결과의 정확성이 개체명 분석 결과의 성능에 영향을 미치고 있다. 본 연구에서는 형태소 분석 과정을 거치지 않는 음절 기반의 개체명 분석 기술을 제안하여 형태소 분석의 정확도가 낮은 통신어, 신조어 분석 성능을 향상하였다. 또한, 자동화된 방법으로 음절 단위 개체명 말뭉치 및 개체명 사전을 구축하는 프로세스를 정의하여 개체명 분석의 정확도 향상 및 인지 범주의 확대를 도모하였다. 본 연구에서 제안한 개체명 인식 기술은 한국어 개체명 표준에 기반한 129가지의 개체명 분류가 가능하며, 이는 자연어 처리 기술이 필요한 산업계에서 상용화하는데 큰 기여를 할 것으로 판단된다.

  • PDF

의료 문헌에서의 절차적 지식 추출을 위한 단위 절차 추출 연구 (Procedural Entity Extraction for Procedural Knowledge on Medline Abstracts)

  • 송사광;오흥선;최윤정;장혜주;맹성현;최성필;최윤수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.154-157
    • /
    • 2011
  • 본 연구는 2인의 전문의와 함께 의료 문헌의 초록을 분석하여 의료문서에서의 절차적 지식을 모델링하고 텍스트 마이닝 기법을 적용하여 절차적 지식을 추출하는 방법론에 대해 기술한다. 절차적 지식은 목적과 해법의 묶음으로, 해법은 다시 단위 절차 지식의 네트워크로 정의 하였고, 목적과 해법 정보 추출과 단위 절차 지식의 구성요소인 대상/행위/방법 개체를 인식하기 위해, 품사태깅, 구문분석, 술어-논항구조(Predicate-Argument Structure), 온톨로지 용어 매핑 정보 등에 기반한 기계학습 방법을 사용하였다. 실험을 위해 전문의와 함께 위함과 척추질환에 대한 1309 문서에 절차적 지식 태깅을 수행하였고, 이 문서 집합을 기반으로 목적/해법 추출 작업과 단위 절차 지식(대상질병/행위/적용방법) 추출 실험을 수행하여, 각각 82% 와 63%의 F-measure 값을 얻을 수 있었다.

An Evaluation of Applying Knowledge Base to Academic Information Service

  • Lee, Seok-Hyoung;Kim, Hwan-Min;Choe, Ho-Seop
    • International Journal of Knowledge Content Development & Technology
    • /
    • 제3권1호
    • /
    • pp.81-95
    • /
    • 2013
  • Through a series of precise text handling processes, including automatic extraction of information from documents with knowledge from various fields, recognition of entity names, detection of core topics, analysis of the relations between the extracted information and topics, and automatic inference of new knowledge, the most efficient knowledge base of the relevant field is created, and plans to apply these to the information knowledge management and service are the core requirements necessary for intellectualization of information. In this paper, the knowledge base, which is a necessary core resource and comprehensive technology for intellectualization of science and technology information, is described and the usability of academic information services using it is evaluated. The knowledge base proposed in this article is an amalgamation of information expression and knowledge storage, composed of identifying code systems from terms to documents, by integrating terminologies, word intelligent networks, topic networks, classification systems, and authority data.

국방 기사 데이터를 이용한 맞춤형 정보 분석 시스템 (Customized Information Analysis System Using National Defense News Data)

  • 최중환;임채오
    • 한국콘텐츠학회논문지
    • /
    • 제10권12호
    • /
    • pp.457-465
    • /
    • 2010
  • 맞춤형 정보 분석 시스템이란 정형화 되어 있지 않은 자연어 텍스트에서 유용한 정보를 추출하고 고객이 요구하는 맞춤형 정보로 가공하여, 미래를 예측하거나 추론하는데 도움을 주는 시스템을 말한다. 이러한 정보 분석 시스템을 구현하기 위해서는 자연어를 분석하는 자연어 처리 기술과 텍스트에서 필요한 개체와 그것들의 관계를 찾아내는 정보 추출 기술, 추출한 데이터로부터 알려지지 않은 새로운 정보를 찾아 내는 데이터 마이닝 기술이 필요하다. 본 논문에서는 국방 기사 데이터를 대상으로 맞춤형 정보 분석을 수행하는 가상의 시스템을 제안하고, 정보 분석을 위한 기반 기술들을 소개한다.

의존 구문 분석을 이용한 질의 기반 정답 추출 (Query-based Answer Extraction using Korean Dependency Parsing)

  • 이도경;김민태;김우주
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.161-177
    • /
    • 2019
  • 질의응답 시스템은 크게 사용자의 질의를 분석하는 방법인 질의 분석과 문서 내에서 적합한 정답을 추출하는 방법인 정답 추출로 이루어지며, 두 방법에 대한 다양한 연구들이 진행되고 있다. 본 연구에서는 문장의 의존 구문 분석 결과를 이용하여 질의응답 시스템 내 정답 추출의 성능 향상을 위한 연구를 진행한다. 정답 추출의 성능을 높이기 위해서는 문장의 문법적인 정보를 정확하게 반영할 필요가 있다. 한국어의 경우 어순 구조가 자유롭고 문장의 구성 성분 생략이 빈번하기 때문에 의존 문법에 기반한 의존 구문 분석이 적합하다. 기존에 의존 구문 분석을 질의응답 시스템에 반영했던 연구들은 구문 관계 정보나 구문 형식의 유사도를 정의하는 메트릭을 사전에 정의해야 한다는 한계점이 있었다. 또 문장의 의존 구문 분석 결과를 트리 형태로 표현한 후 트리 편집 거리를 계산하여 문장의 유사도를 계산한 연구도 있었는데 이는 알고리즘의 연산량이 크다는 한계점이 존재한다. 본 연구에서는 구문 패턴에 대한 정보를 사전에 정의하지 않고 정답 후보 문장을 그래프로 나타낸 후 그래프 정보를 효과적으로 반영할 수 있는 Graph2Vec을 활용하여 입력 자질을 생성하였고, 이를 정답 추출모델의 입력에 추가하여 정답 추출 성능 개선을 시도하였다. 의존 그래프를 생성하는 단계에서 의존 관계의 방향성 고려 여부와 노드 간 최대 경로의 길이를 다양하게 설정하며 자질을 생성하였고, 각각의 경우에 따른 정답추출 성능을 비교하였다. 본 연구에서는 정답 후보 문장들의 신뢰성을 위하여 웹 검색 소스를 한국어 위키백과, 네이버 지식백과, 네이버 뉴스로 제한하여 해당 문서에서 기존의 정답 추출 모델보다 성능이 향상함을 입증하였다. 본 연구의 실험을 통하여 의존 구문 분석 결과로 생성한 자질이 정답 추출 시스템 성능 향상에 기여한다는 것을 확인하였고 해당 자질을 정답 추출 시스템뿐만 아니라 감성 분석이나 개체명 인식과 같은 다양한 자연어 처리 분야에 활용 될 수 있을 것으로 기대한다.

GSIS를 이용한 입지선정에 있어 퍼지공간중첩기법의 적용에 관한 연구 (The application of fuzzy spatial overlay method to the site selection using GSIS)

  • 임승현;조기성
    • 한국측량학회지
    • /
    • 제17권2호
    • /
    • pp.177-187
    • /
    • 1999
  • 현재까지 GSIS를 이용하는 많은 응용분야에서 각종 공간자료의 추출 및 분석을 위해 벡터형 공간중첩(spatial overay)이나 격자형 공간연산(spatial algebra)기능이 주로 사용되었다. 하지만 이런 방법에 내재하고 있는 개념은 전통적인 보통집합이론에 근거하고 있기 때문에 많은 종류의 공간자료들이 구간설정에 있어서 예리한 경계로 분할되는 것으로 다루어지고 있다. 이것은 현실 세계에 존재하는 실제 자료들의 공간분포패턴과 일치하지 않는다. 즉, 공간상에 일정영역이나 실체들이 오직 한가지 속성으로 한정되는(one-entity-one-value)오류를 그대로 포함하고 있다. 본 연구는 이러한 보통집합의 개념하에서 공간자료를 다루어 왔던 종래의 방식을 개선하기 위해서 공간자료가 지니는 모호함 내지 경계의 애매성을 잘 표현할 수 있는 퍼지집합의 개념을 두 가지 방법을 통해 공간중첩과정에 도입하였다. 첫 번째 방법은 공간적으로 연속성을 갖는 자료에 대해서 퍼지부분집합에 의한 퍼지구간분할법이며, 두 번째 방법은 범주형 자료에 대해서 적용한 퍼지경계집합법이다. 사례연구로서 신시가지 개발입지선정을 위한 적지분석을 수행을 함으로서 기존의 부울분석방법과 퍼지 공간 중첩법의 결과를 비교하였으며 그 결과, 퍼지공간중첩법에 의한 적합도면이 신시가지 개발입지에 대한 보다 타당성 있는 정보를 제공하며, 더불어 정보표현측면에서도 더욱 적절한 형태임을 알 수 있었다.

  • PDF

도로분야 IFC 확장을 위한 도로시설의 구성요소 도출 (Extraction of Road Structure Elements for Developing IFC(Industry Foundation Classes) Model for Road)

  • 문현석;최원식;강인석;나혜숙
    • 한국산학기술학회논문지
    • /
    • 제15권2호
    • /
    • pp.1195-1203
    • /
    • 2014
  • 최근 표준으로 등록된 IFC(Industry Foundation Classes)4는 건축시설의 형상요소 표현에 한정될 뿐 도로, 교량 및 터널 등의 토목시설에 대한 형상표준을 정의하고 있지 않아 여전히 토목 형상모델의 교환을 위한 상호운용성에 제약이 있다. 특히 도로시설은 중심선형에 따라 모델링되는 선형적 특성을 가지며, 프로젝트 별로 형상이 서로 상이하여 표준화된 도로정보모델을 구축하는 것이 곤란하다. 따라서 본 연구에서는 도로의 형상정보모델 개발을 위해 3차원 설계 프로세스 관점에서 도로를 구성하는 구조요소 및 속성을 도출하는 것이 목적이다. 이를 위해 본 연구는 도로설계를 위해 활용되는 도로설계편람, 지침, 시방서 및 기하설계 기준 등의 정보를 분석하여 도로 구조물의 형상 요소와 속성을 추출한다. 도출된 형상은 엔티티(Entity) 항목으로 정의하고 가상 도로모델을 통해 정의된 도로 형상모델의 위계구조를 검토한다. 도출된 도로의 세부 구조 요소 및 속성은 인프라 분야의 BIM(Building Information Modeling)환경을 구축하기 위한 3차원 형상정보로 활용되며, 도로의 구체적인 형상, 타입 및 속성을 세분화하여 도로분야의 IFC로 확장하기 위한 기초자료로 활용될 것으로 기대된다.