• 제목/요약/키워드: Korean parsing

검색결과 326건 처리시간 0.021초

국제입찰정보 통합시스템의 설계 및 구현 (The Integration System for International Procurement Information Processing)

  • 윤종완;이종우;박찬영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권1호
    • /
    • pp.71-81
    • /
    • 2002
  • 현존하는 상업용 웹 정보검색 시스템들이 전문성을 갖추지 못하고 있는 이유가 검색된 분야별 정보를 통합하고 가공하는 능력이 부족하기 때문이다. 따라서, 단순 검색이 아닌 실제 사용자가 원하는 웹상의 의미정보를 추출하고 가공/통합하는 정보통합시스템의 필요성이 대두되었다. 본 논문에서는 분산된 이질의 웹사이트들에서 제공되는 특정분야의 정보를 추출 및 통합하는 정보통합시스템(TIC: Target Information collector)을 구현하고, 구현된 시스템의 평가결과를 제시한다. 본 논문에서 대상으로 설정한 정보 영역은 국제입찰정보이다. 국제입찰정보는 전 세계 국가의 정부에서 필요로 하는 조달물품 및 서비스에 대한 공개 입찰자료이다. 본 논문에서는 전 세계의 국제입찰 정보 제공 원천 사이트에서 공통 특성 정보를 자동 추출하기 위해 HTML 태그간 패턴을 사용한 정보위치지정 방법을 사용하였으며, 정보추출 및 통합을 위한 프레임워크 설계를 통해 큰 부담 없이 모든 원천사이트별 정보추출 및 통합 코드를 작성할 수 있었다. 또한, 구현된 TIC을 약 8개월 동안 운영한 결과 매우 단순한 기법을 사용하고도 거의 대부분의 중복정보가 제거된 고품질의 국제입찰정보를 수집할 수 있음을 확인하였다. 본 논문이 기여하는 바는 특정 범주에 속하는 공통정보를 추출 및 통합/가공하는 데에 필요한 시스템 프레임워크를 제시했다는 점이다.

Protocol Monitor System Between Cortex M7 Based PLC And HMI

  • Kim, Ki-Su;Lee, Jong-Chan;Ha, Heon-Seong
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.17-23
    • /
    • 2020
  • 본 논문에서는 자동화 설비 장비의 HMI와 PLC간 RS232 통신 시에 발생하는 실시간 데이터 프레임의 수집을 위하여, 별도의 HMI 혹은 PLC의 수정 없이 MCU를 통하여 실시간 정보 데이터 프레임을 스니핑 함으로서, 사용자가 PLC, HMI 시스템의 수정 작업에 종속되지 않고 데이터를 수집할 수 있는 방법을 제안한다. 사용자는 스니핑 데이터로부터 파싱작업을 통하여 필요한 정보를 수집하고 해당 스니핑 프레임을 목적지로 송신함으로서 본래의 통신 인터페이스를 유지한다. RS232 통신규격으로 MCU의 UART통신 인터페이스 회로를 물리적으로 설계하고, 더불어 MCU내부 DMA장치를 사용함으로서 인터럽트기반 시스템 보다 효율을 개선한다. 또한 환형큐를 사용하여 DMA인터럽트 서비스 루틴의 작업과 메인 스레드의 작업을 논리적으로 분리함으로서 데이터 프레임 IO 작업 처리를 수행한다. 이 방법을 통하여, 사용자는 RS232 규격으로 HMI, PLC간 스니핑 데이터 프레임을 수신하고 PLC와 HMI 간의 프레임 전송이 원래의 목적지에 정상적으로 도착하며 PLC와 HMI의 추가적인 수정 없이 데이터 프레임을 스니핑 함으로서 사용자 시스템에 정상적으로 도착함을 확인할 수 있다.

베이지안 확률 및 폐쇄 순차패턴 마이닝 방식을 이용한 설명가능한 로그 이상탐지 시스템 (An Interpretable Log Anomaly System Using Bayesian Probability and Closed Sequence Pattern Mining)

  • 윤지영;신건윤;김동욱;김상수;한명묵
    • 인터넷정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.77-87
    • /
    • 2021
  • 인터넷과 개인용 컴퓨터가 발달하면서 다양하고 복잡한 공격들이 등장하기 시작했다. 공격들이 복잡해짐에 따라 기존에 사용하던 시그니처 기반의 탐지 방식으로 탐지가 어려워졌으며 이를 해결하기 위해 행위기반의 탐지를 위한 로그 이상탐지에 대한 연구가 주목 받기 시작했다. 최근 로그 이상탐지에 대한 연구는 딥러닝을 활용해 순서를 학습하는 방식으로 이루어지고 있으며 좋은 성능을 보여준다. 하지만 좋은 성능에도 불구하고 판단에 대한 근거를 제공하지 못한다는 한계점을 지닌다. 판단에 대한 근거 및 설명을 제공하지 못할 경우, 데이터가 오염되거나 모델 자체에 결함이 발생해도 이를 발견하기 어렵다는 문제점을 지닌다. 결론적으로 사용자의 신뢰성을 잃게 된다. 이를 해결하기 위해 본 연구에서는 설명가능한 로그 이상탐지 시스템을 제안한다. 본 연구는 가장 먼저 로그 파싱을 진행해 로그 전처리를 수행한다. 이후 전처리된 로그들을 이용해 베이지안 확률 기반 순차 규칙추출을 진행한다. 결과적으로 "If 조건 then 결과, 사후확률(θ)" 형식의 규칙집합을 추출하며 이와 매칭될 경우 정상, 매칭되지 않을 경우, 이상행위로 판단하게 된다. 실험으로는 HDFS 로그 데이터셋을 활용했으며, 그 결과 F1score 92.7%의 성능을 나타내었다.

은닉형 Vault 안티포렌식 앱 탐색을 위한 XML 기반 특징점 추출 방법론 연구 (A Study on the Feature Point Extraction Methodology based on XML for Searching Hidden Vault Anti-Forensics Apps)

  • 김대규;김창수
    • 인터넷정보학회논문지
    • /
    • 제23권2호
    • /
    • pp.61-70
    • /
    • 2022
  • 스마트폰 앱을 사용하는 일반 사용자들은 개인이 소유하고 있는 사진, 동영상 등 개인정보를 보호하기 위해 Vault 앱을 많이 사용하고 있다. 그러나 범죄자들은 불법 영상들을 은닉하기 위해 Vault 앱 기능을 안티포렌식 용도로 악용하는 사례가 증가하고 있다. 이러한 앱들은 구글 플레이에 정상적으로 등록된 매우 많은 앱들 중 하나이다. 본 연구는 범죄자들이 이용하고 있는 Vault 앱들을 탐색하기 위해 XML 기반의 핵심어 빈도 분석을 통해 특징점을 추출하는 방법론을 제안하며, 특징점 추출을 위해서는 텍스트마이닝 기법을 적용한다. 본 연구에서는 은닉형 Vault 안티포렌식 앱과 비은닉형 Vault 앱 각각 15개를 대상으로 앱에 포함된 strings.xml 파일을 활용하여 XML 구문을 비교 분석하였다. 은닉형 Vault 안티포렌식 앱에서는 불용어처리를 1차, 2차 거듭할수록 더 많은 은닉 관련 단어가 높은 빈도로 발견된다. 본 연구는 공학 기술적인 관점에서 APK 파일을 정적 분석하는 대부분의 기존 방식과는 다르게 인문사회학적인 관점에서 접근하여 안티포렌식 앱을 분류해내는 특징점을 찾아내었다는 것에 의의가 있다. 결론적으로 XML 구문 분석을 통해 텍스트마이닝 기법을 적용하면 은닉형 Vault 안티포렌식 앱을 탐색하기 위한 기초 자료로 활용할 수 있다.

통합된 비디오 인덱싱 방법을 이용한 내용기반 비디오 데이타베이스의 설계 및 구현 (Design and Implementation of Content-based Video Database using an Integrated Video Indexing Method)

  • 이태동;김민구
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권6호
    • /
    • pp.661-683
    • /
    • 2001
  • 오늘날 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 비디오 데이타베이스에 대한 효율적인 관리는 더욱 중요한 의미를 가지게 되었다. 그리고 초고속 정보통신망과 디지털 기술의 발전은 비디오 데이타를 통신 및 컴퓨터와 결합하여 새로운 멀티미디어로 발전하고 있으며, 인터넷 방송, 주문형 비디오(VOD) 등에 크게 활용하고 있다. 비디오는 대용량적인 특성과 비정형적인 특성을 가지고 있으므로 신속하고 효율적으로 비디오를 검색하기 위해 비디오의 정확한 특징정보를 추출하여 비디어 데이타베이스를 구축하여야 한다. 비디오 데이타베이스는 텍스트 기반의 전통 데이타베이스와는 다른 모델링 방법과 검색방법을 사용한다. 따라서, 비디오 데이타베이스에서의 검색속도와 정확도를 향상시키기 위해서는 새로운 비디오 데이타베이스 생성기법과 효율적인 검색기법이 필요하다. 본 논문에서는 비디오의 의미적 구조와 사전 제작지식정보를 구조적으로 축적할 수 있는 내용기반 비디오 데이타베이스의 구축 방안과 생성기법을 제시하였다. 그리고 제안된 비디오 데이타베이스의 구축 방안과 생성기법을 사용하여 새로운 인터넷 방송 프로그램 컨텐츠 제작에 활용할 수 있는 비디오 데이타베이스를 구현하였다. 이를 위해 비디오 분할과 대표키 프레임 추출 시 비디오의 의미적 구조와 사전 제작지식정보의 상호관계를 기반으로 하여 비디오 데이타의 특징정보를 추출하고, 검색할 수 있도록 주석기반 검색과 내용기반 검색을 통합한 비디오 인덱싱 방법을 제시하였다. 통합된 비디오 인덱싱 방법은 비디오의 하위 레벨에 표현된 내용기반 메타데이타 유형과 비디오의 특징정보 추출이 어려운 상위 레벨에 표현된 주석기반 메타데이타 유형을 동시에 이용하므로 컨텐츠 검색의 성능을 향상시킬 수 있다. 마지막으로 본 논문에서 제시한 비디오 데이타베이스는 비디오의 의미적 구조와 사전 제작지식정보를 구조적으로 축적하여 데이타베이스를 구축하므로 정확한 인터넷 방송 컨텐츠 정보의 축적관리와 구축작업의 효율화가 가능하며, 또한 인터넷 방송 컨텐츠 제작 시 정보공유 및 재이용이 가능하므로 새로운 컨텐츠 제작의 효율성을 높일 수 있다.

  • PDF

키워드 자동 생성에 대한 새로운 접근법: 역 벡터공간모델을 이용한 키워드 할당 방법 (A New Approach to Automatic Keyword Generation Using Inverse Vector Space Model)

  • 조원진;노상규;윤지영;박진수
    • Asia pacific journal of information systems
    • /
    • 제21권1호
    • /
    • pp.103-122
    • /
    • 2011
  • Recently, numerous documents have been made available electronically. Internet search engines and digital libraries commonly return query results containing hundreds or even thousands of documents. In this situation, it is virtually impossible for users to examine complete documents to determine whether they might be useful for them. For this reason, some on-line documents are accompanied by a list of keywords specified by the authors in an effort to guide the users by facilitating the filtering process. In this way, a set of keywords is often considered a condensed version of the whole document and therefore plays an important role for document retrieval, Web page retrieval, document clustering, summarization, text mining, and so on. Since many academic journals ask the authors to provide a list of five or six keywords on the first page of an article, keywords are most familiar in the context of journal articles. However, many other types of documents could not benefit from the use of keywords, including Web pages, email messages, news reports, magazine articles, and business papers. Although the potential benefit is large, the implementation itself is the obstacle; manually assigning keywords to all documents is a daunting task, or even impractical in that it is extremely tedious and time-consuming requiring a certain level of domain knowledge. Therefore, it is highly desirable to automate the keyword generation process. There are mainly two approaches to achieving this aim: keyword assignment approach and keyword extraction approach. Both approaches use machine learning methods and require, for training purposes, a set of documents with keywords already attached. In the former approach, there is a given set of vocabulary, and the aim is to match them to the texts. In other words, the keywords assignment approach seeks to select the words from a controlled vocabulary that best describes a document. Although this approach is domain dependent and is not easy to transfer and expand, it can generate implicit keywords that do not appear in a document. On the other hand, in the latter approach, the aim is to extract keywords with respect to their relevance in the text without prior vocabulary. In this approach, automatic keyword generation is treated as a classification task, and keywords are commonly extracted based on supervised learning techniques. Thus, keyword extraction algorithms classify candidate keywords in a document into positive or negative examples. Several systems such as Extractor and Kea were developed using keyword extraction approach. Most indicative words in a document are selected as keywords for that document and as a result, keywords extraction is limited to terms that appear in the document. Therefore, keywords extraction cannot generate implicit keywords that are not included in a document. According to the experiment results of Turney, about 64% to 90% of keywords assigned by the authors can be found in the full text of an article. Inversely, it also means that 10% to 36% of the keywords assigned by the authors do not appear in the article, which cannot be generated through keyword extraction algorithms. Our preliminary experiment result also shows that 37% of keywords assigned by the authors are not included in the full text. This is the reason why we have decided to adopt the keyword assignment approach. In this paper, we propose a new approach for automatic keyword assignment namely IVSM(Inverse Vector Space Model). The model is based on a vector space model. which is a conventional information retrieval model that represents documents and queries by vectors in a multidimensional space. IVSM generates an appropriate keyword set for a specific document by measuring the distance between the document and the keyword sets. The keyword assignment process of IVSM is as follows: (1) calculating the vector length of each keyword set based on each keyword weight; (2) preprocessing and parsing a target document that does not have keywords; (3) calculating the vector length of the target document based on the term frequency; (4) measuring the cosine similarity between each keyword set and the target document; and (5) generating keywords that have high similarity scores. Two keyword generation systems were implemented applying IVSM: IVSM system for Web-based community service and stand-alone IVSM system. Firstly, the IVSM system is implemented in a community service for sharing knowledge and opinions on current trends such as fashion, movies, social problems, and health information. The stand-alone IVSM system is dedicated to generating keywords for academic papers, and, indeed, it has been tested through a number of academic papers including those published by the Korean Association of Shipping and Logistics, the Korea Research Academy of Distribution Information, the Korea Logistics Society, the Korea Logistics Research Association, and the Korea Port Economic Association. We measured the performance of IVSM by the number of matches between the IVSM-generated keywords and the author-assigned keywords. According to our experiment, the precisions of IVSM applied to Web-based community service and academic journals were 0.75 and 0.71, respectively. The performance of both systems is much better than that of baseline systems that generate keywords based on simple probability. Also, IVSM shows comparable performance to Extractor that is a representative system of keyword extraction approach developed by Turney. As electronic documents increase, we expect that IVSM proposed in this paper can be applied to many electronic documents in Web-based community and digital library.