• 제목/요약/키워드: Automated text analysis

검색결과 39건 처리시간 0.022초

공간 정보와 투영 프로파일을 이용한 문서 영상에서의 타이틀 영역 추출 (Automatic Title Detection by Spatial Feature and Projection Profile for Document Images)

  • 박효진;김보람;김욱현
    • 융합신호처리학회논문지
    • /
    • 제11권3호
    • /
    • pp.209-214
    • /
    • 2010
  • 본 논문은 형태 처리기법과 연결요소 분석을 이용한 문서 영상의 분할과 구조적인 특징과 투영 프로파일 분석을 이용하여 문서영상에서 제목영역 추출방안을 제안한다. 문서 영상의 처리는 영상 분할과 제목 추출, 두 단계로 이루어진다. 영상 분할의 단계에서는 문서 영상을 구성요소 영역들로 나눈다. 영상 분할이 끝나면 분할된 영역들을 대상으로 구조적인 정보를 이용하여 제목이 될 후보 영역을 추출한다. 제목이 아닌 영역을 제거하여 제목 후보영역을 추출하고 난 후 투영 프로파일을 분석하여 제목 영역을 최종적으로 추출한다. 본 논문에서 제시된 투영 프로파일 분석을 이용한 제목 추출 방법은 다양한 문서 영상의 분할 및 제목 추출 결과를 보였으며, 문서 제목 인식, 멀티미디어 데이터 검색, 실시간 영상처리와 같은 다양한 응용분야에 활용될 것으로 기대된다.

Currents in Integrative Biochip Informatics

  • Kim, Ju-Han
    • 한국생물정보학회:학술대회논문집
    • /
    • 한국생물정보시스템생물학회 2001년도 제2회 생물정보 워크샵 (DNA Chip Bioinformatics)
    • /
    • pp.1-9
    • /
    • 2001
  • scale genomic and postgenomic data means that many of the challenges in biomedical research are now challenges in computational sciences and information technology. The informatics revolutions both in clinical informatics and bioinformatics will change the current paradigm of biomedical sciences and practice of clinical medicine, including diagnostics, therapeutics, and prognostics. Postgenome informatics, powered by high throughput technologies and genomic-scale databases, is likely to transform our biomedical understanding forever much the same way that biochemistry did a generation ago. In this talk, 1 will describe how these technologies will in pact biomedical research and clinical care, emphasizing recent advances in biochip-based functional genomics. Basic data preprocessing with normalization and filtering, primary pattern analysis, and machine teaming algorithms will be presented. Issues of integrated biochip informatics technologies including multivariate data projection, gene-metabolic pathway mapping, automated biomolecular annotation, text mining of factual and literature databases, and integrated management of biomolecular databases will be discussed. Each step will be given with real examples from ongoing research activities in the context of clinical relevance. Issues of linking molecular genotype and clinical phenotype information will be discussed.

  • PDF

재무분야 감성사전 구축을 위한 자동화된 감성학습 알고리즘 개발 (Developing the Automated Sentiment Learning Algorithm to Build the Korean Sentiment Lexicon for Finance)

  • 조수지;이기광;양철원
    • 산업경영시스템학회지
    • /
    • 제46권1호
    • /
    • pp.32-41
    • /
    • 2023
  • Recently, many studies are being conducted to extract emotion from text and verify its information power in the field of finance, along with the recent development of big data analysis technology. A number of prior studies use pre-defined sentiment dictionaries or machine learning methods to extract sentiment from the financial documents. However, both methods have the disadvantage of being labor-intensive and subjective because it requires a manual sentiment learning process. In this study, we developed a financial sentiment dictionary that automatically extracts sentiment from the body text of analyst reports by using modified Bayes rule and verified the performance of the model through a binary classification model which predicts actual stock price movements. As a result of the prediction, it was found that the proposed financial dictionary from this research has about 4% better predictive power for actual stock price movements than the representative Loughran and McDonald's (2011) financial dictionary. The sentiment extraction method proposed in this study enables efficient and objective judgment because it automatically learns the sentiment of words using both the change in target price and the cumulative abnormal returns. In addition, the dictionary can be easily updated by re-calculating conditional probabilities. The results of this study are expected to be readily expandable and applicable not only to analyst reports, but also to financial field texts such as performance reports, IR reports, press articles, and social media.

문자열 정보를 활용한 텍스트 마이닝 기반 악성코드 분석 기술 연구 (Research on text mining based malware analysis technology using string information)

  • 하지희;이태진
    • 인터넷정보학회논문지
    • /
    • 제21권1호
    • /
    • pp.45-55
    • /
    • 2020
  • 정보 통신 기술의 발달로 인해 매년 신종/변종 악성코드가 급격히 증가하고 있으며 최근 사물 인터넷과 클라우드 컴퓨팅 기술의 발전으로 다양한 형태의 악성코드가 확산되고 있는 추세이다. 본 논문에서는 운영체제 환경에 관계없이 활용 가능하며 악성행위와 관련된 라이브러리 호출 정보를 나타내는 문자열 정보를 기반으로 한 악성코드 분석 기법을 제안한다. 공격자는 기존 코드를 활용하거나 자동화된 제작 도구를 사용하여 악성코드를 손쉽게 제작할 수 있으며 생성된 악성코드는 기존 악성코드와 유사한 방식으로 동작하게 된다. 악성 코드에서 추출 할 수 있는 대부분의 문자열은 악성 동작과 밀접한 관련이 있는 정보로 구성되어 있기 때문에 텍스트 마이닝 기반 방식을 활용하여 데이터 특징에 가중치를 부여해 악성코드 분석을 위한 효과적인 Feature로 가공한다. 가공된 데이터를 기반으로 악성여부 탐지와 악성 그룹분류에 대한 실험을 수행하기 위해 다양한 Machine Learning 알고리즘을 이용해 모델을 구축한다. 데이터는 Windows 및 Linux 운영체제에 사용되는 파일 모두에 대해 비교 및 검증하였으며 악성탐지에서는 약93.5%의 정확도와 그룹분류에서는 약 90%의 정확도를 도출하였다. 제안된 기법은 악성 그룹을 분류시 각 그룹에 대한 모델을 구축할 필요가 없기 때문에 단일 모델로서 비교적 간단하고 빠르며 운영체제와 독립적이므로 광범위한 응용 분야를 가진다. 또한 문자열 정보는 정적분석을 통해 추출되므로 코드를 직접 실행하는 분석 방법에 비해 신속하게 처리가능하다.

주관적 웰빙 상태 측정을 위한 비정형 데이터의 상황기반 긍부정성 분석 방법 (Analyzing Contextual Polarity of Unstructured Data for Measuring Subjective Well-Being)

  • 최석재;송영은;권오병
    • 지능정보연구
    • /
    • 제22권1호
    • /
    • pp.83-105
    • /
    • 2016
  • 의료IT 서비스의 유망 분야인 정신건강 증진을 위한 주관적 웰빙 서비스(subjective well-being service) 구현의 핵심은 개인의 주관적 웰빙 상태를 정확하고 무구속적이며 비용 효율적으로 측정하는 것인데 이를 위해 보편적으로 사용되는 설문지에 의한 자기보고나 신체부착형 센서 기반의 측정 방법론은 정확성은 뛰어나나 비용효율성과 무구속성에 취약하다. 비용효율성과 무구속성을 보강하기 위한 온라인 텍스트 기반의 측정 방법은 사전에 준비된 감정어 어휘만을 사용함으로써 상황에 따라 감정어로 볼 수 있는 이른바 상황적 긍부정성(contextual polarity)을 고려하지 못하여 측정 정확도가 낮다. 한편 기존의 상황적 긍부정성을 활용한 감성분석으로는 주관적 웰빙 상태인 맥락에서의 감성분석을 할 수 있는 감정어휘사전이나 온톨로지가 구축되어 있지 않다. 더구나 온톨로지 구축도 매우 노력이 소요되는 작업이다. 따라서 본 연구의 목적은 온라인상에 사용자의 의견이 표출된 비정형 텍스트로부터 주관적 웰빙과 관련한 상황감정어를 추출하고, 이를 근거로 상황적 긍부정성 파악의 정확도를 개선하는 방법을 제안하는 것이다. 기본 절차는 다음과 같다. 먼저 일반 감정어휘사전을 준비한다. 본 연구에서는 가장 대표적인 디지털 감정어휘사전인 SentiWordNet을 사용하였다. 둘째, 정신건강지수를 동적으로 추정하는데 필요한 비정형 자료인 Corpora를 온라인 서베이로 확보하였다. 셋째, Corpora로부터 세 가지 종류의 자원을 확보하였다. 넷째, 자원을 입력변수로 하고 특정 정신건강 상태의 지수값을 종속변수로 하는 추론 모형을 구축하고 추론 규칙을 추출하였다. 마지막으로, 추론 규칙으로 정신건강 상태를 추론하였다. 본 연구는 감정을 분석함에 있어, 기존의 연구들과 달리 상황적 감정어를 적용하여 특정 도메인에 따라 다양한 감정 어휘를 파악할 수 있다는 점에서 독창성이 있다.

알고리즘 기반의 개인화된 카드뉴스 생성 시스템 연구 (A Research on Developing a Card News System based on News Generation Algorithm)

  • 김동환;이상혁;오종환;김준석;박성민;최우빈;이준환
    • 한국멀티미디어학회논문지
    • /
    • 제23권2호
    • /
    • pp.301-316
    • /
    • 2020
  • Algorithm journalism refers to the practices of automated news generation using algorithms that generate human sounding narratives. Algorithm journalism is known to have strengths in automating repetitive tasks through rapid and accurate analysis of data, and has been actively used in news domains such as sports and finance. In this paper, we propose an interactive card news system that generates personalized local election articles in 2018. The system consists of modules that collects and analyzes election data, generates texts and images, and allows users to specify their interests in the local elections. When a user selects interested regions, election types, candidate names, and political parties, the system generates card news according to their interest. In the study, we examined how personalized card news are evaluated in comparison with text and card news articles by human journalists, and derived implications on the potential use of algorithm in reporting political events.

흙토람 데이터베이스를 활용한 작물 모델의 토양입력자료 생성 (Preparation of Soil Input Files to a Crop Model Using the Korean Soil Information System)

  • 유병현;김광수
    • 한국농림기상학회지
    • /
    • 제19권3호
    • /
    • pp.174-179
    • /
    • 2017
  • 토양 변수는 작물 모형을 통한 기후변화 시나리오 조건에서의 작황 예측에 있어 중요한 환경적 요소이다. 토양 환경 정보 시스템 (Korean Soil Information System; KSIS)에서는 390 개의 토양통에 대한 자세한 정보를 제공하고 있다. 그러나, 이러한 토양 정보는 HTML (Hyper Text Markup Language) 문서 형식으로 제공되고 있어 작물 모형용 토양입력 자료로 변환하는 데에 어려움이 있다. 이에 따라 KSIS의 토양정보를 기반으로 작물모델의 토양 입력자료를 생산하는 도구인 Korean Soil Information System Processing Tool (KSISPT) 를 개발하였다. 이 도구는 객체 지향 프로그래밍 언어인 JAVA로 작성되었으며 여러 개의 모듈로 구성되었다. 이 모듈들을 통해 각각 KSIS 웹 페이지 문서 분석, 토양 자료 저장, 추가 변수 생성, 토양 입력자료 출력 등의 기능이 구현되었다. 각 토양통의 특성을 고려한 총 940여개의 토양 입력 자료가 생성되었다. 이 토양 자료를 KSIS에서 제공하는 30m 해상도의 토양통 공간적 분포 지도와 함께 활용된다면, 미래 기후 조건에서 작물 생산성의 시공간적 분석이 용이해지고 이를 기반으로 기후 변화 적응 대책수립에 도움을 줄 수 있을 것이다.

문서 요약 기법이 가짜 뉴스 탐지 모형에 미치는 영향에 관한 연구 (A Study on the Effect of the Document Summarization Technique on the Fake News Detection Model)

  • 심재승;원하람;안현철
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.201-220
    • /
    • 2019
  • 가짜뉴스가 전세계적 이슈로 부상한 최근 수년간 가짜뉴스 문제 해결을 위한 논의와 연구가 지속되고 있다. 특히 인공지능과 텍스트 분석을 이용한 자동화 가짜 뉴스 탐지에 대한 연구가 주목을 받고 있는데, 대부분 문서 분류 기법을 이용한 연구들이 주를 이루고 있는 가운데 문서 요약 기법은 지금까지 거의 활용되지 않았다. 그러나 최근 가짜뉴스 탐지 연구에 생성 요약 기법을 적용하여 성능 개선을 이끌어낸 사례가 해외에서 보고된 바 있으며, 추출 요약 기법 기반의 뉴스 자동 요약 서비스가 대중화된 현재, 요약된 뉴스 정보가 국내 가짜뉴스 탐지 모형의 성능 제고에 긍정적인 영향을 미치는지 확인해 볼 필요가 있다. 이에 본 연구에서는 국내 가짜뉴스에 요약 기법을 적용했을 때 정보 손실이 일어나는지, 혹은 정보가 그대로 보전되거나 혹은 잡음 제거를 통한 정보 획득 효과가 발생하는지 알아보기 위해 국내 뉴스 데이터에 추출 요약 기법을 적용하여 '본문 기반 가짜뉴스 탐지 모형'과 '요약문 기반 가짜뉴스 탐지 모형'을 구축하고, 다수의 기계학습 알고리즘을 적용하여 두 모형의 성능을 비교하는 실험을 수행하였다. 그 결과 BPN(Back Propagation Neural Network)과 SVM(Support Vector Machine)의 경우 큰 성능 차이가 발생하지 않았지만 DT(Decision Tree)의 경우 본문 기반 모델이, LR(Logistic Regression)의 경우 요약문 기반 모델이 다소 우세한 성능을 보였음을 확인하였다. 결과를 검증하는 과정에서 통계적으로 유의미한 수준으로는 요약문 기반 모델과 본문 기반 모델간의 차이가 확인되지는 않았지만, 요약을 적용하였을 경우 가짜뉴스 판별에 도움이 되는 핵심 정보는 최소한 보전되며 LR의 경우 성능 향상의 가능성이 있음을 확인하였다. 본 연구는 추출요약 기법을 국내 가짜뉴스 탐지 연구에 처음으로 적용해 본 도전적인 연구라는 점에서 의의가 있다. 하지만 한계점으로는 비교적 적은 데이터로 실험이 수행되었다는 점과 한 가지 문서요약기법만 사용되었다는 점을 제시할 수 있다. 향후 대규모의 데이터에서도 같은 맥락의 실험결과가 도출되는지 검증하고, 보다 다양한 문서요약기법을 적용해 봄으로써 요약 기법 간 차이를 규명하는 확장된 연구가 추후 수행되어야 할 것이다.

효과적인 글자 분리 방법을 사용한 네이버 캡차 공격 (Analysis of Naver CAPTCHA with Effective Segmentation)

  • 양대헌;최용헌;홍석준;이경희
    • 정보보호학회논문지
    • /
    • 제23권5호
    • /
    • pp.909-917
    • /
    • 2013
  • 웹 서비스를 이용하는 대상이 사람인지 아닌지를 구분하기 위해 주로 사용되는 캡차는 초기 단순한 문자열을 보고 입력하는 것을 시작으로 계속하여 발전해왔다. 지금까지 다양한 종류의 캡차가 제안되었으나 아직까지는 대부분의 사이트에서 편의상 간단한 문자 기반의 캡차가 널리 쓰이고 있다. 이 논문에서는 한국에서 검색을 하는 사용자 중 70%이상이 이용하는 네이버에서 사용하고 있는 캡차를 새로운 글자 분리 방법을 이용해 공격함으로써 해당 캡차의 취약성을 검증해 보았다. 실험 결과, 총 1000번 중 938번을 성공해서, 네이버의 캡차 방식이 논문에서 제시된 공격에 의해 안전하지 않음을 입증하였다.

Standard-based Integration of Heterogeneous Large-scale DNA Microarray Data for Improving Reusability

  • Jung, Yong;Seo, Hwa-Jeong;Park, Yu-Rang;Kim, Ji-Hun;Bien, Sang Jay;Kim, Ju-Han
    • Genomics & Informatics
    • /
    • 제9권1호
    • /
    • pp.19-27
    • /
    • 2011
  • Gene Expression Omnibus (GEO) has kept the largest amount of gene-expression microarray data that have grown exponentially. Microarray data in GEO have been generated in many different formats and often lack standardized annotation and documentation. It is hard to know if preprocessing has been applied to a dataset or not and in what way. Standard-based integration of heterogeneous data formats and metadata is necessary for comprehensive data query, analysis and mining. We attempted to integrate the heterogeneous microarray data in GEO based on Minimum Information About a Microarray Experiment (MIAME) standard. We unified the data fields of GEO Data table and mapped the attributes of GEO metadata into MIAME elements. We also discriminated non-preprocessed raw datasets from others and processed ones by using a two-step classification method. Most of the procedures were developed as semi-automated algorithms with some degree of text mining techniques. We localized 2,967 Platforms, 4,867 Series and 103,590 Samples with covering 279 organisms, integrated them into a standard-based relational schema and developed a comprehensive query interface to extract. Our tool, GEOQuest is available at http://www.snubi.org/software/GEOQuest/.