• 제목/요약/키워드: text extraction

검색결과 459건 처리시간 0.028초

특허 문서 텍스트로부터의 기술 트렌드 탐지를 위한 언어 모델 및 단서 기반 기계학습 방법 (A Language Model and Clue based Machine Learning Method for Discovering Technology Trends from Patent Text)

  • 전영실;김영호;정윤재;류지희;맹성현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권5호
    • /
    • pp.420-429
    • /
    • 2009
  • 특허 문서는 과학기술 발전을 탐지하고 기존 트렌드를 이해함으로써 미래의 트렌드를 예측하는데 유용한 자원이다. 본 연구에서는 단위 기술을 "문제점"과 "해결방법"으로 구성되어 있다고 보고, 언어적 단서(linguistic clue)와 언어 모델(1anguage model)을 결합한 혼합 모델을 사용하여 이들에 해당하는 의미 핵심문구(semantic keyphrase)를 찾고, 의미 핵심문구로 표현되는 단위 기술을 추출하였다. 추출된 결과에 근거하여 비지도 학습(unsupervised learning) 방법으로 과학기술들의 트렌드를 발견하는 새로운 접근방법(Technological Trend Discovery, TTD)을 제안한다. 실험 결과에 따르면 본 연구에서 제안한 방법으로 과학 기술을 나타내는 의미적 핵심 문구를 추출하는데 77%의 R-정확률을 달성하였고 결과적으로 의미있는 과학기술 트렌드를 발견할 수 있었다.

휴대전화에서 단문 메시지로부터 일정 자동 등록 (Automatically Registering Schedules from SMS Messages on Handheld Devices)

  • 김재훈;김형철
    • 인지과학
    • /
    • 제22권1호
    • /
    • pp.1-18
    • /
    • 2011
  • 휴대전화가 대중에게 널리 보급됨에 따라, 단문 서비스(SMS)가 새로운 의사소통 수단으로 등장하고 있다. 단문 서비스는 가격이 저렴할 뿐 아니라 단문 메시지를 쉽게 저장할 수 있어 약속이나 일정 알림용으로 널리 사용된다. 본 논문은 단문 메시지로부터 일정 정보(시간과 장소)를 추출하여 자동으로 일정 관리 시스템에 등록하는 시스템을 개발한다. 단문 메시지는 짧고 간결하지만 비속어나 준말 등이 많이 사용된다. 이것이 일정 정보를 추출하는데 더욱 어렵게 한다. 또한 휴대전화에는 계산 능력과 저장 공간이 충분하지 못하므로 형태소 분석과 같은 일반적인 자연언어 처리 모듈을 그대로 사용하는 것은 다소 무리가 있다. 이 문제를 해결하기 위해서 본 논문에서는 형태소 분석과 같이 복잡한 언어 처리 모듈을 사용하지 않고 기계학습 기반으로 일정 정보를 추출하고 추출된 정보를 휴대전화의 일정 관리 시스템에 등록한다. 본 논문에서 제안된 자동 일정 등록 시스템은 삼성전자 옴니아 휴대전화에 탑재되어 정상적으로 잘 동작함을 확인할 수 있었다.

  • PDF

Attention-long short term memory 기반의 화자 임베딩과 I-vector를 결합한 원거리 및 잡음 환경에서의 화자 검증 알고리즘 (Speaker verification system combining attention-long short term memory based speaker embedding and I-vector in far-field and noisy environments)

  • 배아라;김우일
    • 한국음향학회지
    • /
    • 제39권2호
    • /
    • pp.137-142
    • /
    • 2020
  • 문장 종속 짧은 발화에서 문장 독립 긴 발화까지 다양한 환경에서 I-vector 특징에 기반을 둔 많은 연구가 수행되었다. 본 논문에서는 원거리 잡음 환경에서 녹음한 데이터에서 Probabilistic Linear Discriminant Analysis(PLDA)를 적용한 I-vector와 주의 집중 기법을 접목한 Long Short Term Memory(LSTM) 기반의 화자 임베딩을 추출하여 결합한 화자 검증 알고리즘을 소개한다. LSTM 모델의 Equal Error Rate(EER)이 15.52 %, Attention-LSTM 모델이 8.46 %로 7.06 % 성능이 향상되었다. 이로써 본 논문에서 제안한 기법이 임베딩을 휴리스틱 하게 정의하여 사용하는 기존 추출방법의 문제점을 해결할 수 있는 것을 확인하였다. PLDA를 적용한 I-vector의 EER이 6.18 %로 결합 전 가장 좋은 성능을 보였다. Attention-LSTM 기반 임베딩과 결합하였을 때 EER이 2.57 %로 기존보다 3.61 % 감소하여 상대적으로 58.41 % 성능이 향상되었다.

고차 통계를 이용한 잡음 환경에서의 화자식별 (Speaker Identification Using Higher-Order Statistics In Noisy Environment)

  • 신태영;김기성;권영욱;김형순
    • 한국음향학회지
    • /
    • 제16권6호
    • /
    • pp.25-35
    • /
    • 1997
  • 음성 신호 처리에 널리사용되어 온 2차 통계에 의한 음성 분석 방법은 잡음 환경에서 성능이 크게 저하되는 단점을 지닌다. 이에 반하여 고차 통계 방법은 Gaussian 잡음 등을 억제하는 특성을 가지고 있어서 잡음 환경에 상대적으로 강인한 음성 특징 추출을 가능하게 한다. 본 논문에서는 고차 통계에 의한 음성 분석 방법을 이용하여 백색 및 유색 잡음 환경에서의 문맥 독립형(text-independent) 화자식별 시스템을 제안하고, 기존의 2차 통계에 의한 방식과 성능을 비교하였다. 본 논문에서의 화자식별 시스템은 벡터 양자화 방법에 기반을 두고 있으며, 고차 통계 방법에 의한 유성음/무성음 판별을 통해 non-Gaussian 특징을 가지면서도 화자 정보가 집중되어 있는 유성음 부분에 대해서만 음성 특징을 추출하여 인식에 사용하였다. 50명의 화자를 대상으로 한 화자식별 실험 결과, 고차 통계 방법이 2차 통계에 의한 방법보다 잡음 환경에서 상대적으로 우수한 인식 성능을 나타냄을 확인하였다.

  • PDF

문장 내 영 조응어 해석을 위한 영대명사의 조응성 결정 (Anaphoricity Determination of Zero Pronouns for Intra-sentential Zero Anaphora Resolution)

  • 김계성;박성배;박세영;이상조
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권12호
    • /
    • pp.928-935
    • /
    • 2010
  • 문서에서 생략된 요소가 지시하는 대상을 식별해 내는 작업은 기계 번역, 정보추출 등과 같은 자연언어처리 분야의 다양한 응용들을 위해 필요하다. 문장에서 생략된 요소들은 영조응사, 영대명사 등으로 불리며, 지시(reference)의 한 유형으로 간주되고 있지만, 모든 영형이 문서에서 명확하게 언급된 지시 대상을 지시하지는 않는다. 이에 영형의 조응성을 결정하려는 연구가 최근 진행되고 있으며, 본 논문에서는 한국어에서 가장 빈번하게 나타나는 영형 주어(subject zero pronouns)의 문장 내 조응성 결정에 초점을 맞춘다. 주어진 영형과 선행사 후보들 간의 쌍대 비교(pairwise comparison)에 기반한 기존 연구와 달리, 본 논문은 비조응적 혹은 문장 간에서 해결 가능한 영형이 나타난 절의 구조를 직접 학습함으로써 영형의 문장 내 조응성을 결정한다. 실험에서 제안한 방법은 베이스라인보다 나은 성능을 보였으며, 영형의 조응성 결정은 향후 영형 조응어 해석에 긍정적인 영향을 줄 수 있을 것으로 기대된다.

이미지 유사도를 이용한 와인라벨 인식 시스템 (Wine Label Recognition System using Image Similarity)

  • 정종문;양형정;김수형;이귀상;김선희
    • 한국콘텐츠학회논문지
    • /
    • 제11권5호
    • /
    • pp.125-137
    • /
    • 2011
  • 최근 휴대폰 카메라로 촬영한 영상을 입력으로 사용하는 시스템에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 와인라벨의 문자를 인식한 후, 데이터베이스내의 와인이미지들 중에서 입력 와인라벨 이미지와 유사한 순서대로 사용자에게 보여주는 시스템을 제안한다. 이미지의 유사도 계산을 위해 본 논문에서는 이미지의 각 영역별 대표색상, 텍스트 영역의 텍스트 색상과 배경색상, 그리고 특징점의 분포를 특징으로 사용한다. 이미지의 색상차를 계산하기 위해 RGB색상을 CIE-Lab색상으로 변환하여 사용하고, 특징점은 해리스코너 검출 알고리즘을 사용하여 추출한다. 각 셀의 대표 색상차와 텍스트 색상차 및 배경 색상차는 가중치를 적용하여 색상차 유사도를 계산하고 색상차 유사도와 특징점 분포 유사도를 정규화하여 최종 이미지 유사도를 구한다. 본 논문에서는 입력 이미지와 데이터베이스내의 이미지 간의 유사도를 계산하여 유사도 순으로 사용자에게 검색 결과를 보여줌으로써 검색 결과로부터 다시 최대 유사 와인라벨을 수동으로 찾는 노력을 줄일 수 있다.

시·공간 정보를 이용한 동영상의 인공 캡션 검출 (Detection of Artificial Caption using Temporal and Spatial Information in Video)

  • 주성일;원선희;최형일
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제1권2호
    • /
    • pp.115-126
    • /
    • 2012
  • 동영상에 포함되는 인공 캡션은 영상과 관계있는 의미정보를 포함한다. 이러한 영상을 표현하는 정보를 이용하기 위해 캡션을 추출하는 연구는 근래에 들어 활발히 진행되고 있다. 기존 방법들은 대부분 정지영상에서 캡션을 검출하였다. 하지만 동영상의 경우에는 유용한 시간정보가 있다. 따라서 본 연구는 이러한 시간정보를 사용한 캡션영역 검출방법을 제안한다. 먼저, 캡션후보영역 검출을 위해 문자출현맵을 생성하고, 후보영역 매칭 과정에서 지속후보영역을 검출한다. 검출된 지속후보영역의 소멸성 검사를 통해 캡션의 소멸 여부를 검출하고 소멸된 캡션 일 경우 시 공간정보에 의한 병합과정을 통해 캡션후보영역을 결정한다. 마지막으로 결정된 캡션후보영역을 검증하기 위하여 에지 방향 히스토그램을 이용한 신경망 인식기를 통하여 최종캡션영역을 검출한다. 실험을 위해 다양한 크기와 형태, 위치의 캡션을 포함하는 동영상에 대해 영역검출의 성능을 평가하고자 Recall과 Precision을 이용하여 제안하는 방법의 영역검출에 대한 효율성을 입증한다.

공백행의 중심점 추출에 의한 고속 문서 기울기 검출 (Fast Skew Detection of Document Images by Extraction of Center Points of Blank Lines)

  • 정재영;김문현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권11호
    • /
    • pp.1342-1349
    • /
    • 1999
  • 본 논문에서는 문서 내의 인접한 두 행 사이에는 일정한 두께의 공백 행이 존재하며 그 공백 행의 기울기는 실제 문서의 기울어진 정도를 반영한다는 사실에 기반하여, 선형적으로 기울어진 문서 영상의 기울기 추정을 위한 고속의 알고리즘을 제안한다. 먼저, 간단한 모폴로지 연산(dilation)을 이용하여 문자행 영역과 공백행 영역을 분리한 후, 이를 일정 간격으로 수직 샘플링하여 수직선 상에 있는 모든 공백행의 중심점(행간점)을 찾는다. 동일한 공백 행 상에 있는 인접한 두 행간점 간에 기울기를 계산하고, 전체 영상으로부터 이들의 분포를 조사하여 최대 빈도를 가지는 기울기를 입력 문서의 기울기로 추정한다. 실험에서는 제안한 알고리즘을 필기체 및 인쇄체를 포함하는 다양한 형태의 가로쓰기 문서에 적용한 결과를 보인다.Abstract In this paper, we propose a fast algorithm to estimate the skew angle of linearly skewed document images. This paper is based on the fact that there is a blank line with uniform thickness between two adjacent text lines and the slope of the line is the same as that of the document. Firstly, we apply a dilation operation to the image to separate blank lines from text lines, and we detect center points of blank lines along the vertically sampled lines. Then we calculate the slope between neighboring center points in the same blank line. Calculated slopes for the entire image are accumulated on the histogram to display the distribution of them. Finally, the peak in the histogram is detected and estimated as the slope of the document image. In the experiments, we adopted a lot of images of various format with hand-printed or machine-printed document to verify our algorithm.

범죄발생 위험요소와 연관된 SNS 데이터의 효율적 추출 방법에 관한 연구 (A study on the efficient extraction method of SNS data related to crime risk factor)

  • 이종훈;송기성;강진아;황정래
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.255-263
    • /
    • 2015
  • 본 연구에서는 매년 증가하는 범죄에 대한 예방 측면에서 범죄발생 위험요소에 관한 정보를 사전에 파악하고 범죄발생을 예방하기 위해 SNS 데이터를 활용하는 방안을 제시한다. 최근에 SNS(Social Network Service) 데이터는 다양한 분야에서 선제적 예방 대응체계를 구축하는데 활용됨에 따라 그 중요성 또한 점점 증가하고 있다. 하지만 SNS 데이터를 단순 키워드로 수집하는 경우 관련되지 않은 데이터가 다수 포함되어 정확도 저하와 데이터 분석에 혼란을 초래할 우려가 있다. 이에, SNS 데이터의 텍스트 마이닝 분석을 통해 범죄발생 위험요소의 검색 정확도를 향상시켜 효율적으로 추출할 수 있는 방안을 제시한다.

기계학습 알고리즘 기반 하자 정보 관리 시스템 개발 - 공동주택 전용부분을 중심으로 - (A Developing a Machine Leaning-Based Defect Data Management System For Multi-Family Housing Unit)

  • 박다슬;차희성
    • 한국건설관리학회논문집
    • /
    • 제24권5호
    • /
    • pp.35-43
    • /
    • 2023
  • 공동주택 하자 분쟁의 증가와 함께, 하자관리의 중요성 또한 커지고 있다. 그러나 기존의 연구는 '공용 부분'에 초점을 맞추어 진행되었다. 또한 하자관리의 주체인 '관리사무소'를 위한 시스템 연구도 부족한 실정이다. 이는 관리사무소의 하자관리 능력의 부족과 관리 품질의 저하를 초래한다. 따라서, 본 논문에서는 관리사무소를 위한 기계학습 기반의 하자 정보 관리 시스템을 제안한다. OCR과 NLP 모듈을 사용하여 관리상의 불편한 점을 해소하는 것을 목표로 한다. OCR을 통해 수기로 작성된 하자 정보를 디지털 문서로 변환한다. 이후 언어모델을 이용하여 사용자가 지정한 양식과 함께 하자 정보를 재생성한다. 최종적으로 생성된 텍스트를 데이터베이스에 저장하고 이를 기반으로 통계적 분석을 실행한다. 이러한 일련의 과정을 통해, 관리사무소의 하자관리 역량을 향상할 수 있도록 돕고, 의사결정을 지원할 수 있을 것으로 기대한다.