• 제목/요약/키워드: 문서구조추출

검색결과 334건 처리시간 0.03초

시맨틱 기술을 활용한 RESTful 웹서비스의 검색 기법 개발 (Development of Search Method using Semantic technologies about RESTful Web Services)

  • 차승준;최윤정;이규철
    • 한국공간정보시스템학회 논문지
    • /
    • 제12권1호
    • /
    • pp.100-104
    • /
    • 2010
  • 최근 웹 2.0의 등장과 함께 플랫폼으로의 웹이 강조되면서, SOAP 기반의 웹서비스에 비해 RESTful 웹서비스가 크게 증가하고 있다. 하지만 서비스들은 이미 많이 존재하며 빠르게 증가하기 때문에 키워드를 기반으로 사용자가 원하는 서비스를 정확하게 찾는 것은 어렵다. 본 논문에서는 이러한 문제를 해결하기 위해서 시맨틱을 활용한 RESTful 웹서비스 검색 기법을 개발하였다. 이를 위해 우선 OpenAPI 통합 검색 시스템을 바탕으로 시맨틱을 활용하기 위한 시스템 구조를 구성하고, 시맨틱 검색을 위한 기술 형식을 모델링하였다. 이를 바탕으로 의미 마크업(태깅, 시맨틱 어노테이션)을 수행하여, 추출된 결과인 RDF 문서를 서비스 저장소에 저장하여 이를 바탕으로 검색을 수행한다. 온톨로지를 활용하여 입력받은 키워드를 확장하고, 이를 바탕으로 검색을 수행하여 사용자에게 유사도 기반의 키워드 검색 기법에서의 검색 결과보다 확장 / 정제된 검색 결과를 제공한다.

감정분석과 오피니언 마이닝: 2007-2016 (Sentiment Analysis and Opinion Mining: literature analysis during 2007-2016)

  • 이가베;이효맹;유효문;강선경;이현창;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 춘계학술대회
    • /
    • pp.160-161
    • /
    • 2017
  • 감정 분석 및 의견 마이닝은 지난 15 년 동안 연구 분야가 등장하면서 사람들의 의견, 감정, 평가, 태도 및 감정을 글쓰기 언어의 광산 및 감정 분석 (OMSA)에서 분석하고 계산 방법론을 제공하는 분야입니다 주로 비 구조화 된 데이터를 처리하여 의견을 추출하고 그들의 감정을 파악합니다. 상대적으로 새롭지 만 빠르게 성장하는 연구 분야는이 기간 동안 많이 바뀌 었습니다. 이 논문은 2007-2016 년 동안 OMSA에서 수행 된 연구 작업의 과학적 분석을 제시합니다. 문헌 분석을 위해 Web of Science (WoS) 데이터베이스에서 색인 된 연구 출판물을 입력 자료로 사용합니다. 출판 데이터는 계산 방식으로 분석되어 연도 별 출판 패턴, 출판물, 연구 분야의 성장률을 파악합니다. 이 간행물에서 사용되는 대중적 접근법 (기계 학습 및 어휘 기반), OMSA의 주요 응용 분야 및 정서 분석 작업의 수준 (문서, 문장 또는 측면 수준)을 식별하기 위해 데이터에 대한보다 상세한 수동 분석도 수행됩니다.

  • PDF

인쇄체 한글 및 한자의 인식에 관한 연구 (A Study on the Printed Korean and Chinese Character Recognition)

  • 김정우;이세행
    • 한국통신학회논문지
    • /
    • 제17권11호
    • /
    • pp.1175-1184
    • /
    • 1992
  • 본 논문에서는 한자를 포함하는 한글 문서 인식을 위한 인쇄체 한글, 한자의 구분과 인식 방법에 대하여 연구하였다. 제안된 한글, 한자 구분 방법은 한글의 수직모음과 수평모음의 구조적 특징을 이용하였다. 한글은 6가지 형태로 분류하고 분류된 각 형태에 대하여 세선화 과정을 거치지 않고 모음 우선추출에 의한 자모분리를 행하고 분리된 자음에 대하여 변형된 교차거리 특징을 이용하여 인식하였다. 한자에 대해서는 획교차수의 평균치를 이용하여 전체 한자 대상문자에 대해 분류를 하였으며, 문자의 획교차수와 흑점비율 특징을 이용하여 인식하였다. 한글과 한자의 구분에서는 90.5%의 분류율을 얻었다. 한글인식에 있어서는 대상문자 명조체 2512자에 대하여 90.0%의 형태 분류율을 얻었다. 인식 결과 실험 데이타 1278자에 대하여 92.2%의 인식율을 얻었다. 한자인식에 있어서는 대상문자 4585자에 대하여 분류한 결과 최대밀집 구간은 124자로서 약 1/40 정도로 분류되었음을 알 수 있었고, 인식실험 결과 89.2%의 인식율을 얻었다.

  • PDF

대규모 범죄 수사기록을 활용한 온톨로지 기반 서비스 구현 - 침입 절도 범죄 분야를 중심으로 - (Implementation of Ontology-based Service by Exploiting Massive Crime Investigation Records: Focusing on Intrusion Theft)

  • 고건우;김선우;박성진;노윤주;최성필
    • 한국문헌정보학회지
    • /
    • 제53권1호
    • /
    • pp.57-81
    • /
    • 2019
  • 온톨로지는 특정 분야의 특정 지식과 관련된 용어 및 용어 사이의 관계를 정의하는 복합 구조 사전이다. 국내외로 다양한 온톨로지 구축의 시도가 있었으나 대규모의 범죄 수사기록을 온톨로지로 구축하고 이를 통한 서비스를 구현한 사례는 존재하지 않았다. 따라서 본 논문은 비정형 데이터인 범죄 수사기록 문서 중 침입 절도 분야로부터 추출한 정보를 통해 온톨로지를 구축하고, 온톨로지 기반의 검색 서비스와 범행 장소 추천 서비스를 구현하는 과정을 설명한다. 검색 서비스의 성능을 파악하기 위하여 사건 검색에 대한 정확도 측정 방법 중 하나인 Top-K 방식의 정확도 측정을 실험하였고, 실험 집합에 대하여 최대 93.52%의 정확도를 얻었다. 또한, 범행 장소 추천 서비스의 성능을 파악하기 위한 실험 결과, 실험 데이터셋의 전체에 대해 적합한 단서 필드 조합을 얻어냈으며, F1-measure 76.19%의 성능으로 데이터베이스 내의 범행 장소 필드 정보를 교정할 수 있음을 확인하였다.

LDA와 LSTM를 응용한 뉴스 기사 기반 선물가격 예측 (Futures Price Prediction based on News Articles using LDA and LSTM)

  • 주진현;박근덕
    • 산업융합연구
    • /
    • 제21권1호
    • /
    • pp.167-173
    • /
    • 2023
  • 경제지표를 분석하는 방법으로 회귀 분석이나, 인공지능을 활용하여 미래의 데이터를 예측하는 연구가 발표되었다. 본 연구에서는 토픽모델링을 사용하여 과거 뉴스 기사로부터 얻은 주제 확률 데이터를 이용한 인공지능으로 미래 선물 가격을 예측하는 시스템을 구상하였다. 과거 뉴스 기사로부터 비지도학습을 통한 문서의 주제를 추출할 수 있는 LDA 방법으로 각 뉴스 기사 주제 확률 분포 데이터를 얻을 수 있고, 해당 데이터를 인공지능의 RNN의 파생 구조인 LSTM의 입력 데이터로 활용함으로써 미래 선물 가격을 예측하였다. 본 연구에서 제안한 방법에서는 선물 가격의 추세를 예측할 수 있었고, 이를 활용하여 추후 옵션 상품 등의 파생 상품에 대한 가격 추세도 예측할 수 있을 것으로 보인다. 다만, 일부 데이터에 대해 오차가 발생하는 것이 확인되어 정확도 향상을 위한 추가적인 연구가 필요하다.

적응형 사용자 프로파일기법과 검색 결과에 대한 실시간 필터링을 이용한 개인화 정보검색 시스템 (PIRS : Personalized Information Retrieval System using Adaptive User Profiling and Real-time Filtering for Search Results)

  • 전호철;최중민
    • 지능정보연구
    • /
    • 제16권4호
    • /
    • pp.21-41
    • /
    • 2010
  • 본 논문은 다양한 사용자의 개인적 검색요구를 충족시키지 못하는 기존 검색시스템의 문제점을 해결하기 위해 사용자의 묵시적 피드백을 이용한 적응형 사용자 기호정보 기반의 개인화 검색을 실현하고, 검색결과에 대한 실시간 필터링을 통해 사용자에게 적합한 검색 결과를 제공하는 시스템을 제안한다. 기존의 검색 시스템들은 검색의도의 불확실성 때문에 사용자의 검색실패율이 높다. 검색 의도의 불확실성은 동일한 사용자가 "java"와 같은 다의어에 대해 동일한 질의어를 사용하더라도 다른 검색 결과를 원할 수 있다는 것이며, 단어의 수가 적을수록 불확실성은 가중될 것이다. 실시간 필터링은 사용자의 도메인 지정여부에 따라 주어진 도메인에 해당하는 웹문서들만 추출하거나, 적절한 도메인을 추론하고 해당하는 웹문서들만 검색 결과로 보여주는 것으로, 일반적인 디렉토리 검색과 유사하지만 모든 웹문서에 대해 이루어진다는 것과 실시간으로 분류된다는 것이 다르다. 실시간 필터링을 개인화에 활용함으로써 검색 결과의 수를 줄이고 검색만족도를 개선했다. 본 논문에서 생성한 기호정보파일은 계층적 구조로 이루어지며, 상황정보의 반영이 가능하기 때문에 의도의 불확실성을 해결 할 수 있다. 또한 사용자의 도메인별 웹문서 검색 동작을 효과적으로 추적(track) 할 수 있으며, 사용자의 기호 변화를 적절하게 알아낼 수 있다. 각 사용자 식별을 위해 IP address를 사용했으며, 기호정보파일은 사용자의 검색 행동에 대한 관찰을 기반으로 지속적으로 갱신된다. 또한 사용자의 검색결과에 대한 행동 관찰을 통해, 사용자 기호를 인지하고, 기호정보를 동적으로 반영했으며, 검색결과에 대한 만족도를 측정했다. 기호정보파일과 반영비율은 사용자가 검색을 수행할 때 시스템에 의해 생성되거나 갱신된다. 실험결과 적응형 사용자 기호정보파일과 실시간 필터링을 함께 사용함으로써, 상위 10개의 검색결과 중 평균 4.7개의 결과들에 대해 만족하는 것으로 나타났으며, 이는 구글의 결과에 비해 약 23.2% 향상된 만족도를 나타내었다.

토픽 모델링을 이용한 댓글 그래프 기반 소셜 마이닝 기법 (A Reply Graph-based Social Mining Method with Topic Modeling)

  • 이상연;이건명
    • 한국지능시스템학회논문지
    • /
    • 제24권6호
    • /
    • pp.640-645
    • /
    • 2014
  • 인터넷 상에서 많은 사람들은 사용자 간의 의사소통과 정보 공유, 사회적 관계를 생성하기 위한 방법으로 소셜 네트워크 서비스를 이용한다. 그 중 대표적인 트위터는 하루에 수백만 건의 소셜 데이터가 발생하기 때문에 수집되고 있는 데이터의 양이 엄청나다. 이 방대한 양의 데이터로부터 의미 있는 정보를 추출하는 소셜 마이닝이 집중적으로 연구되고 있다. 트위터는 일반적으로 유용한 정보 혹은 공유하고자 하는 내용을 팔로잉-팔로워 관계를 이용해 쉽게 전달하고 리트윗할 수 있다. 소셜 미디어에서 트윗 데이터에 대한 토픽 모델링은 이슈를 추적하기 위한 좋은 도구이다. 짧은 텍스트 기반인 트윗 데이터의 제한점을 극복하기 위해, 사용자를 노드로 사용자간 댓글과 리트윗 메시지의 여부를 간선으로 하는 그래프 구조를 갖는 댓글 그래프의 개념을 소개한다. 토픽 모델링의 대표적인 방법인 LDA 토픽 모델이 짧은 텍스트 데이터에 대해 비효율적인 것을 보완하기 위한 방법으로, 이 논문에서는 짧은 문서의 수를 줄이고 마이닝 결과의 질을 향상시키기 위한 댓글 그래프를 사용하는 토픽 모델링 방법을 소개한다. 제안한 모델은 토픽 모델링 방법으로 LDA 모델을 사용하였으며, 7일간 수집한 트윗 데이터에 대한 실험 결과를 보인다.

키워드 출현 빈도 분석과 CONCOR 기법을 이용한 ICT 교육 동향 분석 (Analysis of ICT Education Trends using Keyword Occurrence Frequency Analysis and CONCOR Technique)

  • 이영석
    • 산업융합연구
    • /
    • 제21권1호
    • /
    • pp.187-192
    • /
    • 2023
  • 본 연구는 기계학습의 키워드 출현 빈도 분석과 CONCOR(CONvergence of iteration CORrealtion) 기법을 통한 ICT 교육에 대한 흐름을 탐색한다. 2018년부터 현재까지의 등재지 이상의 논문을 'ICT 교육'의 키워드로 구글 스칼라에서 304개 검색하였고, 체계적 문헌 리뷰 절차에 따라 ICT 교육과 관련이 높은 60편의 논문을 선정하면서, 논문의 제목과 요약을 중심으로 키워드를 추출하였다. 단어 빈도 및 지표 데이터는 자연어 처리의 TF-IDF를 통한 빈도 분석, 동시 출현 빈도의 단어를 분석하여 출현 빈도가 높은 49개의 중심어를 추출하였다. 관계의 정도는 단어 간의 연결 구조와 연결 정도 중심성을 분석하여 검증하였고, CONCOR 분석을 통해 유사성을 가진 단어들로 구성된 군집을 도출하였다. 분석 결과 첫째, '교육', '연구', '결과', '활용', '분석'이 주요 키워드로 분석되었다. 둘째, 교육을 키워드로 N-GRAM 네트워크 그래프를 진행한 결과 '교육과정', '활용'이 가장 높은 단어의 관계로 나타났다. 셋째, 교육을 키워드로 군집분석을 한 결과, '교육과정', '프로그래밍', '학생', '향상', '정보'의 5개 군이 형성되었다. 이러한 연구 결과를 바탕으로 ICT 교육 동향의 분석 및 트렌드 파악을 토대로 ICT 교육에 필요한 실질적인 연구를 수행할 수 있을 것이다.

한국어 분석의 중의성 해소를 위한 하위범주화 사전 구축 (Development of Subcategorization Dictionary for the Disambiguation Korean Language Analysis)

  • 이수선;박현재;우요섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-264
    • /
    • 1999
  • 자연언어 처리에 있어 문장의 성분 구조를 파악하는 통사적 해석에서는 애매성 있는 결과가 많이 생성된다. 한국어의 경우 어순 등의 통사적 특성뿐 아니라 상황과 의미, 문맥이 문장의 분석에 더 중요한 역할을 하기 때문에 문맥 자유 문법에 의한 접근 방법만으로는 중의적 구조의 해결이 어렵다. 이는 또한 의미 분석시 애매성을 증가시키는 원인이 된다. 이러한 통사적, 의미적 중의성 해결을 위해 용언 중심의 하위범주화 사전을 구축하였다. 본 논문에서는 용언에 따라 제한될 수 있는 하위범주 패턴을 정의하고 패턴에 따라 하위범주 사전을 구축하였다. 하위범주화 사전에는 명사의 시소러스와 정합하여 보어를 선택 제한(Selectional Restriction)할 수 있도록 용언과 명사와의 의미적 연어 관계에 따라 의미마커를 부여했다. 말뭉치를 통해 수집된 용언 12,000여개를 대상으로 25,000여개의 하위범주 패턴을 구축하였고 이렇게 구축한 하위범주화 사전이 120,000여 명사에 대한 의미를 갖고 있는 계층 시소러스 의미 사전과 연동하도록 하였다. 또한 논문에서 구현된 하위범주화 사전이 구문과 어휘의 중의성을 어느 정도 해소하는지 확인하기 위해 반자동적으로 의미 태깅(Sense Tagging)된 2만여 문장의 말뭉치를 통해 검증 작업을 수행하고, 의존관계와 어휘의 의미를 포함하고 있는 말뭉치에 하위범주 패턴이 어느정도 정합되는지를 분석하여, 하위범주 패턴과 말뭉치의 의존관계만 일치하는 경우와 어휘의 의미까지 일치하는 경우에 대해 평가한다. 이 과정에서 하위범주 패턴에 대한 빈도 정보나, 연어 정보를 수집하여 데이터베이스에 포함시키고, 각 의미역과 용언의 통계적 공기 정보 등을 추출하는 방법도 제시하고자 한다.을 입증하였다.적응에 문제점을 가지기도 하였다. 본 연구에서는 그 동안 계속되어 온 한글과 한잔의 사용에 관한 논쟁을 언어심리학적인 연구 방법을 통해 조사하였다. 즉, 글을 읽는 속도, 글의 의미를 얼마나 정확하게 이해했는지, 어느 것이 더 기억에 오래 남는지를 측정하여 어느 쪽의 입장이 옮은 지를 판단하는 것이다. 실험 결과는 문장을 읽는 시간에서는 한글 전용문인 경우에 월등히 빨랐다. 그러나. 내용에 대한 기억 검사에서는 국한 혼용 조건에서 더 우수하였다. 반면에, 이해력 검사에서는 천장 효과(Ceiling effect)로 두 조건간에 차이가 없었다. 따라서, 본 실험 결과에 따르면, 글의 읽기 속도가 중요한 문서에서는 한글 전용이 좋은 반면에 글의 내용 기억이 강조되는 경우에는 한자를 혼용하는 것이 더 효율적이다.이 높은 활성을 보였다. 7. 이상을 종합하여 볼 때 고구마 끝순에는 페놀화합물이 다량 함유되어 있어 높은 항산화 활성을 가지며, 아질산염소거능 및 ACE저해활성과 같은 생리적 효과도 높아 기능성 채소로 이용하기에 충분한 가치가 있다고 판단된다.등의 관련 질환의 예방, 치료용 의약품 개발과 기능성 식품에 효과적으로 이용될 수 있음을 시사한다.tall fescue 23%, Kentucky bluegrass 6%, perennial ryegrass 8%) 및 white clover 23%를 유지하였다. 이상의 결과를 종합할 때, 초종과 파종비율에 따른 혼파초지의 건물수량과 사료가치의 차이를 확인할 수 있었으며, 레드 클로버 + 혼파 초지가 건물수량과 사료가치를 높이는데 효과적이었다.\ell}$ 이었으며 , yeast extract 첨가(添加)하여 배양시(培養時)는 yeast extract

  • PDF

위젯 서비스를 위한 오픈 API 프록시 서버 시스템 (An Open API Proxy Server System for Widget Services)

  • 안병현;이혁준;최용훈;정영욱
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권9호
    • /
    • pp.918-926
    • /
    • 2010
  • 위젯은 자주 이용하는 서비스를 독립적으로 구동시키는 작은 응용프로그램으로서, 콘텐츠를 제공하는 웹 사이트 등을 직접 방문하지 않고도 사용자가 원하는 콘텐츠를 손쉽게 얻을 수 있어서 많은 관심을 끌고 있다. 이러한 위젯은 오픈 API를 이용하면 손쉽게 개발될 수 있다. 하지만 위젯의 다양한 응용 가능성에도 불구하고, 현재 오픈 API를 제공하는 웹 사이트가 많지 않다. 그 이유는 웹 사이트 운영자가 오픈 API를 제공하기 위해서는 기존의 웹 서버 구조를 변경하거나 웹 서버 리소스를 수정해야 하는 어려움이 있기 때문이다. 본 논문에서는 기존의 웹 서버 구조 또는 웹 서버 리소스를 변경하지 않고, 개발자가 위젯 개발을 가능하도록 하는 것은 물론, 사용자가 위젯을 사용할 수 있도록 웹 서버를 대신하여 오픈 API를 제공하는 오픈 API 프록시 서버 시스템을 제안한다. 오픈 API 프록시 서버 시스템의 구성은 크게 오픈 API 소스 코드 생성기와 오픈 API 프록시 서버로 이루어져 있다. 오픈 API 소스 코드 생성기는 사용자가 원하는 오픈 API를 생성하도록 사용자에게 GUI를 제공하여 오픈 API 프록시 서버로 오픈 API 소스 코드 생성 요청을 보내는 프로그램이다. 오픈 API 프록시 서버는 본 논문에서 제안하는 HTML 테이블 처리 라이브러리를 이용하여 웹 사이트로부터 HTML 웹 페이지를 받아서 대상 HTML 테이블로부터 유용한 정보를 추출한다. 그리고 이를 XML 문서로 가공하여 오픈 API를 통해 제공한다. 실제 웹 사이트의 HTML 테이블을 대상으로 실험하여 오픈 API 프록시 서버 시스템의 동작을 검증하였다.