• 제목/요약/키워드: 문서자동분류

검색결과 311건 처리시간 0.032초

OWL 문서의 변경 탐지 및 관리 기법 (Change Detection and Management Scheme of OWL Documents)

  • 김연희;김지현
    • 디지털콘텐츠학회 논문지
    • /
    • 제13권1호
    • /
    • pp.43-52
    • /
    • 2012
  • 정보 자원에 대한 정확한 검색을 위해서는 점진적으로 변화하는 온톨로지의 변경 내용을 효율적으로 관리할 필요가 있다. 최근에는 OWL을 이용해 온톨로지를 기술하는 경우가 많기 때문에 OWL 문서로 작성된 온톨로지의 변경 내용을 관리할 수 있는 기법이 필요하다. 이러한 요구에 따라 본 논문에서는 OWL로 기술된 온톨로지의 변화를 탐지할 수 있도록 변경 가능한 요소를 분류하고 각 요소의 특성에 맞게 변경 내용을 관리할 수 있는 저장 스키마를 제안한다. 그리고 온톨로지 버전별로 클래스나 프로퍼티에 대한 정보를 제공하는 뷰를 이용하여 질의 처리 성능을 개선할 수 있는 가능성을 제시한다. 본 논문에서 제안한 저장 스키마는 각 온톨로지 버전과 관련된 메타데이터의 변경 내용도 함께 저장한다. 또한 온톨로지가 변경되면 자동적으로 추가 또는 삭제되어야 하는 메타데이터의 내용도 추론을 통해 관리할 수 있다. 따라서 본 논문에서 제안한 저장 스키마를 이용하면 온톨로지의 변경 이력에 대한 검색이 가능하고 사용자가 선택한 온톨로지 버전에 맞는 정확하고 유효한 메타데이터를 제공할 수 있다.

경계변수 값의 동적인 변경을 이용한 점층적 클러스터링 알고리즘 (Incremental Clustering Algorithm by Modulating Vigilance Parameter Dynamically)

  • 신광철;한상용
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권11호
    • /
    • pp.1072-1079
    • /
    • 2003
  • 본 논문은 점층적으로 대규모 문서 분류를 할 수 있는 새로운 클러스터링 알고리즘에 대한 것으로, 고차원의 대규모 문서 집합에 대한 클러스터링을 수행하는 spherical k-means (SKM) 알고리즘과 점층적인 방식으로 클러스터링을 수행하는 퍼지(fuzzy) ART(adaptive resonance theory) 신경망의 특징을 이용하였다. 즉, SKM의 벡터 공간 모델과 개념벡터를 토대로 퍼지 ART의 경계변수의 개념을 결합한 것이다. 제시하는 알고리즘은 점층적 클러스터링의 지원과 함께 최적의 클러스터 수를 자동으로 결정할 뿐 아니라 이상치(outlier)와 노이즈(noise)에 의한 overfitting의 문제도 해결하였다. 또한 생성된 클러스터들의 질을 평가할 수 있는 응집도를 측정하는 목적 함수의 값에 있어서도 CLASSIC3 데이타 집합으로 실험한 결과 기존의 SKM에 비해 평균 8.04%의 향상된 응집도를 나타냈다.

전문용어의 처리에 의한 도메인 온톨로지의 구축 (Domain-specific Ontology Construction by Terminology Processing)

  • 임수연;송무희;이상조
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권3호
    • /
    • pp.353-360
    • /
    • 2004
  • 온톨로지는 특정 도메인에 사용되는 용어들과 그 용어들 간의 관계를 정의하고, 이를 계층구조로 표현한 것을 말한다. 본 논문에서는 전문용어의 처리에 기반 한 도메인 특정적인 온톨로지의 반자동 구축방안을 제안하고자 한다. 이를 위하여 도메인 텍스트 내에서 전문용어를 구성하고 있는 명사나 접미사의 패턴을 분류하고, 이에 따라 전문용어를 추출하고 계층구조를 구하는 알고리즘을 제안한다. 실험은 약학 관련 문서를 대상으로 하였으며, 단일어절 전문용어를 인식한 결과 평균 92.57%, 다중어절 전문용어의 경우 평균 66.64%의 정확도를 보였다. 구축된 온톨로지는 의미정보와 함께 전문용어를 구성하는 특정 명사나 접미사를 중심으로 자연스런 의미 군을 형성함으로써 정보검색 등의 전문적인 지식의 접근에 유용하게 쓰일 수 있으며, 검색의 성능을 향상시키기 위한 추론의 기반으로도 이용할 수 있다.

구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구 (Research on Subjective-type Grading System Using Syntactic-Semantic Tree Comparator)

  • 강원석
    • 컴퓨터교육학회논문지
    • /
    • 제21권6호
    • /
    • pp.83-92
    • /
    • 2018
  • 주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다. 그렇지만 채점 시스템은 표현 언어인 한국어 분석과 비교의 문제가 걸려있다. 본 연구는 한국어의 구문 분석을 구현하고 결과인 구문분석 트리를 비교하는 비교기를 이용하여 주관식 문항을 채점하는 채점 시스템을 설계, 개발하였다. 이 시스템은 단어 중심의 채점 시스템과 구문의미트리 중심의 채점 시스템을 복합한 시스템으로 구문의미트리 비교기를 활용하였다. 본 시스템의 실험 결과 제안한 구문의미트리 중심의 채점 시스템과 복합 채점 시스템이 더 나은 결과를 가져옴을 알 수 있었다. 본 연구는 한국어 구문의미분석과 주관식 채점 영역에 활용할 수 있고 또한 문서 분류에도 활용할 수 있을 것이다.

문장 의도 분류와 개체명 인식을 활용한 개인정보 검출 및 비식별화 시스템 (Personal Information Detection and De-identification System using Sentence Intent Classification and Named Entity Recognition)

  • 서동국;김건우;김재영;이동호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.1018-1021
    • /
    • 2020
  • 최근 개인정보가 포함된 비정형 텍스트 문서들이 유출되거나 무분별하게 공개됨으로써 정보의 주체는 물론 기업들까지 피해를 받고 있다. 데이터를 공개 및 활용하기 위해 개인정보 검출 및 비식별화 과정이 필수적이지만 정형 데이터와는 달리 비정형 데이터의 경우 해당 과정을 자동으로 처리하는 데 한계가 있다. 이를 위해 딥러닝 모델들을 사용하여 자동화하려는 연구들이 있었지만 문장 내 단어의 모호성에 대한 고려 없이 단어 개체명 정보에만 의존하여 개인정보를 검출하는 형태로 진행되었다. 따라서 문장 내 단어들 중 식별 대상인 단어들도 비식별화 되어 데이터에 대한 유용성을 저해할 수 있다는 문제점을 남겼다. 본 논문에서는 문장의 의도 정보를 단어의 개체명 학습 과정에 부가적인 정보로 활용하는 개인정보 검출 모델과 개인정보 데이터의 유용성을 고려한 비식별화 기법을 제안한다.

전자 카탈로그에 대한 효율적인 색인어 통계 정보 관리 방법 (Efficient Management of Statistical Information of Keywords on E-Catalogs)

  • 이동주;황인범;이상구
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.1-17
    • /
    • 2009
  • 전자 카탈로그는 상품이나 서비스 정보를 저장하고 있는 전자 문서로, 전자 상거래에서 가장 중요한 자료 중 하나이다. 전자 카탈로그는 지속적으로 추가, 수정 혹은 삭제되면서 최신의 상태로 유지되게 되는데, 전자 카탈로그의 양이 많아지면서 중복이 발생하고, 부적합한 분류에 할당되는 등, 품질 유지 문제가 발생한다. 검색, 중복확인, 자동분류는 카탈로그 품질 관리를 위해 중요한 기능들인데, 이 기능을 구현하기 위해서 카탈로그에서 추출된 색인어들의 통계 정보를 활용한 확률 모델들이 제시되었다. 그러나 이들은 서로 독립적으로 다루어 졌기에, 카탈로그 관리 시스템이라 는 하나의 시스템에서 구현될 수 있음에도 불구하고, 각 모델들이 공유하는 데이터와 이를 관리하기 위한 데이터 관리 기법에 관한 연구는 미흡하였다. 따라서 본 논문에서는 세 기능을 위한 확률모델을 정리하고, 이를 관계형 데이터베이스 상에서 구현하고, 통계 정보를 효율적으로 관리하는 방법을 제시한다. 특히, 실체화 뷰를 이용하여 불필요한 응용의 개발 비용과 데이터 무결성 저해요인을 제거하였다. 다량의 실제 전자 카탈로그 데이터베이스에 대한 실험을 통해 관계형 데이터 베이스를 이용한 구현이 속도와 정확성에 있어 실용성이 있음을 보였고, 응용을 통한 통계 정보갱신 방법과의 비교를 통해 실체화 뷰를 활용한 통계 정보 관리 기법의 효용성을 보였다.

  • PDF

감정어휘 평가사전과 의미마디 연산을 이용한 영화평 등급화 시스템 (Grading System of Movie Review through the Use of An Appraisal Dictionary and Computation of Semantic Segments)

  • 고민수;신효필
    • 인지과학
    • /
    • 제21권4호
    • /
    • pp.669-696
    • /
    • 2010
  • 본 논문은 한 문서의 전체 의미는 각 부분의미의 합성이라는 관점에서 미리 반자동으로 구축된 감정어휘 평가사전을 기반으로 한 시스템을 제안한다. 인간의 의사 결정 과정과 유사한 방식으로 의사 결정 과정을 모델링하려는 노력으로써 본 ARSSA 시스템은 개별 리뷰의 의미값 연산과 자료 분류를 통해 감정 표현이 나타난 영화평 리뷰의 자동 등급화에 대한 연구를 수행한다. 이는 {'평점' : '리뷰'} 이항구조로 이루어진 현재의 평점 부여 형식에서 발생하는 두 변항의 불연속성 문제를 해결해보려는 목적을 가진다. 이는 어휘 의미 합성 과정에서 반영된 추상적 의미들의 합성 함수를 통해 실현될 수 있다. 시스템의 성능 실험에서 네이버 무비에서 확보한 1000개의 리뷰에 대한 10-fold 교차 검증 실험이 수행되었다. 이 실험은 기존에 부여된 평점과 비교하여 감정어휘 평가사전을 이용하였을 때 85%의 F1 Score를 보였다.

  • PDF

디지털 인문학에서 비정형 데이터 분석을 이용한 사조 분류 방법 (Mining Intellectual History Using Unstructured Data Analytics to Classify Thoughts for Digital Humanities)

  • 서한솔;권오병
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.141-166
    • /
    • 2018
  • 최근 디지털 인문학 (Digital humanities) 연구분야의 등장으로 정보기술을 활용하여 인문학 연구의 효율성 제고에 기여하고 있다. 특히 인문학 연구에서 특정한 인물 혹은 문서가 어떠한 사상 (idea)을 담고 있는지와 다른 사상과의 어떤 연결성을 가지는지를 자동적인 방법으로 분석하는 것은 지성사(intellectual history)를 파악하는 데 중요한 도전이 될 것이다. 본 연구의 목적은 책이나 논문, 기사와 같은 비정형 데이터 (unstructured data)에 포함된 주장을 파악하고 이를 다른 주장이나 사상과 어떠한 관련이 있는지를 자동으로 분석하는 방법을 제안하는 것이다. 특히 본 연구에서는 주장과 주장 사이의 영향관계를 밝히는 히스토리 마이닝 (History Mining)이라는 방법도 제안하였다. 이를 위해 딥러닝 기법 (deep learning method)을 포함한 분류알고리즘 기법 (classification algorithm)을 활용하였다. 본 연구가 제안하는 방법론의 성능을 검증하기 위하여 철학 사조 중에서 대표적으로 대비되는 경험주의와 합리주의 관련 철학자들을 선정하고 관련된 저서 혹은 인터넷 상의 글을 수집하였다. 분류 알고리즘의 성능은 Recall, Precision, F-Score 및 Elapsed Time으로 측정하였으며 DNN, Random Forest, 그리고 앙상블 등이 우수한 성능을 보였다. 선정된 분류 알고리즘으로 특정 철학자의 글에 대해 합리주의 혹은 경험주의로 분류하였으며, 그 철학자의 활동 연도를 고려하여 히스토리 맵을 생성할 수 있었다.

양방향 장단기 메모리 네트워크를 활용한 높은 정밀도의 지지 근거 추출 (Extracting Supporting Evidence with High Precision via Bi-LSTM Network)

  • 박채훈;양원석;박종철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.285-290
    • /
    • 2018
  • 논지가 높은 설득력을 갖기 위해서는 충분한 지지 근거가 필요하다. 논지 내의 주장을 논리적으로 지지할 수 있는 근거 자료 추출의 자동화는 자동 토론 시스템, 정책 투표에 대한 의사 결정 보조 등 여러 어플리케이션의 개발 및 상용화를 위해 필수적으로 해결되어야 한다. 하지만 웹문서로부터 지지 근거를 추출하는 시스템을 위해서는 다음과 같은 두 가지 연구가 선행되어야 하고, 이는 높은 성능의 시스템 구현을 어렵게 한다: 1) 논지의 주제와 직접적인 관련성은 낮지만 지지 근거로 사용될 수 있는 정보를 확보하기 위한 넓은 검색 범위, 2) 수집한 정보 내에서 논지의 주장을 명확하게 지지할 수 있는 근거를 식별할 수 있는 인지 능력. 본 연구는 높은 정밀도와 확장 가능성을 가진 지지 근거 추출을 위해 다음과 같은 단계적 지지 근거 추출 시스템을 제안한다: 1) TF-IDF 유사도 기반 관련 문서 선별, 2) 의미적 유사도를 통한 지지 근거 1차 추출, 3) 신경망 분류기를 통한 지지 근거 2차 추출. 제안하는 시스템의 유효성을 검증하기 위해 사설 4008개 내의 주장에 대해 웹 상에 있는 845675개의 뉴스에서 지지 근거를 추출하는 실험을 수행하였다. 주장과 지지 근거를 주석한 정보에 대하여 성능 평가를 진행한 결과 본 연구에서 제안한 단계적 시스템은 1,2차 추출 과정에서 각각 0.41, 0.70의 정밀도를 보였다. 이후 시스템이 추출한 지지 근거를 분석하여, 논지에 대한 적절한 이해를 바탕으로 한 지지 근거 추출이 가능하다는 것을 확인하였다.

  • PDF

감정점수의 전파를 통한 한국어 감정사전 생성 (Generating a Korean Sentiment Lexicon Through Sentiment Score Propagation)

  • 박호민;김창현;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권2호
    • /
    • pp.53-60
    • /
    • 2020
  • 감정분석은 문서 또는 대화상에서 주어진 주제에 대한 태도와 의견을 이해하는 과정이다. 감정분석에는 다양한 접근법이 있다. 그 중 하나는 감정사전을 이용하는 사전 기반 접근법이다. 본 논문에서는 널리 알려진 영어 감정사전인 VADER를 활용하여 한국어 감정사전을 자동으로 생성하는 방법을 제안한다. 제안된 방법은 세 단계로 구성된다. 첫 번째 단계는 한영 병렬 말뭉치를 사용하여 한영 이중언어 사전을 제작한다. 제작된 이중언어 사전은 VADER 감정어와 한국어 형태소 쌍들의 집합이다. 두 번째 단계는 그 이중언어 사전을 사용하여 한영 단어 그래프를 생성한다. 세 번째 단계는 생성된 단어 그래프 상에서 레이블 전파 알고리즘을 실행하여 새로운 감정사전을 구축한다. 이와 같은 과정으로 생성된 한국어 감정사전을 유용성을 보이려고 몇 가지 실험을 수행하였다. 본 논문에서 생성된 감정사전을 이용한 감정 분류기가 기존의 기계학습 기반 감정분류기보다 좋은 성능을 보였다. 앞으로 본 논문에서 제안된 방법을 적용하여 여러 언어의 감정사전을 생성하려고 한다.