• 제목/요약/키워드: Similar Document

검색결과 244건 처리시간 0.027초

중복을 허용한 계층적 클러스터링에 의한 복합 개념 탐지 방법 (Hierarchical Overlapping Clustering to Detect Complex Concepts)

  • 홍수정;최중민
    • 지능정보연구
    • /
    • 제17권1호
    • /
    • pp.111-125
    • /
    • 2011
  • 클러스터링(Clustering)은 유사한 문서나 데이터를 묶어 군집화해주는 프로세스이다. 클러스터링은 문서들을 대표하는 개념별로 그룹화함으로써 사용자가 자신이 원하는 주제의 문서를 찾기 위해 모든 문서를 검사할 필요가 없도록 도와준다. 이를 위해 유사한 문서를 찾아 그룹화하고, 이 그룹의 대표되는 개념을 도출하여 표현해주는 기법이 요구된다. 이 상황에서 문제점으로 대두되는 것이 복합 개념(Complex Concept)의 탐지이다. 복합 개념은 서로 다른 개념의 여러 클러스터에 속하는 중복 개념이다. 기존의 클러스터링 방법으로는 문서를 클러스터링할 때 동일한 레벨에 있는 서로 다른 개념의 클러스터에 속하는 중복된 복합 개념의 클러스터를 찾아서 표현할 수가 없었고, 또한 복합 개념과 각 단순 개념(Simple Concept) 사이의 의미적 계층 관계를 제대로 검증하기가 어려웠다. 본 논문에서는 기존 클러스터링 방법의 문제점을 해결하여 복합 개념을 쉽게 찾아 표현하는 방법을 제안한다. 기존의 계층적 클러스터링 알고리즘을 변형하여 동일 레벨에서 중복을 허용하는 계층적 클러스터링(Hierarchical Overlapping Clustering, HOC) 알고리즘을 개발하였다. HOC 알고리즘은 문서를 클러스터링하여 그 결과를 트리가 아닌 개념 중복이 가능한 Lattice 계층 구조로 표현함으로써 이를 통해 여러 개념이 중복된 복합 개념을 탐지할 수 있었다. HOC 알고리즘을 이용해 생성된 각 클러스터의 개념이 제대로 된 의미적인 계층 관계로 표현되었는지는 특징 선택(Feature Selection) 방법을 적용하여 검증하였다.

이질성 학습을 통한 문서 분류의 정확성 향상 기법 (Improving the Accuracy of Document Classification by Learning Heterogeneity)

  • 윌리엄;현윤진;김남규
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.21-44
    • /
    • 2018
  • 최근 인터넷 기술의 발전과 함께 스마트 기기가 대중화됨에 따라 방대한 양의 텍스트 데이터가 쏟아져 나오고 있으며, 이러한 텍스트 데이터는 뉴스, 블로그, 소셜미디어 등 다양한 미디어 매체를 통해 생산 및 유통되고 있다. 이처럼 손쉽게 방대한 양의 정보를 획득할 수 있게 됨에 따라 보다 효율적으로 문서를 관리하기 위한 문서 분류의 필요성이 급증하였다. 문서 분류는 텍스트 문서를 둘 이상의 카테고리 혹은 클래스로 정의하여 분류하는 것을 의미하며, K-근접 이웃(K-Nearest Neighbor), 나이브 베이지안 알고리즘(Naïve Bayes Algorithm), SVM(Support Vector Machine), 의사결정나무(Decision Tree), 인공신경망(Artificial Neural Network) 등 다양한 기술들이 문서 분류에 활용되고 있다. 특히, 문서 분류는 문맥에 사용된 단어 및 문서 분류를 위해 추출된 형질에 따라 분류 모델의 성능이 달라질 뿐만 아니라, 문서 분류기 구축에 사용된 학습데이터의 질에 따라 문서 분류의 성능이 크게 좌우된다. 하지만 현실세계에서 사용되는 대부분의 데이터는 많은 노이즈(Noise)를 포함하고 있으며, 이러한 데이터의 학습을 통해 생성된 분류 모형은 노이즈의 정도에 따라 정확도 측면의 성능이 영향을 받게 된다. 이에 본 연구에서는 노이즈를 인위적으로 삽입하여 문서 분류기의 견고성을 강화하고 이를 통해 분류의 정확도를 향상시킬 수 있는 방안을 제안하고자 한다. 즉, 분류의 대상이 되는 원 문서와 전혀 다른 특징을 갖는 이질적인 데이터소스로부터 추출한 형질을 원 문서에 일종의 노이즈의 형태로 삽입하여 이질성 학습을 수행하고, 도출된 분류 규칙 중 문서 분류기의 정확도 향상에 기여하는 분류 규칙만을 추출하여 적용하는 방식의 규칙 선별 기반의 앙상블 준지도학습을 제안함으로써 문서 분류의 성능을 향상시키고자 한다.

순차 패턴 마이닝을 사용한 두 XML 문서간 최대 유사 경로 추출 (Extracting Maximal Similar Paths between Two XML Documents using Sequential Pattern Mining)

  • 이정원;박승수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권5호
    • /
    • pp.553-566
    • /
    • 2004
  • 최근 XML 저장 기법, 질의 최적화, 인덱싱 등의 XML 관련 기술이 활발히 연구되고 있다. 이와 관련하여 하나의 DTD나 XML Schema로 정의된 고정 구조를 공유하는 문서 집합이 아니라 다양한 구조를 가진 문서 집합인 경우 다중 문서간의 구조적 유사성이나 차이점 등을 파악할 필요가 있다. 예를 들어 서로 다른 사이트나 문서 관리 시스템에서 도출된 문서들을 합병하거나 분류할 필요가 있을 때, 문서를 처리하기 위해 공유 구조를 발견하는 일은 매우 중요하다. 본 연구에서는 다양한 문서들의 구조를 구성하는 경로들간의 유사성을 파악하기 위해 기존의 순차패턴 마이닝 알고리즘(1)을 변형하여 두 XML 문서간 최대 유사 경로를 추출한다. 몇 가지 실험을 통해 본 논문에서 제안한 변형된 순차패턴 마이닝 알고리즘이 두 문서간의 최대 유사 경로를 찾아내고 또한 두 문서간의 정확한 공유 경로 및 최대 유사 경로를 정확히 찾을 수 있음을 보인다. 또한 실험 결과 분석을 위해 최대 유사 경로를 기반으로 정의된 유사성 척도가 XML 문서를 정확하게 분류할 있음을 보인다.

유사 어절 트리와 비 색인어 기반의 문서 표절 유사도 분류 방법 ((The Classification Method of the Document Plagiarism Similarity based on Similar Syntagma Tree and Non-Index Term))

  • 천승환;김미영;이귀상
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권8호
    • /
    • pp.1039-1048
    • /
    • 2002
  • 전자문서와 온라인으로 수신된 문서들은 표절 여부를 판별하기가 매우 어렵고 번거로운 일이다. 특히 학생들에게 부여된 과제물의 경우 동일한 주제에 대해서 작성되는 경우가 많으므로 독자적으로 작성된 문서와 표절되어진 문서를 판별하기가 쉽지 않다. 이것은 분류하고자 하는 문서들에서 주요 단어들 즉, 색인어들의 출현 빈도를 추출한 뒤 이를 이용하여 가장 적합한 카테고리를 찾는 기존의 방법들과는 전혀 다른 문제이다. 본 논문에서는 어절들의 -유사 어절 트리 구조와 색인어를 제외한 어절- 벡터를 기반으로 하여 비슷하게 작성된 문서들의 표절 판별을 목적으로 하는 작업에 적용될 수 있는 방법을 제안한다.

  • PDF

유사 구조를 가지는 XML 문서들의 DTD 통합 알고리즘 (A Unification Algorithm for DTDs of XML Documents having a Similar Structure)

  • 유춘식;우선미;김용성
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권10호
    • /
    • pp.1400-1411
    • /
    • 2004
  • 논리적으로 동일한 종류에 속하여 서로 유사한 구조를 가지는 많은 XML 문서들이 서로 다른 종류로 분류되어 서로 다른 문서형 정의(DTD)를 가지게 되는 경우가 많다. 이로 인하여 XML 문서를 저장하기 위한 데이타베이스의 스키마가 서로 다르게 되고, 동일한 데이타베이스에 저장되어야 하는 XML 문서들이 서로 다른 데이타베이스에 저장되는 문제점이 발생하게 된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 유한 오토마타와 트리구조를 이용하여 유사한 구조를 가지는 XML 문서들의 DTD를 통합하는 알고리즘을 제안한다. 유한 오토마타는 DTD의 반복연산자나 연결자를 표현하기에 적합하고 표현 방법이 단순하므로 DTD 통합 알고리즘의 복잡도를 감소시킬 수 있다. 또한 제안한 알고리즘의 효과성을 검증하기 위하여 국내 학회 논문지의 논문 DTD를 통합하는데 본 논문에서 제안한 알고리즘을 적용한다.

A Dependency Graph-Based Keyphrase Extraction Method Using Anti-patterns

  • Batsuren, Khuyagbaatar;Batbaatar, Erdenebileg;Munkhdalai, Tsendsuren;Li, Meijing;Namsrai, Oyun-Erdene;Ryu, Keun Ho
    • Journal of Information Processing Systems
    • /
    • 제14권5호
    • /
    • pp.1254-1271
    • /
    • 2018
  • Keyphrase extraction is one of fundamental natural language processing (NLP) tools to improve many text-mining applications such as document summarization and clustering. In this paper, we propose to use two novel techniques on the top of the state-of-the-art keyphrase extraction methods. First is the anti-patterns that aim to recognize non-keyphrase candidates. The state-of-the-art methods often used the rich feature set to identify keyphrases while those rich feature set cover only some of all keyphrases because keyphrases share very few similar patterns and stylistic features while non-keyphrase candidates often share many similar patterns and stylistic features. Second one is to use the dependency graph instead of the word co-occurrence graph that could not connect two words that are syntactically related and placed far from each other in a sentence while the dependency graph can do so. In experiments, we have compared the performances with different settings of the graphs (co-occurrence and dependency), and with the existing method results. Finally, we discovered that the combination method of dependency graph and anti-patterns outperform the state-of-the-art performances.

정상 성인의 운동역학적 보행분석 (A Study on Kinetic Gait Analysis of the Normal Adult)

  • 김건;윤나미
    • The Journal of Korean Physical Therapy
    • /
    • 제21권2호
    • /
    • pp.87-95
    • /
    • 2009
  • Purpose: This study reports the basic reference data of the specific gait parameters for Korean normal adults. Methods: The basic gait parameters were extracted from 73 Adults (35 men and 38 women), 18 to 33 years of age, using a Vicon MX motion analysis system. The segment kinetics, such as joint moment and power, was analyzed at the hip, knee and ankle. Results: The motion patterns are typically associated with a specific phase of the gait cycle. The temporal-spatial gait parameters of Korean normal adults, such as cadence, walking speed, stride length, single support and double support, were similar to the other western reference data. The kinetic parameters of Korean normal adults, such as joint moments of force, joint mechanical power generation or absorption and ground reaction forces, were also similar to other western reference datasets. Conclusion: This study demonstrates that objective gait analysis can be used to document the gait patterns of normal healthy adults. The techniques of 3-dimensional temporal-spatial gait parameters and kinematic parameters analysis can provide a detailed biomechanical description of a normal and pathological gait.

  • PDF

강우빈도해석에서의 측우기자료의 유용성 평가 (Evaluation for usefulness of Chukwookee Data in Rainfall Frequency Analysis)

  • 김기욱;유철상;박민규;김대하;박상형;김현준
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2007년도 학술발표회 논문집
    • /
    • pp.1526-1530
    • /
    • 2007
  • In this study, the chukwookee data were evaluated by applying that for the historical rainfall frequency analysis. To derive a two parameter log-normal distribution by using historical data and modern data, censored data MLE and binomial censored data MLE were applied. As a result, we found that both average and standard deviation were all estimated smaller with chukwookee data then those with only modern data. This indicates that rather big events rarely happens during the period of chukwookee data then during the modern period. The frequency analysis results using the parameters estimated were also similar to those expected. The point to be noticed is that the rainfall quantiles estimated by both methods were similar, especially for the 99% threshold. This result indicates that the historical document records like the annals of Chosun dynasty could be valuable and effective for the frequency analysis. This also means the extension of data available for frequency analysis.

  • PDF

LPBF 공정으로 제조된 Ti-6Al-4V 합금의 밀도와 표면 거칠기 제어를 위한 매개변수 연구 (Parametric Study of Selective Laser Melting Using Ti-6Al-4V Powder Bed for Concurrent Control of Volumetric Density and Surface Roughness)

  • 우정민;김지윤;손용호;이기안
    • 한국분말재료학회지
    • /
    • 제28권5호
    • /
    • pp.410-416
    • /
    • 2021
  • Ti-6Al-4V alloy has a wide range of applications, ranging from turbine blades that require smooth surfaces for aerodynamic purposes to biomedical implants, where a certain surface roughness promotes biomedical compatibility. Therefore, it would be advantageous if the high volumetric density is maintained while controlling the surface roughness during the LPBF of Ti-6Al-4V. In this study, the volumetric energy density is varied by independently changing the laser power and scan speed to document the changes in the relative sample density and surface roughness. The results where the energy density is similar but the process parameters are different are compared. For comparable energy density but higher laser power and scan speed, the relative density remained similar at approximately 99%. However, the surface roughness varies, and the maximum increase rate is approximately 172%. To investigate the cause of the increased surface roughness, a nonlinear finite element heat transfer analysis is performed to compare the maximum temperature, cooling rate, and lifetime of the melt pool with different process parameters.

Retrieval methodology for similar NPP LCO cases based on domain specific NLP

  • No Kyu Seong ;Jae Hee Lee ;Jong Beom Lee;Poong Hyun Seong
    • Nuclear Engineering and Technology
    • /
    • 제55권2호
    • /
    • pp.421-431
    • /
    • 2023
  • Nuclear power plants (NPPs) have technical specifications (Tech Specs) to ensure that the equipment and key operating parameters necessary for the safe operation of the power plant are maintained within limiting conditions for operation (LCO) determined by a safety analysis. The LCO of Tech Specs that identify the lowest functional capability of equipment required for safe operation for a facility must be complied for the safe operation of NPP. There have been previous studies to aid in compliance with LCO relevant to rule-based expert systems; however, there is an obvious limit to expert systems for implementing the rules for many situations related to LCO. Therefore, in this study, we present a retrieval methodology for similar LCO cases in determining whether LCO is met or not met. To reflect the natural language processing of NPP features, a domain dictionary was built, and the optimal term frequency-inverse document frequency variant was selected. The retrieval performance was improved by adding a Boolean retrieval model based on terms related to the LCO in addition to the vector space model. The developed domain dictionary and retrieval methodology are expected to be exceedingly useful in determining whether LCO is met.