• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.346-349
• /
• 2021

표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.10a
• /
• pp.164-167
• /
• 2022

In table Machine comprehension, the knowledge required for language models or the structural form of tables changes depending on the domain, showing a greater performance degradation compared to text data. In this paper, we propose a pre-learning data construction method and an adversarial learning method through meaningful tabular data selection for constructing a pre-learning table language model robust to these domain changes in table machine reading. In order to detect tabular data sed for decoration of web documents without structural information from the extracted table data, a rule through heuristic was defined to identify head data and select table data was applied. An adversarial learning method between tabular data and infobax data with knowledge information about entities was applied. When the data was refined compared to when it was trained with the existing unrefined data, F1 3.45 and EM 4.14 increased in the KorQuAD table data, and F1 19.38, EM 4.22 compared to when the data was not refined in the Spec table QA data showed increased performance.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.721-723
• /
• 2020

부분 공간 군집화는 고차원 데이터에서 의미 있는 특징들을 선별 및 추출하여 저차원의 부분 공간에서 군집화 하는 것이다. 그러나 최근 딥러닝 활용한 부분 공간 군집화 연구들은 AutoEncoder을 기반으로 의미있는 특징을 선별하는 것이 아닌 특징 맵의 크기를 증가시켜서 네트워크의 표현 능력에 중점을 둔 연구되고 있다. 본 논문에서는 AutoEncdoer 네트워크에 Channel Attention 모델을 활용하여 Encoder와 Decoder에서 부분 공간 군집화를 위한 특징을 강조하는 네트워크를 제안한다. 본 논문에서 제안하는 네트워크는 고차원의 이미지에서 부분 공간 군집화를 위해 강조된 특징 맵을 추출하고 이를 이용해서 보다 향상된 성능을 보여주었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.165-168
• /
• 2007

이미지 데이터를 의미적으로 검색하기 위한 가장 중요한 요소는 이미지의 정보를 표현하고 있는 주석이라고 할 수 있다. 이미지의 주석은 관리자가 사용자 입장에서 검색이 가능한 이미지를 표현할 수 있는 키워드를 선별하여 데이터화한 것이다. 그러다보니 이미지내 의미를 모두 표현하기위해 주석에 수는 증가되고, 증가된 주석은 각각에 이미지에서 차지하고 있는 의미량을 고려하지않고 동일한 크기를 가지게 된다. 이러한 경우 실제적으로 검색하였을 때 의미량에 상관없이 질의어와 주석이 일치한 모든 이미지를 검색하므로 사용자가 검색 결과에서 의미량이 큰 이미지를 다시 재검색하거나 주석입력자와 사용자와 어휘 표현에 차이 때문에 검색에 재검색해야한다. 따라서 본 논문에서는 의미량을 이용하여 효율적인 이미지 검색을 하기 위해 각 키워드 간에 의미적인 관계를 어휘 온톨로지인 WordNet을 이용하여 유사도 측정을 하고, 측정한 데이터를 이용하여 전체 이미지 의미량에서 해당 키워드가 갖는 의미량을 측정한다. 의미량은 이미지 검색시 질의어가 이미지에서 차지하고 있는 비율을 비교하여 가장 높은 의미량을 갖는 이미지를 우선 검색하고 의미량이 가장 큰 키워드를 대표키워드로 추출하여 WordNet상에서 동일한 의미를 갖는 계층에 단어들로 주석을 확장한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.152-155
• /
• 2010

실시간 데이터 마이닝 기법은 다양한 종류의 센서에서 수집된 다차원 스트림 데이터들 사이에 존재하는 의미있는 정보를 탐사할 수 있다. 전통적인 데이터베이스 시스템에서의 마이닝 기법은 정적인 데이터베이스에 기초하므로 실시간으로 수집되는 스트림 데이터는 시간 속성을 갖는 인터벌 이벤트로 요약되어야 한다. 이 논문은 다차원 스트림 데이터 환경에서 스트림 데이터를 요약하고 이들 사이에 존재하는 인과 관계를 탐사하는 실시간 데이터 마이닝 기법을 제안한다. 제안 기법은 센서에서 수집되는 데이터의 대부분이 객체의 정상적인 상태 데이터임을 고려하여 의미있는 이상 이벤트를 선별하여 전송한다. 그리고 스트림 데이터의 연속성을 고려하며 스트림 데이터를 세 가지 상태의 이벤트로 요약하고 인과 관계 규칙을 탐사한다. 인과 관계 규칙은 시간에 따라 이벤트 발생에 영향력을 미치는 원인 이벤트를 발견함으로써 이벤트의 발생을 미리 예측할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.11a
• /
• pp.510-511
• /
• 2010

IT기술의 발달과 함께 다양한 분야에서 사용자에게 지능적이고 적응된 서비스를 제공하기 위한 연구가 활발하다. 특히, 데이터 마이닝은 이와 같은 서비스를 위한 방법으로 유용하게 사용되며, 수집된 데이터로부터 숨겨진 패턴을 찾는데 빈번하게 이용된다. 하지만, 수집된 데이터에 예상하지 못한 정보가 섞여 있다면 분석이 어렵고, 분석 결과 또한 신뢰하기 어려울 것이다. 기존에는 수집 데이터에서 의미 없는 데이터를 선별하여 제거하는데 주로 연구 되었으나, 유용한 데이터도 함께 제거될 수 있다는 문제를 가지고 있다. 본 논문은 수집 데이터를 의미 정도에 따라 가중치를 부여하고, 의사결정나무 생성에 반영하였고, 실험을 통하여 유효성을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.229-231
• /
• 2002

최근 생물 유전자 정보에 대한 관심이 커지면서 이를 위한 효과적인 분석 방법이 요구되고 있다. 특히, 분류기의 데이터로 사용하기 위해서 필요한 특징만을 뽑는 과정인 특징 추출은 대량의 유전자 정보에서 의미 있는 정보를 선별하는 중요한 과정이다. 그러나 유전자 정보는 사용되는 데이터의 특징규모가 매우 크기 때문에 일반적인 데이터 마이닝 기법으로는 분석이 힘들다. 본 논문에서는 효율적인 거대규모 특징 추출을 위해 유전자 알고리즘(GA)파 신경망을 사용한 특징추출 방법을 소개하고, 종분화 기법을 사용한 효과적인 특징추출 방법을 제시한다. 그리고, CAMDA 2000에 공개된 암 DNA Microarray로 안종류를 분류하는 문제에 대하여 성능을 평가하였다.

• The Korean Journal of Applied Statistics
• /
• v.24 no.6
• /
• pp.1077-1094
• /
• 2011

We accomplish clustering analyses for yeast cell cycle microarray expression data. To reflect the characteristics of a time-course data, we screen the genes using the test statistics with Fourier coefficients applying a FDR procedure. We compare the results done by model-based clustering, K-means, PAM, SOM, hierarchical Ward method and Fuzzy method with the yeast data. As the validity measure for clustering results, connectivity, Dunn index and silhouette values are computed and compared. A biological interpretation with GO analysis is also included.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.187-190
• /
• 2015

현재를 '빅데이터' 시대라 부른다. '빅데이터', 그 용어가 주는 의미대로 우리가 처리해야 할 데이터가 매우 많다는 것을 의미 하며, 과거의 데이터 정제 기술로 유의미한 정보로 가공하려면 상당한 자원이 필요하다. 현재, 장비의 고성능화 등으로 가능성이 검증되고 있고, 일부 비즈니스에 활용되는 단계이나 여전히 혼돈의 문제가 존재하며, 이러한 문제의 해결책으로 제시되는 것 중의 하나가 바로 '소셜 큐레이션'이라 할 수 있다. 본 개발 서비스1)는 시청자들이 방송 콘텐츠를 소유하고 공유하고자 하는 욕구를 반영하여, 실시간으로 TV를 보면서 방송 프로그램을 캡처하고 공유할 수 있게 한다. 방송콘텐츠에 관한 '소셜 큐레이션' 서비스이며, 이는 각 사용자들이 캡처하여 생성한 수많은 콘텐츠 중에서 사용자들이 원하는 콘텐츠를 사용자들의 사회적인 관계를 이용하여 선별적으로 제공할 수 있도록 구성한 것이다. 본 논문에서는 서비스의 개발 방향과 시스템 구성 등을 설명한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.182-185
• /
• 2014

현재를 '빅데이터' 시대라 부른다. '빅데이터', 그 용어가 주는 의미대로 우리가 처리해야 할 데이터가 많다는 것을 의미하며, 과거의 데이터 정제 기술로는 유의미한 정보로 가공하기에는 상당한 노력이 필요하다는 것을 암시하고 있다. 현재 장비의 고성능화 등으로 가능성이 검증되고 있고 일부 비즈니스에 활용되는 단계이나, 여전히 혼돈의 문제가 존재하며, 이러한 문제의 해결책으로 제시되는 것 중의 하나가 바로 '소셜 큐레이션'이라 할 수 있다. 본 'TVzzik' 서비스는 시청자들이 방송 콘텐츠를 소유하고 공유하고자 하는 욕구를 반영하여, 실시간으로 TV를 보면서 방송 프로그램을 캡처하고 공유할 수 있게 한다. 방송콘텐츠에 관한 '소셜 큐레이션' 서비스이며, 이는 각 사용자들이 캡처하여 생성한 수많은 콘텐츠 중에서 사용자들이 원하는 콘텐츠를 사용자들의 사회적인 관계를 이용하여 선별적으로 제공할 수 있도록 구성한 것이다. 본 논문에서는 'TVzzik' 서비스의 개발 방향과 시스템 구성 등을 설명한다.