• Journal of Scientific & Technological Knowledge Infrastructure
• /
• s.5
• /
• pp.76-85
• /
• 2001

정보검색시스템은 물론 텍스트 데이터를 대상으로하는 지식관리 시스템, 문서관리시스템, 그리고 전자도서관등에서 텍스트 마이닝에 대한 기술에 대한 수요가 증가하고 있는 추세이다. 이 글에서는 텍스트 마이닝의 개념을 소개하고, 텍스트 마이닝의 주요기능, 그리고, 응용사례등을 기술할것이다. 텍스트 마이닝은 텍스트 데이터를 대상으로 하여 그들간의 암묵적인 정보를 추출하는 과정으로 정의할 수 있다. 데이터마이닝과 텍스트 마이닝의 차이는 대상이 텍스트 데이터와 수치 데이터하는 점에서 구분되고 텍스트 마이닝은 데이터 마이닝과 달리 이를 구조화시키는 과정이 필요하다. 텍스트마이닝에 있어서 구조화하는 과정에서 가장 보편적으로 사용되는것은 문서색인이다.

• Proceedings of the Korea Database Society Conference
• /
• 1998.09a
• /
• pp.421-430
• /
• 1998

지식경영을 위한 다양한 대상 업무중에서 텍스트 데이터의 마이닝은 특히 중요하다. 그 이유는 텍스트 데이터가 양적인 면에서 가장 풍부하고, 또 발견할 수 있는 지식을 가장 많이 포함하고 있기 때문이다. 본 논문에서는 텍스트 데이터베이스에서 지식발견을 위한 한 과정으로 텍스트 데이터베이스 내의 텍스트들을 분류하는 기법을 기술한다. 특히 문서 분류 방법은 데이터베이스의 일부 데이터를 훈련, 예제로 간주하여 교사 학습 알고리즘을 통해 학습한 후 나머지 데이터를 이용해 분류 정확성을 검증 및 향상시킨다. 시험 데이터로는 인터넷의 뉴스그룹의 기사를 이용하였고, 시험 결과 분류의 정확성은 한글 및 영문 모두 최소 70% 이상으로 나타났다.

• The Journal of the Korea Contents Association
• /
• v.13 no.1
• /
• pp.64-72
• /
• 2013

In this study, we contemplated types, essence, characteristics of text data which is material for visual expression of text visualization part of data visualization research and also analysed the multidirectional means of expressive approach for it. Studies of text visualization are spread dramastically under the influence of computer development, open data, wide use of visualization tools, etc. For these reasons, text visualization works have been creating as art works or output of research through various inter-discipline convergent research with engineering, art, humanities, sociology, etc. Nevertheless the theoretical studies on text data itself and its visualization, and also systematic analysis of its approach are rarely made. Data is target of understanding and interpretation, and it has infinite information and possibility with process and approach for it. Considering the attainable status of data in future human society, text visualization which is convergent academic field of study starting with understanding and interpretation of data needs further methodological research and theoretical accumulate.

• Annual Conference on Human and Language Technology
• /
• 2024.10a
• /
• pp.523-525
• /
• 2024

본 연구는 한국 패션 도메인에서 텍스트-이미지 병렬 데이터를 구축하기 위한 합성 데이터셋(Synthetic dataset)을 제안한다. 이를 위해 한국 패션 이미지 데이터에 캡션 생성 모델을 적용하여 텍스트를 생성하고, 해외 패션 텍스트-이미지 데이터의 키워드 중심 설명 텍스트를 한국 패션 도메인 방식의 긴 문장형 설명으로 변환하는 방법을 사용하였다. CLIP 임베딩을 활용한 데이터 품질 평가 결과, 합성 데이터셋의 동일 상품 간의 유사도 및 비동일 상품간 유사도의 분포가 실제 데이터셋과 유사하게 나타났으며, 이는 구축된 합성 데이터셋이 실제 데이터와 유사한 특성을 가짐을 시사한다. 본 연구의 성과는 저자원 환경에서 패션 도메인의 텍스트-이미지 데이터를 확장하는 데 기여할 것 이다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.597-601
• /
• 2021

주어진 정보를 자연어로 변환하는 작업은 대화 시스템의 핵심 모듈임에도 불구하고 학습 데이터의 제작 비용이 높아 공개된 데이터가 언어에 따라 부족하거나 없다. 이에 본 연구에서는 텍스트-투-그래프(text-to-graph) 작업인 관계 추출에 쓰이는 데이터의 입출력을 반대로 지정하여 그래프-투-텍스트(graph-to-text) 생성 작업에 이용하는 역 관계 추출(reverse relation extraction, RevRE) 기법을 소개한다. 이 기법은 학습 데이터의 양을 늘려 영어 그래프-투-텍스트 작업의 성능을 높이고 지식 묘사 데이터가 부재한 한국어에선 데이터를 재생성한다.

• The Korean Journal of Applied Statistics
• /
• v.37 no.4
• /
• pp.395-410
• /
• 2024

Text data is usually made up of a wide variety of unique words. Even in standard text data, it is common to find tens of thousands of different words. In text data analysis, usually, each unique word is treated as a variable. Thus, text data can be regarded as a dataset with a large number of variables. On the other hand, in text data classification, we often encounter class label imbalance problems. In the cases of substantial imbalances, the performance of conventional classification models can be severely degraded. To improve the classification performance of support vector machines (SVM) for imbalanced data, algorithms such as the Synthetic Minority Over-sampling Technique (SMOTE) can be used. The SMOTE algorithm synthetically generates new observations for the minority class based on the k-Nearest Neighbors (kNN) algorithm. However, in datasets with a large number of variables, such as text data, errors may accumulate. This can potentially impact the performance of the kNN algorithm. In this study, we propose a method for enhancing prediction performance for the minority class of imbalanced text data. Our approach involves employing variable selection to generate new synthetic observations in a reduced space, thereby improving the overall classification performance of SVM.

• Annual Conference of KIPS
• /
• 2024.10a
• /
• pp.734-737
• /
• 2024

Large Language Model(LLM) 사용이 증가하면서, LLM의 성별 및 인종에 대한 편향성은 사회적 불평등을 심화시킬 수 있는 중요한 문제로 대두되고 있다. 이에 LLM의 편향을 정확하고 신뢰성 있게 측정하는 도구가 필요하다. 본 논문은 LLM의 편향을 평가하는 방법론을 워드 임베딩 분석과 텍스트 생성 편향 분석으로 나누어 검토한다. 워드 임베딩 분석 방법은 단어 벡터 간 거리를 측정해 편향을 정량적으로 평가하는 방식으로, 간호사나 군인과 같은 단어들이 성별이나 인종과 같은 특정 집단과 얼마나 가깝게 매핑되는지를 분석하는 방식이다. 그러나 이 방법은 단어의 문맥적 의미 변화를 충분히 반영하지 못하는 한계가 있다. 반면, 텍스트 생성 편향 분석 방법은 LLM이 실제로 생성한 텍스트에서 나타나는 편향을 직접 평가하는 방식이다. 이를 위해 연구자는 성별이나 인종과 관련된 편향이 드러날 수 있는 문장들로 데이터셋을 구성하고, LLM이 이를 어떻게 처리하는지 분석한다. 이방법은 문맥을 반영해 모델이 생성한 텍스트에서 편향을 평가할 수 있다는 장점이 있지만, 연구자가 데이터셋을 구축하는 과정에서 주관적 판단이나 편향이 개입될 가능성이 있으며, 평가할 수 있는 시나리오가 제한적이라는 한계가 있다. 본 논문은 이러한 한계를 극복하기 위한 향후 연구로, 합성 데이터를 활용하여 데이터셋을 구축하고, 이를 통해 텍스트 생성 편향을 분석하는 방법을 제안한다. 합성 데이터는 다양한 시나리오를 기반으로 무한히 생성할 수 있어, 특정 시나리오에 제한되지 않고 LLM의 편향을 폭넓게 평가할 수 있다. 또한 연구자의 개입을 줄여 데이터셋 구축 시 발생할 수 있는 편향을 최소화하고, 더 공정하고 신뢰성 있는 평가를 가능하게 한다. 이에 따라 합성 데이터를 이용한 텍스트 생성 편향 분석 방법은 LLM의 성별 및 인종 편향을 보다 객관적으로 평가하는 도구로서 중요한 역할을 할 것으로 기대한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.05a
• /
• pp.361-363
• /
• 2017

최근 소셜 미디어의 이용률이 폭발적으로 증가함에 따라, 방대한 데이터가 네트워크로 쏟아져 나오고 있다. 이들 데이터는 기존의 정형 데이터뿐만 아니라 이미지, 동영상 등의 비정형 데이터가 있으며, 이들을 포괄하여 빅데이터라고 불린다. 이러한 빅데이터는 오피니언 마이닝, 테스트 마이닝 등의 기술적인 분석 기법과 빅데이터 요약 및 효과적인 표현방법에 대한 시각화 기법에 대하여 활발한 연구가 이루어지고 있다. 이 논문은 인기 있는 사회연결망 서비스인 Twitter의 트윗을 수집하고, 빅데이터 분석 기법인 텍스트 마이닝을 활용하여 2017년 대선에 대하여 분석하였다. 또한 분석된 자료의 효과적인 전달을 위해 워드 클라우드 진행하였다. 이 논문을 위하여 인기 있는 SNS인 Twitter의 최근 7일간 트윗(tweet)을 수집하고 분석하였다.

• Journal of Information Technology and Architecture
• /
• v.11 no.1
• /
• pp.63-73
• /
• 2014

As the advance of WWW, unstructured data including texts are taking users' interests more and more. These unstructured data created by WWW users represent users' subjective opinions thus we can get very useful information such as users' personal tastes or perspectives from them if we analyze appropriately. In this paper, we provide various analysis efficiently for unstructured text documents by taking advantage of OLAP (On-Line Analytical Processing) multidimensional cube technology. OLAP cubes have been widely used for the multidimensional analysis for structured data such as simple alphabetic and numberic data but they didn't have used for unstructured data consisting of long texts. In order to provide multidimensional analysis for unstructured text data, however, Text Cube model has been proposed precently. It incorporates term frequency and inverted index as measurements to search and analyze text databases which play key roles in information retrieval. The primary goal of this paper is to apply this text cube model to a real data set from in an Internet site sharing hotel information and to provide multidimensional analysis for users' reviews on hotels written in texts. To achieve this goal, we first build text cubes for the hotel review data. By using the text cubes, we design and implement the system which provides multidimensional keyword search features to search and to analyze review texts on various dimensions. This system will be able to help users to get valuable guest-subjective summary information easily. Furthermore, this paper evaluats the proposed systems through various experiments and it reveals the effectiveness of the system.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.3-4
• /
• 2023

자연어처리는 수많은 정보가 수집된 전자의무기록의 비정형 데이터에서 유의미한 정보나 패턴 등을 추출해 의료진의 의사결정을 지원하고, 환자에게 더 나은 진단이나 치료 등을 지원할 수 있어 큰 잠재력을 가지고 있다. 그러나 전자의무기록은 개인정보와 같은 민감한 정보가 다수 포함되어 있어 접근하기 어렵고, 이로 인해 충분한 양의 데이터를 확보하기 어렵다. 따라서 본 논문에서는 신뢰할 수 있는 의료 합성 텍스트를 생성하기 위해 ChatGPT 기반 의료 텍스트 증강 도구를 개발하였다. 이는 사용자가 입력한 실제 의료 텍스트로 의료 합성 데이터를 생성한다. 이를 위해, 적합한 프롬프트와 의료 텍스트에 대한 전처리 방법을 탐색하였다. ChatGPT 기반 의료 텍스트 증강 도구는 입력 텍스트의 핵심 키워드를 잘 유지하였고, 사실에 기반한 의료 합성 텍스트를 생성할 수 있다는 것을 확인할 수 있었다.