• Title/Summary/Keyword: 텍스트 구성

Search Result 865, Processing Time 0.03 seconds

Implementation of Very Large Hangul Text Retrieval Engine HMG (대용량 한글 텍스트 검색 엔진 HMG의 구현)

  • 박미란;나연묵
    • Journal of Korea Multimedia Society
    • /
    • v.1 no.2
    • /
    • pp.162-172
    • /
    • 1998
  • In this paper, we implement a gigabyte Hangul text retrieval engine HMG(Hangul MG) which is based on the English text retrieval engine MG(Managing Gigabytes) and the Hangul lexical analyzer HAM(Hangul Analysis Module). To support Hangul information, we use the KSC 5601 code in the database construction and query processing stages. The lexical analyzer, parser, and index construction module of the MG system are modified to support Hangul information. To show the usefulness of HMG system, we implemented a NOD(Novel On Demand) system supporting the retrieval of Hangul novels on the WWW. The proposed system HMG can be utilized in the construction of massive full-text information retrieval systems supporting Hangul.

  • PDF

Automatic Pronunciation Generation System Using Minimum Morpheme Information (최소 형태소 정보를 이용한 자동 발음열 생성 시스템)

  • 김선희;안주은;김순협
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.11a
    • /
    • pp.216-219
    • /
    • 2003
  • 본 논문은 최소한의 형태소 정보를 이용한 자동 발음열 생성 시스템을 제안한다 일반적으로 발음열 생성 시스템은 입력된 문장에 대하여 형태소 단위로 분석한 다음, 각 형태소와 형태소의 결함 관계를 고려한 음운 규칙을 적용함으로써 상응하는 발음열을 생성한다. 지금까지의 연구는 이러한 발음열 생성시의 형태소 분석에 관하여 그 범위에 관한 연구 없이, 가능한 최대한의 분석을 상정하고 있다. 본 논문은 한국어 음운현상을 체계적인 텍스트 분석을 통하여 모든 형태론적 음운론적인 환경에서 가능한 모든 음운현상을 분류하여 발음열 생성시에 실제로 필요한 형태소 분석의 범위를 규명하는 것을 그 목적으로 한다. 음운 현상을 분석하기 위해 사용한 텍스트 자료로는 어휘가 중복되지 않으면서도 많은 종류의 어휘가 수록된 5만 여 어휘의 연세한국어사전과 2200 여 개의 어미와 조사를 수록한 어미조사사전을 이용하였다. 이와 같이 텍스트를 분석한 결과, 음운현상은 규칙적인 음운 현상과 불규칙적인 음운현상으로 나뉘는데, 이 가운데 형태소 정보가 필요한 형태음운규칙으로는 두 가지가 있으며, 이러한 형태음운규칙을 위한 형태소 분석의 범위로는 세세한 분류를 필요로 하지 않는 최소한의 정보로 가능함을 보인다. 이러한 체계적인 분석을 기반으로 제안하는 자동 발음열 생성 시스템은 형태음운규칙과 예외규칙, 그리고 일반음운 규칙으로 구성된다. 본 시스템에 대한 성능 실험은 PBS 1637 어절과 ETRI 텍스트 DB 19만 여 어절을 이용하여 99.9%의 성능결과를 얻었다.

  • PDF

Component Analysis for Constructing an Emotion Ontology (감정 온톨로지의 구축을 위한 구성요소 분석)

  • Yoon, Aesun;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.19-24
    • /
    • 2009
  • 의사소통에서 대화자 간 감정의 이해는 메시지의 내용만큼이나 중요하다. 비언어적 요소에 의해 감정에 관한 더 많은 정보가 전달되고 있기는 하지만, 텍스트에도 화자의 감정을 나타내는 언어적 표지가 다양하고 풍부하게 녹아 들어 있다. 본 연구의 목적은 인간언어공학에 활용할 수 있는 감정 온톨로지를 설계하는 데 있다. 텍스트 기반 감정 처리 분야의 선행 연구가 감정을 분류하고, 각 감정의 서술적 어휘 목록을 작성하고, 이를 텍스트에서 검색함으로써, 추출된 감정의 정확도가 높지 않았다. 이에 비해, 본 연구에서 제안하는 감정 온톨로지는 다음과 같은 장점을 갖는다. 첫째, 감정 표현의 범주를 기술 대상(언어적 vs. 비언어적)과 방식(표현적, 서술적, 도상적)으로 분류하고, 이질적 특성을 갖는 6개 범주 간 상호 대응관계를 설정함으로써, 멀티모달 환경에 적용할 수 있다. 둘째, 세분화된 감정을 분류할 수 있되, 감정 간 차별성을 가질 수 있도록 24개의 감정 명세를 선별하고, 더 섬세하게 감정을 분류할 수 있는 속성으로 강도와 극성을 설정하였다. 셋째, 텍스트에 나타난 감정 표현을 명시적으로 구분할 수 있도록, 경험자 기술 대상과 방식 언어적 자질에 관한 속성을 도입하였다. 이때 본 연구에서 제안하는 감정 온톨로지가 한국어 처리에 국한되지 않고, 다국어 처리에 활용할 수 있도록 확장성을 고려했다.

  • PDF

Text Verification Based on Sub-Image Matching (부분 영상 매칭에 기반한 텍스트 검증)

  • Son Hwa Jeong;Jeong Seon Hwa;Kim Soo Hyung
    • The KIPS Transactions:PartB
    • /
    • v.12B no.2 s.98
    • /
    • pp.115-122
    • /
    • 2005
  • The sub-mage matching problem in which one image contains some part of the other image, has been mostly investigated on natural images. In this paper, we propose two sub-image matching techniques: mesh-based method and correlation-based method, that are efficiently used to match text images. Mesh-based method consists of two stages, box alignment and similarity measurement by extracting the mesh feature from the two images. Correlation-based method determines the similarity using the correlation of the two images based on FFT function. We have applied the two methods to the text verification in a postal automation system and observed that the accuracy of correlation-based method is $92.7\%$ while that of mesh-based method is $90.1\%$.

Transformer-based Text Summarization Using Pre-trained Language Model (사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약)

  • Song, Eui-Seok;Kim, Museong;Lee, Yu-Rin;Ahn, Hyunchul;Kim, Namgyu
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.395-398
    • /
    • 2021
  • 최근 방대한 양의 텍스트 정보가 인터넷에 유통되면서 정보의 핵심 내용을 파악하기가 더욱 어려워졌으며, 이로 인해 자동으로 텍스트를 요약하려는 연구가 활발하게 이루어지고 있다. 텍스트 자동 요약을 위한 다양한 기법 중 특히 트랜스포머(Transformer) 기반의 모델은 추상 요약(Abstractive Summarization) 과제에서 매우 우수한 성능을 보이며, 해당 분야의 SOTA(State of the Art)를 달성하고 있다. 하지만 트랜스포머 모델은 매우 많은 수의 매개변수들(Parameters)로 구성되어 있어서, 충분한 양의 데이터가 확보되지 않으면 이들 매개변수에 대한 충분한 학습이 이루어지지 않아서 양질의 요약문을 생성하기 어렵다는 한계를 갖는다. 이러한 한계를 극복하기 위해 본 연구는 소량의 데이터가 주어진 환경에서도 양질의 요약문을 생성할 수 있는 문서 요약 방법론을 제안한다. 구체적으로 제안 방법론은 한국어 사전학습 언어 모델인 KoBERT의 임베딩 행렬을 트랜스포머 모델에 적용하는 방식으로 문서 요약을 수행하며, 제안 방법론의 우수성은 Dacon 한국어 문서 생성 요약 데이터셋에 대한 실험을 통해 ROUGE 지표를 기준으로 평가하였다.

  • PDF

Text Mining for Korean: Characteristics and Application to 2011 Korean Economic Census Data (한국어 텍스트 마이닝의 특성과 2011 한국 경제총조사 자료에의 응용)

  • Goo, Juna;Kim, Kyunga
    • The Korean Journal of Applied Statistics
    • /
    • v.27 no.7
    • /
    • pp.1207-1217
    • /
    • 2014
  • 2011 Korean Economic Census is the first economic census in Korea, which contains text data on menus served by Korean-food restaurants as well as structured data on characteristics of restaurants including area, opening year and total sales. In this paper, we applied text mining to the text data and investigated statistical and technical issues and characteristics of Korean text mining. Pork belly roast was the most popular menu across provinces and/or restaurant types in year 2010, and the number of restaurants per 10000 people was especially high in Kangwon-do and Daejeon metropolitan city. Beef tartare and fried pork cutlet are popular menus in start-up restaurants while whole chicken soup and maeuntang (spicy fish stew) are in long-lived restaurants. These results can be used as a guideline for menu development to restaurant owners, and for government policy-making process that lead small restaurants to choose proper menus for successful business.

Analysis of Interrelation between Image and Text as Fusion Relationship -Through Advertising Production Class- (융합적 관계로서의 이미지와 텍스트의 상호관계성 분석 연구 -광고 제작 수업을 통하여-)

  • Seo, Hwa-Jung;Huh, Yoon Jung
    • Journal of the Korea Convergence Society
    • /
    • v.9 no.7
    • /
    • pp.155-162
    • /
    • 2018
  • This study explores the relationship between images and texts through advertising production using images and texts, and analyzes the student works with the semiotics of Roland Barth. Since Barth emphasized the interpreter's interpretation rather than the producer's intention in his work, he interpreted the work as a receiver. It was analyzed in terms of socio-cultural meaning of what students produced in the works. A total of 64 classes were held for the first two classes in D high school. The results of analyzing students' works after the advertisement production class are as follows. First, as a result of analyzing Barth 's myth structure model, advertisement image and text are symbols and have meaning. Second, advertising image and text complement each other and have the characteristic of interrelationship that constitutes meaning. Third, By attracting the socio-cultural implications inherent in the students' advertising, their values and interests could be discovered.

Text summarization of dialogue based on BERT

  • Nam, Wongyung;Lee, Jisoo;Jang, Beakcheol
    • Journal of the Korea Society of Computer and Information
    • /
    • v.27 no.8
    • /
    • pp.41-47
    • /
    • 2022
  • In this paper, we propose how to implement text summaries for colloquial data that are not clearly organized. For this study, SAMSum data, which is colloquial data, was used, and the BERTSumExtAbs model proposed in the previous study of the automatic summary model was applied. More than 70% of the SAMSum dataset consists of conversations between two people, and the remaining 30% consists of conversations between three or more people. As a result, by applying the automatic text summarization model to colloquial data, a result of 42.43 or higher was derived in the ROUGE Score R-1. In addition, a high score of 45.81 was derived by fine-tuning the BERTSum model, which was previously proposed as a text summarization model. Through this study, the performance of colloquial generation summary has been proven, and it is hoped that the computer will understand human natural language as it is and be used as basic data to solve various tasks.

HTML Text Extraction Using Tag Path and Text Appearance Frequency (태그 경로 및 텍스트 출현 빈도를 이용한 HTML 본문 추출)

  • Kim, Jin-Hwan;Kim, Eun-Gyung
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.25 no.12
    • /
    • pp.1709-1715
    • /
    • 2021
  • In order to accurately extract the necessary text from the web page, the method of specifying the tag and style attributes where the main contents exist to the web crawler has a problem in that the logic for extracting the main contents. This method needs to be modified whenever the web page configuration is changed. In order to solve this problem, the method of extracting the text by analyzing the frequency of appearance of the text proposed in the previous study had a limitation in that the performance deviation was large depending on the collection channel of the web page. Therefore, in this paper, we proposed a method of extracting texts with high accuracy from various collection channels by analyzing not only the frequency of appearance of text but also parent tag paths of text nodes extracted from the DOM tree of web pages.

The Systemic Functional Linguistics Analysis of Texts in Elementary Science Textbooks by Curriculum Revision (교육과정 변천에 따른 초등 과학 교과서 텍스트에 대한 체계기능언어학적 분석)

  • Maeng, Seung-Ho;Kim, Hye-Ree;Kim, Chan-Jong;Lee, Jeong-A
    • Journal of The Korean Association For Science Education
    • /
    • v.27 no.3
    • /
    • pp.242-252
    • /
    • 2007
  • This study analyzed the science texts covering 'air pressure' and 'wind' in common with every curriculum from the syllabus period to the $7^{th}$ curriculum in terms of Systemic Functional Linguistics. Important findings revealed in this study were as follows: In the aspect of ideational metafunction, the texts including much scientific information were reduced by curriculum revision. Most forms of information were 'definition' and 'fact' rather than 'principle'. In the aspect of interpersonal metafunction, the gap between students and texts were getting closer and the social position of students were concerned gradually by curriculum revisions. In the aspect of textual metafunction, the ratios of technical terminology and notation were reduced, however the amount of texts in science textbooks were reduced as well. While the subject was presented in the early texts, it was omitted as time went on. The consistency of subject and theme were reduced in the $7^{th}$ curriculum remarkably.