• 제목/요약/키워드: Sentence Weight

검색결과 29건 처리시간 0.026초

온라인 동향 분석을 위한 이벤트 문장 추출 방안 (Event Sentence Extraction for Online Trend Analysis)

  • 윤보현
    • 한국콘텐츠학회논문지
    • /
    • 제12권9호
    • /
    • pp.9-15
    • /
    • 2012
  • 기존의 이벤트 문장 추출에 관한 연구는 학습단계에서 3W 자질을 학습하지 않고, 추출단계에서 3W 자질의 존재여부에 따른 규칙만을 적용하여 이벤트 문장을 추출하였다. 본 논문에서는 온라인 동향 분석을 위해 학습단계에서 3W 자질을 추출하고 가중치를 계산하고, 추출단계에서 3W 자질을 반영하는 문장 가중치 기반 이벤트 문장 추출 방안을 제시한다. 실험결과, 자질필터링은 $TF{\times}IDF$ 가중치 기법을 사용한 상위 30% 자질만을 사용하는 것이 가장 우수한 결과를 보였다. 공공이슈 분야인 부동산 도메인에서 문장 가중치 기반 방법은 3W 자질 중 who와 when 자질이 가장 영향을 많이 미치는 것으로 나타났다. 아울러 다른 기계학습 방법과의 비교하여 공공이슈 분야인 부동산 도메인에서 문장 가중치 기반 이벤트 문장 추출 방법이 가장 좋은 성능을 보였다.

문장 클러스터링에 기반한 자동요약 모형 (A Text Summarization Model Based on Sentence Clustering)

  • 정영미;최상희
    • 정보관리학회지
    • /
    • 제18권3호
    • /
    • pp.159-178
    • /
    • 2001
  • 본 연구에서는 문장 클러스터로부터 대표문장을 선정하여 요약문을 생성하는 자동요약 모형을 제시하고. 학습문서 집단을 미용하여 최적의 요약 환경을 구축한 후 요약 실험을 수행하였다. 학습 과정에서 문장의 클러스터링 기법으로는 7개의 계층적 기법들을 비교한 결과 클러스터를 구성하는 문장 수의 편차가 가장 적고 단일 문장 클러스터를 가장 적게 생성하는 센트로이드 기법이 선택되었다. 또한 각 클러스터를 대표하는 문장의 선정을 위해 용어 및 문장 가중치를 합산한 문장값과 클러스터-문장 벡터간 유사도의 두 기준을 비교한 결과 문장값 기준이 선택되었다. 용어 가중치로는 역문장빈도와 표제어 가중치, 그리고 문장의 위치 가중치가 자동요약 성능을 개선시키는 것으로 나타났으며, 적절한 요약문의 길이는 전체 문서의 1/3인 것으로 나타났다. 실험문서 집단으로는 문서의 길이와 특성이 다른 신문기사와 잡지기사의 두 집단을 이용하였다. 요약 모형의 검증 실험 결과 요약 정확률은 신문기사 집단에서는 53%, 잡지기사 집단에서는 47%인 것으로 나타났다. 두 실험 모두 랜덤하게 생성한 베이스라인 요악문보다 성능이 우수하였으나, 리드문장들로 구성된 베이스라인 요약문과의 비교에서는 짧은 길이의 신문기사의 경우 요약 모형의 성능이 오히려 떨어지는 것으로 나타났다.

  • PDF

Light-Weight Ethernet 기반 MiTS 네트워크 프로토콜 개발 (A Development of MiTS Network Protocol based on Light-Weight Ethernet)

  • 황훈규;윤진식;이성대;서정민;장길웅;이장세;박휴찬
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제34권8호
    • /
    • pp.1172-1179
    • /
    • 2010
  • 이 논문에서는 Light-Weight Ethernet 기반 MiTS 네트워크에서 시스템 간의 통신 및 데이터 처리를 위한 프로토콜의 개발에 관한 내용을 다룬다. 개발을 위해, Light-Weight Ethernet 기반 MiTS 네트워크 프로토콜을 구성하는 NF 및 SF를 분석하고 그 내용을 바탕으로 라이브러리를 개발하며 검증한다. 프로토콜의 구성 요소인 NF는 UDP 기반의 멀티캐스팅 방식으로 데이터그램을 송/수신하는 역할을 하고 SF는 NF를 통해 송/수신된 메시지를 Sentence 및 바이너리 이미지로 구별하여 처리하는 역할을 한다.

빅데이터 분석을 위한 한국어 SentiWordNet 개발 방안 연구 : 분노 감정을 중심으로 (The Study of Developing Korean SentiWordNet for Big Data Analytics : Focusing on Anger Emotion)

  • 최석재;권오병
    • 한국전자거래학회지
    • /
    • 제19권4호
    • /
    • pp.1-19
    • /
    • 2014
  • 빅데이터 내에 존재하는 감정 정보를 추출하여 사용자들이 특정 대상에 대하여 갖고 있는 인식이 어떠한지를 파악하고자 하는 노력이 활발히 이루어지고 있다. 상품, 영화, 그리고 사회적 이슈 등에 대한 문장을 분석하여 사람들이 해당 주제에 어떠한 견해를 가지고 있는지를 분석하고 측정하여 구체적인 선호도를 알아내는 것이다. 문장에서 드러나는 감정 정도를 얻기 위해서는 감정어휘의 목록과 정도값을 제시할 수 있는 감정어휘사전이 필요하므로 본 연구에서는 감정어휘를 발견하는 방법과 이들의 정도값을 결정하는 문제를 다룬다. 기본적인 방법은 기초 감정어휘의 목록 수집과 이들의 정도값은 선행연구 결과와 직접 설문 방식을 이용하고, 확장된 목록의 수집과 정도값은 사전의 표제어 설명부(glosses)를 이용해 추론하는 것이다. 그 결과 발견된 감정어휘는 전형성을 띠고 있는 기본형 감정어휘, 기본형 감정어휘의 gloss에 사용된 확장형 1단계 1층위 감정어휘, 비 감정어휘 중 gloss에 기본형 또는 확장형 감정어휘를 가지고 있는 확장형 2단계 1층위 감정어휘, gloss의 gloss에 기본형 또는 확장형 감정어휘가 사용된 확장형 2단계 2층위 감정어휘의 네 종류로 나뉜다. 그리고 확장형 감정어휘의 정도값은 기본형 감정어휘의 정도값을 기초로 문형의 가중치와 강조승수를 적용하여 얻었다. 실험 결과 AND, OR 문형은 내포된 어휘의 감정 정도값을 평균내는 가중치를, Multiply 문형은 정도 부사어의 종류에 따라 1.2~1.5의 가중치를 갖는 것으로 파악되었다. 또한 NOT 문형은 사용된 어휘의 감정 정도를 일정 정도로 낮추어 역전시키는 것으로 추정된다. 또한 확장형 어휘에 적용되는 강조승수는 1층위에서 2, 2층위에서 3을 갖는 것으로 예상된다.

가변 크기 문맥과 거리가중치를 이용한 동형이의어 중의성 해소 (Word sense disambiguation using dynamic sized context and distance weighting)

  • 이현아
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제38권4호
    • /
    • pp.444-450
    • /
    • 2014
  • 의미 중의성 해소를 위한 대부분의 기존 연구에서는 문장의 특성에 상관없이 고정적인 크기의 문맥을 사용해 왔다. 본 논문에서는 중의성 해소에서 문장에 따라 가변적인 크기의 문맥을 사용하는 가변길이 윈도우와 단어간 거리를 사용한 의미분석 방법을 제안한다. 세종코퍼스의 형태의미분석 말뭉치로 학습하여 12단어 32,735문장에 대해 실험한 결과에서 제안된 방법이 용언에 대하여 92.2%의 평균 정확도를 보여 고정 크기의 문맥을 사용한 경우에 비해 향상된 결과를 보였다.

Summarizing the Differences in Chinese-Vietnamese Bilingual News

  • Wu, Jinjuan;Yu, Zhengtao;Liu, Shulong;Zhang, Yafei;Gao, Shengxiang
    • Journal of Information Processing Systems
    • /
    • 제15권6호
    • /
    • pp.1365-1377
    • /
    • 2019
  • Summarizing the differences in Chinese-Vietnamese bilingual news plays an important supporting role in the comparative analysis of news views between China and Vietnam. Aiming at cross-language problems in the analysis of the differences between Chinese and Vietnamese bilingual news, we propose a new method of summarizing the differences based on an undirected graph model. The method extracts elements to represent the sentences, and builds a bridge between different languages based on Wikipedia's multilingual concept description page. Firstly, we calculate the similarity between Chinese and Vietnamese news sentences, and filter the bilingual sentences accordingly. Then we use the filtered sentences as nodes and the similarity grade as the weight of the edge to construct an undirected graph model. Finally, combining the random walk algorithm, the weight of the node is calculated according to the weight of the edge, and sentences with highest weight can be extracted as the difference summary. The experiment results show that our proposed approach achieved the highest score of 0.1837 on the annotated test set, which outperforms the state-of-the-art summarization models.

Language Model Adaptation Based on Topic Probability of Latent Dirichlet Allocation

  • Jeon, Hyung-Bae;Lee, Soo-Young
    • ETRI Journal
    • /
    • 제38권3호
    • /
    • pp.487-493
    • /
    • 2016
  • Two new methods are proposed for an unsupervised adaptation of a language model (LM) with a single sentence for automatic transcription tasks. At the training phase, training documents are clustered by a method known as Latent Dirichlet allocation (LDA), and then a domain-specific LM is trained for each cluster. At the test phase, an adapted LM is presented as a linear mixture of the now trained domain-specific LMs. Unlike previous adaptation methods, the proposed methods fully utilize a trained LDA model for the estimation of weight values, which are then to be assigned to the now trained domain-specific LMs; therefore, the clustering and weight-estimation algorithms of the trained LDA model are reliable. For the continuous speech recognition benchmark tests, the proposed methods outperform other unsupervised LM adaptation methods based on latent semantic analysis, non-negative matrix factorization, and LDA with n-gram counting.

들이와 무게의 단위에 대한 초등학교 수학 교과서 분석 (An Analysis of Capacity and Weight in the Elementary Mathematics Textbooks)

  • 권미선;방정숙
    • 대한수학교육학회지:학교수학
    • /
    • 제19권2호
    • /
    • pp.385-403
    • /
    • 2017
  • 본 연구에서는 초등학교 수학 교과서의 들이와 무게의 단위에 대한 내용을 단위, 단위 사이의 관계, 표준 단위의 필요성으로 세분화하여 분석하였다. 분석 결과, 단위와 관련하여 제5차 수학 교과서부터 2009 개정 수학 교과서까지 교과서에 제시된 단위의 표현, 단위의 표기, 단위의 종류, 단위의 기본량의 제시 방식에 차이가 있는 것으로 드러났다. 또한 2009 개정 수학 교과서의 내용은 국제단위계와 대체적으로 일치하지만 물의 무게를 통해 1kg을 정의하는 방식이 국제단위계와 차이가 있는 것으로 나타났다. 단위 사이의 관계와 관련하여 교과서에서는 대체적으로 단위 사이의 관계를 글로 제시하고 있었으나 2009 개정 수학 교과서에는 발문과 그림을 통해 그 이해를 돕는 것으로 나타났다. 마지막으로 표준 단위의 필요성과 관련하여 초등학교 수학 교과서에 임의 단위의 불편함을 통해 표준 단위의 보편성, 편리성을 모두 인식할 수 있는 활동이나 발문이 필요한 것으로 나타났다. 이 결과를 토대로 교과서에서 들이와 무게의 단위 제시에 관한 시사점을 제공한다.

중학교 교과서 식생활 내용분석 -가정, 체육, 과학을 중심으로- (Content Analysis of Food & Nutrition Section in Middle School Textbooks -Home Economics, Physical Education and Science-)

  • 이영숙;김영남
    • 한국가정과교육학회지
    • /
    • 제12권3호
    • /
    • pp.53-63
    • /
    • 2000
  • The purpose of this study was quantitative and qualitative contents analysis of food and nutrition section in middle school textbooks of home economics, physical education and science. As a quantitative approach numbers of sentence lines tables, figures, photos, activities, and exercises were counted. As a qualitative approach, types of explanations were categorized by 7 criteria, and commons and differences of the contents of those subjects were compared. The conclusions of this study were summarized as follows: 1) Contents of food and nutrition section were divided into nutrients. water. energy, food groups, and nutritional problems. When average sentence lines of each were compared, those of nutrients were the longest in all 3 subjects. 2) When compared the numbers of tables, figures, and photos in 3 subjects of textbooks, there were more figures in home economics and science, and more tables in physical education. 3) There were more activities and exercises in home economics an science than in physical education. 4) The D(sentences with table) or E type(sentences with figure) was adapted for the explanation of nutrients functions, recommended dietary allowance, food sources, food groups, eating habits, and weight control in home economics: nutritions functions and energy metabolism in physical education : and digestion, body constituents, energy metabolism, and detection of nutrients in science. 5) Contents about classification and functions of nutrients. food sources deficiency water, energy contents of nutrients and obesity were shown in all 3 subjects. Food groups and eating habits were explained in detail in home economics whereas digestion of nutrients in the digestive tracts were explained in detail in science. Recommended dietary allowance for Koreans and basic food groups revised in 1995 were presented in home economics, whereas those revised in 1989 were presented in physical education. To avoid confusion, recommended dietary allowance for Koreans and food groups presented in physical education tex should be updated.

  • PDF

육하원칙 활성화도를 이용한 신문기사 자동추출요약 (Automatic Extractive Summarization of Newspaper Articles using Activation Degree of 5W1H)

  • 윤재민;정유진;이종혁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권4호
    • /
    • pp.505-515
    • /
    • 2004
  • 육하원칙은 신문기사를 기술하는데 있어서 가장 기본적인 요소로서 기사 내용 파악에 핵심적인 역할을 수행한다. 본 논문은 이러한 육하원칙에 기반 하여 기술되는 신문기사의 특성에 주목하여, 육하원칙 활성화도를 이용한 신문기사 요약 방법론을 제안한다. 제안하는 방법론은 기존의 요약 기법 중 가장 우수한 방법으로 알려진 두문 기반 기법(lead-based method)과 제목 기반 기법(title-based method)의 문제점을 극복하기 위해, 제목과 두문의 정보를 결합시켜 충분한 어휘정보를 확보하도록 하였다. 특히 육하원칙 활성화도, 육하원칙 범주 개수, 문장 길이, 문장의 위치 둥과 같은 다양한 요소들을 문장 중요도 계산에 반영함으로써 보다 중요한 정보를 포함하면서도 가독성이 높은 문장들이 요약문으로 선택될 수 있도록 고려하였다. 제안된 방법론의 정확률은 74.7%로서 기존의 두문 기반 기법보다 우수한 성능을 보였으며, 신문기사를 자동 요약하는데 있어서 충분히 효과적으로 사용될 수 있는 방법론임을 실험을 통해 입증하였다.