• 제목/요약/키워드: Term weighting

검색결과 110건 처리시간 0.025초

범주 대표어의 가중치 계산 방식에 의한 자동 문서 분류 시스템 (Automatic Document Classification by Term-Weighting Method)

  • 이경찬;강승식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.475-477
    • /
    • 2002
  • 자동 문서 분류는 범주 특성 벡터와 입력 문서 벡터의 유사도 비교에 의해 가장 유사한 범주를 선택하는 방법이다. 문서 분류 시스템을 구현하기 위하여 각 범주의 특성 벡터를 정보 검색 시스템의 역파일 형태로 구축하였으며, 용어 가중치를 계산하는 방법을 달리하여 문서 분류 시스템의 정확도를 실험하였다. 실험 문서는 일간지의 신문기사들을 무작위로 추출한 문서 집합을 대상으로 하였으며, 정보 검색 모델에서 보편적으로 사용되는 TF-lDF 방식이 변형된 방식에 비해 더 나은 성능을 보였다.

  • PDF

A Study of Efficiency Information Filtering System using One-Hot Long Short-Term Memory

  • Kim, Hee sook;Lee, Min Hi
    • International Journal of Advanced Culture Technology
    • /
    • 제5권1호
    • /
    • pp.83-89
    • /
    • 2017
  • In this paper, we propose an extended method of one-hot Long Short-Term Memory (LSTM) and evaluate the performance on spam filtering task. Most of traditional methods proposed for spam filtering task use word occurrences to represent spam or non-spam messages and all syntactic and semantic information are ignored. Major issue appears when both spam and non-spam messages share many common words and noise words. Therefore, it becomes challenging to the system to filter correct labels between spam and non-spam. Unlike previous studies on information filtering task, instead of using only word occurrence and word context as in probabilistic models, we apply a neural network-based approach to train the system filter for a better performance. In addition to one-hot representation, using term weight with attention mechanism allows classifier to focus on potential words which most likely appear in spam and non-spam collection. As a result, we obtained some improvement over the performances of the previous methods. We find out using region embedding and pooling features on the top of LSTM along with attention mechanism allows system to explore a better document representation for filtering task in general.

사건 어휘의 특성을 반영한 다국어 사건 연결 탐색 (Multilingual Story Link Detection based on Properties of Event Terms)

  • 이경순
    • 정보처리학회논문지B
    • /
    • 제12B권1호
    • /
    • pp.81-90
    • /
    • 2005
  • 본 논문에서는 다국어 뉴스에 대해서 '시간' 요소와 '언어 공간' 요소를 사건 어휘의 가중치 계산에 반영하는 다국어 사건 연결 탐색하는 방법을 제안한다. 시간의 흐름과 다국어 공간상에서 어휘의 분포 특성을 어휘의 가중치로 반영하여 사건 중심 어휘에 변별력을 줌으로써 같은 사건을 다루는 문서를 탐색하도록 한다. 시간상에서 어휘가중치는 전체 시간의 모든 문서집합에서의 어휘 분포와 특정 시간의 문서집합에서의 어휘 분포를 비교함으로써 계산하고, 그 특정 시간의 어휘의 가중치로 표현한다. 두 개의 언어는 하나의 언어에서보다 더 많은 정보를 줄 수 있기 때문에, 각 언어공간에서 어휘의 중요도를 측정하고, 다국어 처리에서 다른 언어 공간에서의 정보를 참조함으로써 언어 공간에서의 참조 역할을 하도록 한다. 본 논문의 실험에서는 같은 기간의 한국어와 일본어 신문기사에 대해서 사건 연결 탐색 성능을 평가하였다. 일반적인 가중치 기법인 tfidf 가중치 기법과의 비교 평가에서, 제안 방법이 단일언어 문서쌍에 대한 사건 연결 탐색은 $14.3{\%}$, 다국어 문서쌍에 대한 사건 연결 탐색에서는 $16.7{\%}$의 성능 향상을 보였다. 제안한 가중치 요소에 대한 유효성을 검증하기 위해, 공간 밀집도를 측정하였는데, 같은 사건을 나타내는 문서들의 그룹에서는 높은 밀집도를 나타냈고, 서로 다른 사건을 나타내는 문서들의 그룹에서는 낮은 밀집도를 나타냈다. 이 결과를 통해서 시간과 공간 요소를 반영한 사건 어휘 가중치 방법이 단일언어 사건 연결 탐색뿐만 아니라 다국어 사건 연결 탐색에 효과적이라고 볼 수 있다.

난류열전달 증진을 위한 딤플형상의 최적설계 (Design Optimization of Dimple Shape to Enhance Turbulent Heat Transfer)

  • 최지용;김광용
    • 대한기계학회논문집B
    • /
    • 제30권7호
    • /
    • pp.700-706
    • /
    • 2006
  • This study presents a numerical procedure to optimize the shape of dimple surface to enhance turbulent heat transfer in a rectangular channel. The response surface based optimization method is used as an optimization technique with Reynolds-averaged Wavier-Stokes analysis of fluid flow and heat transfer with shear stress transport (SST) turbulence model. The dimple depth-to-dimple print diameter ratio, channel height-to-dimple print diameter ratio, and dimple print diameter-to-pitch ratio are chosen as design variables. The objective function is defined as a linear combination of heat transfer related term and friction loss related term with a weighting factor. full factorial method is used to determine the training points as a mean of design of experiment. The optimum shape shows remarkable performance in comparison with a reference shape.

신경회로망기법을 사용한 엇갈린 딤플 유로의 최적설계 (Design Optimization of a Staggered Dimpled Channel Using Neural Network Techniques)

  • 신동윤;김광용
    • 한국유체기계학회 논문집
    • /
    • 제10권3호
    • /
    • pp.39-46
    • /
    • 2007
  • This study presents a numerical procedure to optimize the shape of staggered dimple surface to enhance turbulent heat transfer in a rectangular channel. The RBNN method is used as an optimization technique with Reynolds-averaged Navier-Stokes analysis of fluid flow and heat transfer with shear stress transport (SST) turbulence model. The dimple depth-to-dimple print diameter (d/D), channel height-to-dimple print diameter ratio (H/D), and dimple print diameter-to-pitch ratio (D/S) are chosen as design variables. The objective function is defined as a linear combination of heat transfer related term and friction loss related term with a weighting factor. Latin Hypercube Sampling (LHS) is used to determine the training points as a mean of the design of experiment. The optimum shape shows remarkable performance in comparison with a reference shape.

통합 베이즈 총변이 정규화 방법과 영상복원에 대한 응용 (An Unified Bayesian Total Variation Regularization Method and Application to Image Restoration)

  • 류재흥
    • 한국전자통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.41-48
    • /
    • 2022
  • 본 논문은 통합 베이즈 티코노프 정규화 방법을 총변이 정규화에 대한 해법으로 제시한다. 통합된 방법은 총변이 항을 가중된 티코노프 정규화 항으로 변형하여 정규화 모수를 구하는 공식을 제시한다. 정규화 모수를 구하고 이를 바탕으로 새로운 가중인수를 구하는 것을 복원된 영상이 수렴하기까지 반복한다. 실험결과는 영상 복원 문제에 대하여 제안하는 방법의 효능을 보여준다.

HF-IFF: TF-IDF를 응용한 병증-본초 연관성(relevancy) 측정과 본초 특성의 시각화 -청강의감 방제를 대상으로- (HF-IFF: Applying TF-IDF to Measure Symptom-Medicinal Herb Relevancy and Visualize Medicinal Herb Characteristics - Studying Formulations in Cheongkangeuigam -)

  • 오준호
    • 대한본초학회지
    • /
    • 제30권3호
    • /
    • pp.63-68
    • /
    • 2015
  • Objectives : We applied the term weighting method used in the field of data search to quantify relevancy between symptoms and medicinal herbs, and, based on this, we aim to introduce a method of visualizing the characteristics of medicinal herbs. Methods : We proposed HF-IFF, an adaptation of TF-IDF, which is a term weighting measurement method adapted in the field of data search. Using this method, we deduced relevancy between symptoms and medicinal herbs In Cheongkangeuigam that was published in 1984 by organizing the medical theory of Cheongkang, Kim Younghoon, and visualized this as a graph in order to compare the characteristics of medicinal herbs used for different symptoms. Results : HF-IFF is the product of HF and IFF, where HF is the frequency of the relevant medicinal herb for a set of symptoms, and IFF is the inverse of the number of formulations (FF) containing that herb. A total of 251 types of medicinal herb are used in Cheongkangeuigam, and 1538 formulations are classified according to 67 types of symptom. The overall mean for HF-IFF was 0.491, with a maximum of 4.566 and a minimum of 0.013. Conclusions : In spite of several limitations, we were able to use HF-IFF to measure relevancy between symptoms and medicinal herbs, with formulations as an intermediate. We were able to use the quantified results to visually express the characteristics of the herbs used for symptoms by bubble chart and word-cloud from HF-IFF.

래티스 웨이트 변환을 통한 효과적인 3D 캐릭터 스킨 웨이트 솔루션 제안 (Solutions for the Effective 3D Character Skin Weight by converting Lattice Weight)

  • 송밝음;이현석
    • 만화애니메이션 연구
    • /
    • 통권44호
    • /
    • pp.33-56
    • /
    • 2016
  • 게임 및 영화산업의 급속한 확장에 따라 CG(Computer Graphic)로 구현되는 3D 애니메이션 캐릭터에 대한 연구가 활발히 진행되고 있다. 특히, 삼차원으로 제작되는 캐릭터의 사실적인 움직임을 구현하기 위해서는 뼈와 폴리곤 면을 합쳐주는 리깅(Rigging) 작업과정을 거치게 된다. CG 관련 기술의 급속한 발전에 따라 리깅 작업 과정 또한 보다 정교해지고 있다. 하지만, 기술적인 발전에도 불구하고 여전히 리깅 작업 과정에서 시간적 비효율성, 단순 반복 작업 등의 한계점을 보이고 있다. 본 연구에서는 기존에 사용되는 캐릭터 리깅 방법의 문제점과 비효율성을 분석하고, 보다 효과적인 솔루션을 제안하고자 한다. 이를 위한 연구의 전개는 첫째, 리깅에 대한 일반적 작업과정과 스킨 웨이팅(Skin Weighting)에 대해 기술적 고찰을 하였다. 둘째, 기존 조인트(Joint)만 활용하여 스킨 웨이트(Skin Weight)를 하는 일반적 방법과 여기서 한 단계 발전된 방식으로 다양한 디포머(Deformer)를 활용한 웨이팅 방식을 비교 분석하였다. 셋째, 본 연구에서 제안하는 방법으로써, 디포머인 래티스(Lattice)를 활용하여 웨이팅하고 래티스를 사용한 디포머를 다시 스킨 웨이팅으로 변환하는 방법에 대해 실험연구를 진행한다. 넷째, 기존 방법과 본 연구에서 제안하는 방법에 대해 첫째, 웨이팅을 통해 형성된 지오메트리(Geometry)가 애니메이션의 순차적 움직임에 적절한 형태로 바뀌는지, 둘째, 두 개 이상의 지오메트리가 동시에 효과적으로 웨이팅이 되는지, 셋째, 효율적인 웨이팅 과정을 통한 작업시간의 단축이 이루어지는지를 중심으로 비교 분석하여, 본 연구에서 제시하는 스킨 웨이팅 방법의 효율성에 대해 검증한다. 본 연구를 통해 래티스를 활용한 스킨 웨이팅 작업 진행 결과, 웨이팅 작업과정의 핵심인 페인트 웨이트(Paint weight) 작업이 매우 효율적으로 진행되었으며, 작업시간의 단축 효과와 더불어 작업 결과물의 완성도도 매우 높음을 알 수 있었다. 본 실험연구를 통해 보다 효율적인 캐릭터 스킨 웨이트 방법이 관련 분야 전문가와 학술적 접근에 있어서 기초 자료로 활용되기를 기대한다.

Evaluation of Optimum Genetic Contribution Theory to Control Inbreeding While Maximizing Genetic Response

  • Oh, S.H.
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제25권3호
    • /
    • pp.299-303
    • /
    • 2012
  • Inbreeding is the mating of relatives that produce progeny having more homozygous alleles than non-inbred animals. Inbreeding increases numbers of recessive alleles, which is often associated with decreased performance known as inbreeding depression. The magnitude of inbreeding depression depends on the level of inbreeding in the animal. Level of inbreeding is expressed by the inbreeding coefficient. One breeding goal in livestock is uniform productivity while maintaining acceptable inbreeding levels, especially keeping inbreeding less than 20%. However, in closed herds without the introduction of new genetic sources high levels of inbreeding over time are unavoidable. One method that increases selection response and minimizes inbreeding is selection of individuals by weighting estimated breeding values with average relationships among individuals. Optimum genetic contribution theory (OGC) uses relationships among individuals as weighting factors. The algorithm is as follows: i) Identify the individual having the best EBV; ii) Calculate average relationships ($\bar{r_j}$) between selected and candidates; iii) Select the individual having the best EBV adjusted for average relationships using the weighting factor k, $EBV^*=EBV_j(1-k\bar{{r}_j})$ Repeat process until the number of individuals selected equals number required. The objective of this study was to compare simulated results based on OGC selection under different conditions over 30 generations. Individuals (n = 110) were generated for the base population with pseudo random numbers of N~ (0, 3), ten were assumed male, and the remainder female. Each male was mated to ten females, and every female was assumed to have 5 progeny resulting in 500 individuals in the following generation. Results showed the OGC algorithm effectively controlled inbreeding and maintained consistent increases in selection response. Difference in breeding values between selection with OGC algorithm and by EBV only was 8%, however, rate of inbreeding was controlled by 47% after 20 generation. These results indicate that the OGC algorithm can be used effectively in long-term selection programs.

Cognitive Virtual Network Embedding Algorithm Based on Weighted Relative Entropy

  • Su, Yuze;Meng, Xiangru;Zhao, Zhiyuan;Li, Zhentao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권4호
    • /
    • pp.1845-1865
    • /
    • 2019
  • Current Internet is designed by lots of service providers with different objects and policies which make the direct deployment of radically new architecture and protocols on Internet nearly impossible without reaching a consensus among almost all of them. Network virtualization is proposed to fend off this ossification of Internet architecture and add diversity to the future Internet. As an important part of network virtualization, virtual network embedding (VNE) problem has received more and more attention. In order to solve the problems of large embedding cost, low acceptance ratio (AR) and environmental adaptability in VNE algorithms, cognitive method is introduced to improve the adaptability to the changing environment and a cognitive virtual network embedding algorithm based on weighted relative entropy (WRE-CVNE) is proposed in this paper. At first, the weighted relative entropy (WRE) method is proposed to select the suitable substrate nodes and paths in VNE. In WRE method, the ranking indicators and their weighting coefficients are selected to calculate the node importance and path importance. It is the basic of the WRE-CVNE. In virtual node embedding stage, the WRE method and breadth first search (BFS) algorithm are both used, and the node proximity is introduced into substrate node ranking to achieve the joint topology awareness. Finally, in virtual link embedding stage, the CPU resource balance degree, bandwidth resource balance degree and path hop counts are taken into account. The path importance is calculated based on the WRE method and the suitable substrate path is selected to reduce the resource fragmentation. Simulation results show that the proposed algorithm can significantly improve AR and the long-term average revenue to cost ratio (LTAR/CR) by adjusting the weighting coefficients in VNE stage according to the network environment. We also analyze the impact of weighting coefficient on the performance of the WRE-CVNE. In addition, the adaptability of the WRE-CVNE is researched in three different scenarios and the effectiveness and efficiency of the WRE-CVNE are demonstrated.