• 제목/요약/키워드: Document Categorizing

검색결과 10건 처리시간 0.022초

Apriori알고리즘에 의한 연관 단어 지식 베이스에 기반한 가중치가 부여된 베이지만 자동 문서 분류 (Weighted Bayesian Automatic Document Categorization Based on Association Word Knowledge Base by Apriori Algorithm)

  • 고수정;이정현
    • 한국멀티미디어학회논문지
    • /
    • 제4권2호
    • /
    • pp.171-181
    • /
    • 2001
  • 기존의 베이지만 문서 분류를 위한 단어 군집 방법은 많은 시간과 노력을 요구하며, 단어 간의 의미 관계를 정확하게 반영하지 못하는 문제점이 있다. 본 논문에서는 마이닝 기법으로 구축된 연관 단어 지식 베이스를 기반으로 하는 베이지안 문서 분류 방법을 제안한다. 제안된 베이지안 문서 분류 방법은 문서를 분류하기 전에 훈련 문서를 사용하여 가중치가 부여된 연관 단어 지 식 베이스를 구축한다. 그 다음으로, 베이지안 확률을 이용하는 분류자는 구축된 연관 단어 지식 베이스를 기반으로 문서를 클래스별로 분류한다. 제안된 방법의 성능을 평가하기 위해, 상호 정보 계산에 의한 단어 사전을 이유한 가중치가 부여된 베이지안 문서 분류 방법, 가중치가 부여된 베이지안 분류 방법, 기존의 단순 베이지안 분류 방법과 비교하였다. 그 결과, 연관 단어 지식 베이스에 기반한 가중치가 부여된 베이지안 분류 방법이 상호 정보에 의한 단어 사진을 이용하는 가중치가 부여된 베이지안 분류 방법보다는 0.87%, 가중치가 부여된 베이지안 분류 방법보다는 2.77%, 단순 베이지안 방법보다는 5.97% 높은 성능 차이를 보였다.

  • PDF

Dynamic Text Categorizing Method using Text Mining and Association Rule

  • Kim, Young-Wook;Kim, Ki-Hyun;Lee, Hong-Chul
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권10호
    • /
    • pp.103-109
    • /
    • 2018
  • In this paper, we propose a dynamic document classification method which breaks away from existing document classification method with artificial categorization rules focusing on suppliers and has changing categorization rules according to users' needs or social trends. The core of this dynamic document classification method lies in the fact that it creates classification criteria real-time by using topic modeling techniques without standardized category rules, which does not force users to use unnecessary frames. In addition, it can also search the details through the relevance analysis by calculating the relationship between the words that is difficult to grasp by word frequency alone. Rather than for logical and systematic documents, this method proposed can be used more effectively for situation analysis and retrieving information of unstructured data which do not fit the category of existing classification such as VOC (Voice Of Customer), SNS and customer reviews of Internet shopping malls and it can react to users' needs flexibly. In addition, it has no process of selecting the classification rules by the suppliers and in case there is a misclassification, it requires no manual work, which reduces unnecessary workload.

연관규칙을 이용한 뉴스기사의 계층적 자동분류기법 (Hierarchical Automatic Classification of News Articles based on Association Rules)

  • 주길홍;신은영;이주일;이원석
    • 한국멀티미디어학회논문지
    • /
    • 제14권6호
    • /
    • pp.730-741
    • /
    • 2011
  • 인터넷과 컴퓨터 기술이 발전함에 따라 정보의 양이 폭발적으로 증가하였으며 사용자의 다양한 요구가 생겨나게 되었다. 이로 인해 대용량의 문서를 효과적으로 분류하기 위한 다양한 방법의 연구가 필요하게 되었다. 기존의 문서 범주화는 분서의 분류를 위해 연관된 문서의 키워드를 중심으로 하는 방법을 사용하였다. 그러나 본 논문에서는 연관규칙을 이용하여 범주 내의 문서들 간에 연관성 있는 키워드들의 집합을 추출하고 각 범주 별로 의미적으로 대표성을 가진 키워드들로 분류 규칙을 생성한다. 또한 효율적인 키워드 생성을 위한 데이터 전처리 방안을 제시하고, 새로운 문서 범주를 예측한다. 프로파일의 분류성능을 높이기 위한 분류함수를 설계하고 실험을 통하여 성능을 측정한다. 마지막으로 평면적인 범주 구조에서 확장하여 계층적인 분류체계 구조에서도 적용할 수 있는 자동분류 방안을 제시한다.

단일 카테고리 문서의 다중 카테고리 자동확장 방법론 (A Methodology for Automatic Multi-Categorization of Single-Categorized Documents)

  • 홍진성;김남규;이상원
    • 지능정보연구
    • /
    • 제20권3호
    • /
    • pp.77-92
    • /
    • 2014
  • 텍스트에 대한 사용자의 접근성을 향상시키기 위해, 이들 문서는 정해진 기준에 따라 카테고리로 분류되어 제공되고 있다. 과거에는 카테고리 분류 작업이 수작업으로 수행되었지만, 문서 작성자에게 분류를 맡기는 경우 분류 정확성을 보장할 수 없고 관리자가 모든 분류를 담당하는 경우 많은 시간과 비용이 소요된다는 어려움이 있었다. 이러한 한계를 극복하기 위해 카테고리를 자동으로 식별할 수 있는 문서 분류 기법에 대한 연구가 활발하게 수행되었다. 하지만 대부분의 문서 분류 기법은 각 문서가 하나의 카테고리에만 속하는 경우를 가정하고 있기 때문에, 하나의 문서가 다양한 주제를 갖는 실제 상황과 부합하지 않는다는 한계를 갖는다. 이를 보완하기 위해 최근 문서의 다중 카테고리 식별을 위한 연구가 일부 수행되었으나, 이들 연구는 대부분 이미 다중 카테고리가 부여되어 있는 문서에 대한 학습을 통해 분류 규칙을 생성하므로 단일 카테고리만 부여되어 있는 기존 문서의 다중 카테고리 식별에는 적용할 수 없다는 제약을 갖는다. 따라서 본 연구에서는 이러한 제약을 극복하기 위해, 카테고리, 토픽, 문서간 관계 분석을 통해 단일 카테고리를 갖는 문서로부터 추가 주제를 발굴하여 이를 다중 카테고리로 자동 확장시킬 수 있는 방법론을 제안하였다. 실험 결과 원 카테고리가 식별된 총 24,000건의 문서 중 23,089건에 대해 카테고리를 확장시킬 수 있었다. 또한 정확도 분석에서 카테고리의 특성에 따라 카테고리 분류 정확도가 상이하게 나타나는 현상을 발견하였다. 본 연구는 단일 카테고리로 분류된 문서에 대해 다중 카테고리를 추가로 식별하여 부여함으로써, 규칙 학습 과정에서 다중 카테고리가 부여된 문서를 필요로 하는 기존 다중 카테고리 문서 분류 알고리즘의 활용성을 매우 향상시킬 수 있을 것으로 기대한다.

텍스트마이닝 기반의 인적재난사고사례 신뢰도 측정연구 (Measuring the Confidence of Human Disaster Risk Case based on Text Mining)

  • 이영재;이성수
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제20권3호
    • /
    • pp.63-79
    • /
    • 2011
  • Deducting the risk level of infrastructure and buildings based on past human disaster risk cases and implementing prevention measures are important activities for disaster prevention. The object of this study is to measure the confidence to proceed quantitative analysis of various disaster risk cases through text mining methodology. Indeed, by examining confidence calculation process and method, this study suggests also a basic quantitative framework. The framework to measure the confidence is composed into four stages. First step describes correlation by categorizing basic elements based on human disaster ontology. Secondly, terms and cases of Term-Document Matrix will be created and the frequency of certain cases and terms will be quantified, the correlation value will be added to the missing values. In the third stage, association rules will be created according to the basic elements of human disaster risk cases. Lastly, the confidence value of disaster risk cases will be measured through association rules. This kind of confidence value will become a key element when deciding a risk level of a new disaster risk, followed up by preventive measures. Through collection of human disaster risk cases related to road infrastructure, this study will demonstrate a case where the four steps of the quantitative framework and process had been actually used for verification.

젠더 뉴트럴 남성 패션에 사용된 핑크색의 특성과 패션이미지 분석 (A Study on Characteristics of Pink Color and Fashion Images Used in Gender Neutral Men's Fashion)

  • 홍윤정;주미영
    • 패션비즈니스
    • /
    • 제24권5호
    • /
    • pp.52-71
    • /
    • 2020
  • This study examines the color characteristics of the usage of the color pink in menswear by analyzing its usage status and method. It involves an empirical research method establishing the frame of the study through a document study centered on trend, gender neutral considerations, and the utilization of the color pink in men's fashion, by analyzing the characteristics of color and tone by extracting the pink color shown in menswear collections as well as analyzing and categorizing the fashion image and genderless characteristics. Analyzing the color and tone of the pink color shown indicate that bright, light and pale tones had higher proportions. Pink color can also be said to be utilized as a design element that gives off a younger and more vital color image in menswear. Further, the use of brighter and softer pink colors can be interpreted as reflecting modern society's demands of masculinity to change into a more sophisticated and soft image. To analyze the characteristics of the color pink utilized in gender neutral fashion, fashion images were presented as the analysis standard. An image grouping technique was used to classify pink while utilizing genderless types-fashion style. The result showed that even with the same pink color, the fashion image can vary with different methods of expression in terms of clothes and styling. The results of this study can serve as basic data for planning fashion design concepts as it analyzed pink-using fashion images and the genderless concept type.

중소기업 정보화 수준 격차 해소방안에 관한 국가 간 비교연구 (How can we narrow the digital divide among SMEs in APEC member economies?)

  • 권순동;양희동;손용엽;이성봉;서진영;조택희
    • Journal of Information Technology Applications and Management
    • /
    • 제12권2호
    • /
    • pp.79-106
    • /
    • 2005
  • This study, by adopting case study methodology, is focused on examining the present state and analyzing the cause of the digital divide, and suggesting policies for bridging the divide, specifically in view of SMEs. We have taken cases of manufacturing companies, visiting and interviewing 18 SMEs in 10 APEC member economies which show sharp difference in usage of ICT. In order to analyze the digital gap among SMEs, we used 5 variables that are composed of computer hardware, computer software, Internet, readiness of ICT, and performance of ICT adoption, while categorizing the cases into low and high tier based on the national ICT index. From a computer hardware perspective, the high tier (0.66) has almost double the number of PC’s per employee, compared with the low tiers (0.34). This gap can be explained by financial availability of low income and high tariff in the developing economies. In the computer software perspective, the SMEs in the low tier had some restrictive use of computer applications such as financial and accounting management and document management, while those in the high tier enjoyed more diversity in the use of applications such as inventory management, sales management, financial and accounting management, procurement management, CRM, and ERP. In view of the readiness of ICT, the difference in ICT infrastructure and financial status between the low and high tier was far wider than any other variables. As a result of ICT adoption, SMEs benefited in view of learning and growth, internal business processes, customer service, and financial affairs. To effectively bridge the digital divide between the low and high tier, actions such as setting up a secondary market of used computers among cooperating developed and developing countries, developing and diffusing good business applications, and building speedy, low-cost telecommunication infrastructures should be taken.

  • PDF

아파트 하자 보수 시설공사 세부공종 머신러닝 분류 시스템에 관한 연구 (Classifying Sub-Categories of Apartment Defect Repair Tasks: A Machine Learning Approach)

  • 김은혜;지홍근;김지나;박은일;엄재용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권9호
    • /
    • pp.359-366
    • /
    • 2021
  • 대한민국 건설사들은 아파트 하자 정보를 축적하고 보수작업을 관리하기 위한 시스템을 운영하는데 상당한 인력과 비용을 투자하고 있다. 본 연구에서는 하자 접수 상세내용 텍스트 데이터를 이용하여 하자 보수 시설공사에 따른 세부공종을 분류하는 머신러닝 모델을 제안한다. 두 가지 단어 임베딩(Bag-of-words, Term Frequency-Inverse Document Frequency (TF-IDF))과 두 가지 분류기(Support Vector Machine, Random Forest)를 통해 한국어로 작성된 65만건 이상의 하자 접수데이터로부터 하자보수 시설공사 세부공종을 분류했다. 특히, 이번 연구에서는 특정 시설공사(마감공사)의 9개 세부공종(가전제품, 도배공사, 도장공사, 미장공사, 석공사, 수장공사, 옥내가구공사, 주방기구공사, 타일공사)을 분류하는 이진분류 모델과 다중 분류 모델을 연구했다. 그 결과, TF-IDF와 Random Forest를 사용한 두가지 분류 모델에서 90%이상의 정확도, 정밀도, 재현율 및 F1점수를 확인했다.

고준위방사성폐기물 심층처분시설 안전성평가 입력자료 관리를 위한 해외사례 분석 (Review of International Cases for Managing Input Data in Safety Assessment for High-Level Radioactive Waste Deep Disposal Facilities)

  • 강미경;박하나;박선주;정해식;윤운상;이정환
    • 자원환경지질
    • /
    • 제56권6호
    • /
    • pp.887-897
    • /
    • 2023
  • 스웨덴, 스위스, 영국 등 폐기물 처분 선도국들은 고준위방사성폐기물 심층처분시설의 계획, 부지선정, 건설, 운영, 폐쇄, 그리고 폐쇄 후 관리 전 단계에서 안전성평가를 수행하고 있다. 안전성평가는 각 단계에서 반복적으로 이루어지며, 장기간에 걸쳐 다양하고 방대한 양의 데이터를 생성하므로, 안전성평가 자료를 위한 데이터베이스를 구축하고 효과적으로 관리하기 위한 자료관리체계를 구축하는 것이 필수적이다. 본 연구에서는 폐기물 처분 분야에서 선도적인 국가의 안전성평가 자료관리체계를 1) 안전성평가 입력 및 참조자료, 2) 자료관리 지침, 3) 자료관리 조직, 그리고 4) 자료관리 전산시스템으로 구분하여 분석하였다. 각 국가는 특정 부분에서는 차이를 보였지만, 안전성평가 입력자료를 처분 시스템 구성 요소를 기반으로 분류하고, 이를 제공, 사용, 관리하는 조직을 설립하며, 지침 및 매뉴얼에 따라 품질관리 체계를 구현하는 등 공통적인 특성을 보이고 있다. 이러한 사례들은 고준위방사성폐기물 처분시설의 안전성을 확보하고 신뢰성을 향상시키기 위해 효과적으로 데이터 관리 시스템과 문서 관리 시스템을 구축하는 것이 중요하다는 것을 시사한다. 이를 위해서는 유연하게 활용 가능한 입력자료의 분류, 입력자료의 일관성과 추적성 보장, 그리고 입력자료와 문서관리를 위한 품질관리 체계를 수립하는 것이 필요하다.

개인 일기의 연구 자료로서의 가치와 전망 "5월12일 일기컬렉션"을 중심으로 (Value and Prosect of individual diary as research materials : Based on the "The 12th May Diaries Collection")

  • 최효진;임진희
    • 기록학연구
    • /
    • 제46호
    • /
    • pp.95-152
    • /
    • 2015
  • 일상아카이브란 '보통사람들'의 삶과 문화를 구체화, 범주화하여 이에 따라 개인이나 공동체, 더 나아가 한 사회의 기억과 이를 담은 기록물을 수집, 평가, 선별, 보존하는 조직이나 시설, 장소를 말한다. 일기를 비롯해 자서전, 회고록, 편지, 메모 등 실물자료와 온라인 공간에서 주고받는 블로그나 카페 게시물, SNS에 업로드되는 일상의 사진도 여기에 속한다. 이렇게 매 순간 생산되는 일상기록의 수집과 보존에 관한 필요성이 기록학계를 비롯해 다양한 분야에서 제기되고 있다. 특히 일기는 시대를 불문하고 한 개인이 매일같이 경험한 사실과 자아성찰 등을 정리한 글로서 기록의 원천성과 개별성, 유일성 등의 가치가 크게 중요시 되고 있다. 최근 여러 편의 일기들이 발굴, 소개되면서 역사학을 비롯해 다양한 인문사회과학 분야에서도 일기와 기록주체, 생산된 시대 연구가 이루어져왔다. 또한 언어학, 교육학, 심리학 등의 분야에서는 일기에서 관찰되는 언어습관, 문화수용양상, 저자의 감정이나 심리변화 등을 분석한다. 이 글에서는 국내외에서 이루어지는 일기 관련 연구 동향을 정리하고 이 맥락에서 일상기록으로서 "5월12일 일기컬렉션"이 갖는 의미를 찾는다. "5월12일 일기컬렉션"은 매년 5월12일 시민들이 직접 생산, 기증한 일기로 구성되어 있다. 명지대 디지털아카이빙연구소가 2013년 첫 '5월12일 일기수집 이벤트'를 개최한지 3년이 되는 현재 유치원생부터 80대 참가자들이 육필 (그림)일기, 전자문서, 디지털사진/영상, 음성녹음 등 다양한 유형으로 생산된 일기가 2천여 건 수집되었다. 이 글에서는 이렇게 수집된 일기를 정량적으로 분석하고 개별 기록물들이 어떤 내용을 담고 있는지를 살펴본다. 가족, 친구, 학교생활, 진로고민 등 연령별 지역별 직업별로 시민들의 생활상과 진솔한 고민을 읽을 수 있다. 개별 기록물에서 추출되는 키워드와 주제어에 따라 이 일기들이 담고 있는 주제를 더욱 포괄적으로 살펴보고자 한다. 또한 수집된 일기들을 형식과 내용에 따라 연구자료로 언어학, 교육학을 비롯해 역사학, 인류학 등 다양한 학문 분야에서 어떻게 활용될 수 있을지 그 연구 가능성을 제언해본다. 그리고 "5월12일 일기컬렉션"이 일상아카이브로서 수집, 보존되기 위해 필요한 과제가 무엇인지 살펴본다.