• 제목/요약/키워드: Dictionary Construction

검색결과 111건 처리시간 0.029초

교정사전과 신문기사 말뭉치를 이용한 한국어 철자 오류 교정 모델 (A Spelling Error Correction Model in Korean Using a Correction Dictionary and a Newspaper Corpus)

  • 이세희;김학수
    • 정보처리학회논문지B
    • /
    • 제16B권5호
    • /
    • pp.427-434
    • /
    • 2009
  • 인터넷 및 모바일 환경의 빠른 발전과 함께 신조어나 줄임말과 같은 철자 오류들을 포함하는 텍스트들이 활발히 통용되고 있다. 이러한 철자 오류들은 텍스트의 가독성을 떨어뜨림으로써 자연어처리 응용들을 개발하는데 걸림돌이 된다. 이러한 문제를 해결하기 위해서 본 논문에서는 철자오류 교정사전과 신문기사 말뭉치를 이용한 철자 오류 교정 모델을 제안한다. 제안 모델은 구하기 쉬운 신문기사 말뭉치를 학습 말뭉치로 사용하기 때문에 데이터 구축비용이 크지 않다는 장점이 있다. 또한 교정사전 기반의 단순 매칭 방법을 사용하기 때문에 띄어쓰기 교정 시스템이나 형태소 분석기와 같은 별도의 외부 모듈이 필요 없다는 장점이 있다. 신문기사 말뭉치와 실제 휴대폰에서 수집한 문자 메시지 말뭉치를 이용한 실험 결과, 제안 모델은 다양한 평가 척도에서 비교적 높은 성능(오교정률 7.3%, F1-척도 97.3%, 위양성율 1.1%)을 보였다.

텍스트마이닝을 이용한 사회 이슈 찬반 분류에 관한 연구 (Study on the social issue sentiment classification using text mining)

  • 강선아;김유신;최상현
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권5호
    • /
    • pp.1167-1173
    • /
    • 2015
  • 정보통신기술의 발전은 SNS, 블로그, 게시판 등 자신의 생각이나 의견을 표출할 수 있는 장소의 다양성을 제공하였고 이는 빅데이터 성장을 가능케 하였다. 특히 매순간마다 엄청난 수의 사용자가 이용가능하고 다양한 이슈에 대한 의견을 작성할 수 있는 SNS의 특징으로 인해 많은 사람들이 트위터 등에 사회적 이슈에 대한 자신의 의견을 드러낸다. 따라서 본 연구에서는 트위터에서 작성되는 사회 이슈에 대한 의견을 수집하여 사회이슈를 주제로 하는 감성사전을 구축하고 구축된 감성사전을 통해 감성 분석을 실시하고자 한다. 사용된 데이터는 '비키니', '나꼼수'를 포함하는 트윗 글이다. 사회이슈에 특화된 주제지향 감성사전을 구축하고 구축된 감성사전을 통해 긍부정 의견을 분석한 결과 Precision은 61%로 나타났으며 F1-score는 74%의 성능을 보여주었다. 본 연구는 정치적 색을 띄고 있는 특정 사회 이슈에 대한 트윗 작성자의 의견이 긍정인지 부정인지 자동으로 분류할 수 있도록 하는 사전 구축의 하나의 기준을 제시할 것이라 기대한다.

사전을 기반으로 한 한국어 의미망 구축과 활용 (Construction and application of Korean Semantic-Network based on Korean Dictionary)

  • 최호섭;옥철영;장문수;장명길
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.448-450
    • /
    • 2002
  • 시소러스 의미망, 온톨로지 등과 같은 지식베이스는 자연언어처리와 관련된 여러 분야에서 중요한 언어자원의 역할을 담당하고 있다. 하지만 정보검색, 기계번역과 같은 특정 분야마다 다르게 구축되어 이러한 지식베이스는 실질적인 한국어 처리에는 크게 효과를 보지 못하고 있는 실정이다. 본 논문은 한국어를 대상으로 한 시소러스, 의미망의 등의 구축 방법론적 문제를 지적하고 말뭉치를 중심으로 한 텍스트 언어처리에 필요한 의미망의 구축 방법과 포괄적인 활용방안을 모색한다. 의미망 구축의 기반이 되는 지식은 각종 사전(dictionary)를 이용했으며, 구축하고 있는 의미망의 활용 가능성을 평가하기 위하여 ETRI의 의미기반 정보검색과 언어처리의 큰 문제 중 하나인 단어 중의성 해소(WSD)에서 어떻게 활용되는지를 살핀다. 그리하여 언어자인의 처리 방안 중의 하나인 의미망을 구축함으로써 언어를 효과적으로 처리하기 위한 기본적이면서 중요한 어휘 데이터베이스 마련과 동시에 언어자원 구축의 한 방향을 제시하고자 한다.

  • PDF

베트남어 사전을 사용한 베트남어 SentiWordNet 구축 (Construction of Vietnamese SentiWordNet by using Vietnamese Dictionary)

  • 뷔쉬에손;박성배
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.745-748
    • /
    • 2014
  • SentiWordNet is an important lexical resource supporting sentiment analysis in opinion mining applications. In this paper, we propose a novel approach to construct a Vietnamese SentiWordNet (VSWN). SentiWordNet is typically generated from WordNet in which each synset has numerical scores to indicate its opinion polarities. Many previous studies obtained these scores by applying a machine learning method to WordNet. However, Vietnamese WordNet is not available unfortunately by the time of this paper. Therefore, we propose a method to construct VSWN from a Vietnamese dictionary, not from WordNet. We show the effectiveness of the proposed method by generating a VSWN with 39,561 synsets automatically. The method is experimentally tested with 266 synsets with aspect of positivity and negativity. It attains a competitive result compared with English SentiWordNet that is 0.066 and 0.052 differences for positivity and negativity sets respectively.

Cost Effective Image Classification Using Distributions of Multiple Features

  • Sivasankaravel, Vanitha Sivagami
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권7호
    • /
    • pp.2154-2168
    • /
    • 2022
  • Our work addresses the issues associated with usage of the semantic features by Bag of Words model, which requires construction of the dictionary. Extracting the relevant features and clustering them into code book or dictionary is computationally intensive and requires large storage area. Hence we propose to use a simple distribution of multiple shape based features, which is a mixture of gradients, radius and slope angles requiring very less computational cost and storage requirements but can serve as an equivalent image representative. The experimental work conducted on PASCAL VOC 2007 dataset exhibits marginally closer performance in terms of accuracy with the Bag of Word model using Self Organizing Map for clustering and very significant computational gain.

Construction of Local Data Dictionary in the Field of Nuclear Medicine

  • Hwang, Kyung-Hoon;Lee, Haejun
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.465-465
    • /
    • 2010
  • A controlled medical vocabulary is a vital component of medical information management because it enables computers to use information meaningfully and different institutions to share the medical data. There are currently many standard medical vocabularies - SNOMED-CT, ICD-10, UMLS, GALEN, MED, etc, but none is universally accepted as an optimal controlled medical vocabulary for application to medical information system. Moreover, it is difficult to settle the well-designed local data dictionary consisting of controlled medical vocabularies for the individual hospital information system (HIS). One of the major reasons is the local terminology with poor contents have been used in the hospital. Thus, as a trial, the local controlled vocabulary referencing system has being constructed in a limited medical field - nuclear medicine. We selected practical nuclear medicine terms from interpretation reports and electronic medical records, and removed ambiguity and redundancy, mapping the selected terms to standard medical vocabularies. Relationship and hierarchy structure between terms have being made, referring to standard medical vocabularies. Further studies may be warranted.

용어 사전의 특성이 문서 분류 정확도에 미치는 영향 연구 (Analyzing the Effect of Characteristics of Dictionary on the Accuracy of Document Classifiers)

  • 정해강;김남규
    • 경영과정보연구
    • /
    • 제37권4호
    • /
    • pp.41-62
    • /
    • 2018
  • 다양한 소셜 미디어 활동과 인터넷 뉴스 기사, 블로그 등을 통해 유통되는 비정형 데이터의 양이 급증함에 따라 비정형 데이터를 분석하고 활용하기 위한 연구가 활발히 진행되고 있다. 텍스트 분석은 주로 특정 도메인 또는 특정 주제에 대해 수행되므로, 도메인별 용어 사전의 구축과 적용에 대한 중요성이 더욱 강조되고 있다. 용어 사전의 품질은 비정형 데이터 분석 결과의 품질에 직접적인 영향을 미치게 되며, 분석 과정에서 정제의 역할을 수행함으로써 분석의 관점을 정의한다는 측면에서 그 중요성이 더욱 강조된다. 이렇듯 용어 사전의 중요성은 기존의 많은 연구에서도 강조되어 왔으나, 용어 사전이 분석 결과의 품질에 어떤 방식으로 어떤 영향을 미치는지에 대한 엄밀한 분석은 충분히 이루어지지 않았다. 따라서 본 연구에서는 전체 문서에서의 용어 빈도수에 기반을 두어 사전을 구축하는 일괄 구축 방식, 카테고리별 주요 용어를 추출하여 통합하는 용어 통합 방식, 그리고 카테고리별 주요 특질(Feature)을 추출하여 통합하는 특질 통합 방식의 세 가지 방식으로 사전을 구축하고 각 사전의 품질을 비교한다. 품질을 간접적으로 평가하기 위해 각 사전을 적용한 문서 분류의 정확도를 비교하고, 각 사전에 고유율의 개념을 도입하여 정확도의 차이가 나타나는 원인을 심층 분석한다. 본 연구의 실험에서는 5개 카테고리의 뉴스 기사 총 39,800건을 분석하였다. 실험 결과를 심층 분석한 결과 문서 분류의 정확도가 높게 나타나는 사전의 고유율이 높게 나타남을 확인하였으며, 이를 통해 사전의 고유율을 높임으로써 분류의 정확도를 더욱 향상시킬 수 있는 가능성을 발견하였다.

중소규모 사업용 BIM을 위한 데이터 사전의 활용 (Application of Data Dictionary to BIM for Small and Medium Project)

  • 이환우;이경섭;김광양
    • 한국전산구조공학회논문집
    • /
    • 제26권6호
    • /
    • pp.431-438
    • /
    • 2013
  • 건설 산업의 전반적인 생산성 향상을 위하여 시설물의 전 생애주기에 걸쳐 정보의 시스템화가 요구되고 있다. 정보를 시스템화하는 방법의 하나로 3차원 정보모델을 기반으로 정보 관리하는 기술인 BIM(Building Information Modeling)이 활발하게 연구되고 있다. 하지만 BIM 연구의 초점은 대형 사업장에 맞추어져 있으며 중소규모 사업장을 위한 BIM 연구는 미비한 실정이다. 중소규모 사업장의 경우 대형 사업장보다 정보 손실이 더욱 심각하지만, 투자 자원의 부족으로 인해 BIM을 도입하기에는 힘든 실정이다. 따라서 이 논문에는 과도한 투자 없이 BIM의 효과를 얻을 수 있는 중소규모 사업장 대상 맞춤형 BIM 시스템 개발을 위한 연구를 수행하였다. 이를 Pseudo BIM(이하, 의사BIM)이라 정의하였다. 그리고 의사 BIM의 개념과 구축방법에 따라 PLIB Part 42, 건설정보분류체계 등을 활용하여 의사 BIM의 엔진 구조를 담당하는 데이터 사전 구축 방법을 제시하고 Pilot test를 실시하여 의사 BIM의 유효성을 검증하였다.

공동주택 하자소송 균열쟁점을 통한 전문감정인 제도 개선방안 (Improvement Plan on Appraisal System of Defect Disputes about Cracks on Apartment Buildings)

  • 김법수;박준모;김옥규;서덕석
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2011년도 춘계 학술논문 발표대회 1부
    • /
    • pp.185-186
    • /
    • 2011
  • The latest domestic construction sector is receiving economic damage because of defect litigation. The Concrete Crack among them has the largest component in expense of apartment house defect. Also, contradictory suggestion of appraiser is problem. To improve these problem, need objective plan that people concerned can recognize about decision sequence. Therefore, in this study, compared general defect investigation and defect decision of appraiser taking advantage of Data Dictionary analysis method. Also, deduced current problem and amelioration plan.

  • PDF

Construction of Local Document Management System based on Associative Search

  • Kasagi, Yoshimasa;Yamaguchi, Toru;Takama, Yasufumi
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2003년도 ISIS 2003
    • /
    • pp.146-149
    • /
    • 2003
  • As the information that can collect from the web to local database is increasing, we propose a system that can suggest related local documents when new document arrives. We also propose for constructing an association dictionary using web search engines for similarity calculation. The prototype system is also developed, which is described in detail.

  • PDF