• Title/Summary/Keyword: 불용어

Search Result 94, Processing Time 0.026 seconds

Article Analytic and Summarizing Algorithm by facilitating TF-IDF based on k-means (TF-IDF를 활용한 k-means 기반의 효율적인 대용량 기사 처리 및 요약 알고리즘)

  • Jang, Minseo;OH, Sujin;Kim, Ung-Mo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.271-274
    • /
    • 2018
  • 본 논문에서는 뉴스기사 데이터를 활용하여 대규모 뉴스기사를 소주제로 분류하는 군집 분석 방법을 제안한다. 또한, 분류된 뉴스기사를 사용자가 빠르게 이해하고 접할 수 있도록 핵심 문장을 추출하여 제공하는 방법을 제안한다. 분석 데이터는 포털 사이트 점유율 1위인 네이버의 경제 분야 뉴스기사를 크롤링하여 수집한다. 뉴스기사의 분석을 위해 전 처리를 통해 특수문자, 조사, 어미, 구두점 등의 불 용어 처리를 수행한다. 또한, k-means 알고리즘을 이용하여 대용량의 뉴스기사를 주제 별로 분류하는 것을 진행하며 그것을 토대로 핵심 문장을 추출한다. 추출된 핵심 문장은 분류된 뉴스기사의 주제를 나타내며 사용자에게 빠르게 정보를 전달하기 위해 활용한다. 본 논문의 연구 내용이 여러 언론사 사이트에 반영되면 사이트 품질과 사용자 만족도 향상에 기여할 수 있을 것으로 보인다.

Automatic Collection of English Composition Nouns for English-Korean Machine Translation (영한 기계번역을 위한 영어 복합명사 자동 수집)

  • Cho, Jae-Ho;Kim, Sung-Dong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.407-410
    • /
    • 2011
  • 영한 기계번역에서 복합명사는 어휘분석, 구문분석을 복잡하게 하고 사전에 의미가 등록되어 있지 않을 경우에는 올바르게 번역하기 어렵다. 또한 복합명사는 계속하여 새로 나타나고 있어, 정확하고 자연스러운 번역을 위해서는 복합명사를 독립적으로 처리하는 모듈이 필요하다. 본 논문에서는 복합명사를 구성하지 못하는 불용어를 파악하고 빈도수를 이용하여 복합명사를 자동으로 수집하는 방법을 제안한다. 문서를 번역하기 전에 복합명사를 파악하면, 복합명사에 대한 정보를 활용하여 어휘분석과 구문분석의 복잡도를 줄이고 복합명사를 포함한 문장을 보다 자연스럽게 번역할 수 있어 영한 기계번역 시스템의 성능 개선에 기여할 것이다.

Swear Word Detection through Convolutional Neural Network (딥러닝 기반 욕설 탐지)

  • Kim, Yumin;Gang, Hyobin;Han, Suhyeun;Jeong, Hieyong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.685-686
    • /
    • 2021
  • 개인의 소셜미디어 활동이 활발해지면서 익명성을 악용하여 타인에게 욕설을 주저없이 해버리는 사용자가 늘고 있다. 본 연구는 욕설이 난무하는 채팅창에서 욕설 데이터를 크롤링하여 데이터셋을 구축하여 컨볼루션 네트워크로 학습시켰을 때 욕설을 탐지하고, 전체 문장에서 그 탐지한 욕설의 위치를 파악하여 블러링 처리를 할 수 있는지를 확인하는 것을 목적으로 한다. 전처리 작업으로 한글과 공백을 제외하고 형태소 단위로 토큰화한 후 불용어를 제거해서 패딩처리를 하였다. 학습 모델로는 1차원 컨볼루션을 사용하여 수집한 데이터의 80%를 훈련에 사용하고 나머지 20%를 테스트에 사용하였다. 키워드를 이용한 단순 분류 모델과 비교하였을 때, 본 연구에서 이용한 모델이 약 14% 정확도가 향상된 것을 확인할 수 있었다. 테스트에서 전체 문장에서 욕설이 포함되었을 때 욕설과 그 위치 정보를 잘 획득하는 것도 확인할 수 있었다.

Knowledge Level of Users of Keyword/Boolean Searching on an Online Public Access Catalog : SELIS (OPAC에 있어서 키워드/불연산자 탐색에 대한 이용자 지식수준 연구)

  • Koo Bon-Young
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.32 no.4
    • /
    • pp.249-274
    • /
    • 1998
  • It is the analyses of replies showed n the questionnaire consisted of four kinds of matters to see level of knowledge among SELIS (SEoul Women's University Library and Information System) OPAC users of keyword/boolean search. The result of this analyses is : in SELIS search, users who prefer keyword search than any other, who satisfy work of retrieval by means of boolean operator, and who think it easier, show lusher level of knowledge than those who deny it in the questionnaire. Knowledges Presented in the survey are ; characteristics of keyword search, single or double keys, using boolean operator in keyword, knowledge of index, knowledge of stop list, uncontrolled term. keyword search technique, right truncation, correct application of boolean logic operator, and selecting major subject in keyword browsing. The above mentioned knowledges will work as important factors n keyword/boolean search, OPAC. For successful search it requires conceptional knowledge of information retrieval processing, or inquiry word transformation how to search required information, and semantic ability to get result questioned In the given system, when and how to apply the characteristics of the system, and scientific record for user's inquiry, or fundamental computer technology and syntax knowledge to make search word in detail. But so far now important knowledge considered as user's online index search, has been emphasized on knowledge of scientific record, and has been lag of semantic and conceptional knowledge. So, it is recommendable for online index user to train to concentrate semantic knowledge, syntax ability, and conceptional knowledge, rather than scientific technique too much.

  • PDF

Determination of Fire Risk Assessment Indicators for Building using Big Data (빅데이터를 활용한 건축물 화재위험도 평가 지표 결정)

  • Joo, Hong-Jun;Choi, Yun-Jeong;Ok, Chi-Yeol;An, Jae-Hong
    • Journal of the Korea Institute of Building Construction
    • /
    • v.22 no.3
    • /
    • pp.281-291
    • /
    • 2022
  • This study attempts to use big data to determine the indicators necessary for a fire risk assessment of buildings. Because most of the causes affecting the fire risk of buildings are fixed as indicators considering only the building itself, previously only limited and subjective assessment has been performed. Therefore, if various internal and external indicators can be considered using big data, effective measures can be taken to reduce the fire risk of buildings. To collect the data necessary to determine indicators, a query language was first selected, and professional literature was collected in the form of unstructured data using a web crawling technique. To collect the words in the literature, pre-processing was performed such as user dictionary registration, duplicate literature, and stopwords. Then, through a review of previous research, words were classified into four components, and representative keywords related to risk were selected from each component. Risk-related indicators were collected through analysis of related words of representative keywords. By examining the indicators according to their selection criteria, 20 indicators could be determined. This research methodology indicates the applicability of big data analysis for establishing measures to reduce fire risk in buildings, and the determined risk indicators can be used as reference materials for assessment.

A Study of Document Ranking Algorithms in a P-norm Retrieval System (P-norm 검색의 문헌 순위화 기법에 관한 실험적 연구)

  • 고미영;정영미
    • Journal of the Korean Society for information Management
    • /
    • v.16 no.1
    • /
    • pp.7-30
    • /
    • 1999
  • This study is to develop effective document ranking algorithms in the P-norm retrieval system which can be implemented to the Boolean retrieval system without major difficulties by using non-statistical term weights based on document structure. Also, it is to enhance the performance by introducing the rank adjustment process which rearranges the ranks of retrieved documents according to the similarity between the top ranked documents and the rest of them. Of the non-statistical term weight algorithms, this study uses field weight and term pair distance weight. In the rank adjustment process, five retrieval experiments were performed, ranging between the case of using one record for the similarity measurement and the case of using first five records. It is proved that non-statistical term weights are highly effective and the rank adjustment process enhance the performance further.

  • PDF

Study of Shield Method for EMC of Digital Circuit (디지털 회로에서 EMC를 위한 실드 방식에 대한 고찰)

  • Lee, Seong-Jae;Kim, Jae-Yang;Kim, Cheol-Soo
    • Proceedings of the Korean Institute of Electrical and Electronic Material Engineers Conference
    • /
    • 2008.06a
    • /
    • pp.521-522
    • /
    • 2008
  • 21세기를 접하면서 산업전자 분야의 비약적인 발전과 함께 과학문명은 눈부시게 발전해 나아가고 있다. 이것의 원천은 바로 전기(Electric)이다. 우리는 풍요로운 삶 자체를 전기 공급에서 누리고 있으며 또 비극적인 사태를 맞이할 때도 있다. 즉, 전기기기를 이용하면 원하건 원치 않건 전자기파가 발생이 된다 이것이 자연현상이며 전자기파는 IT, BT, CT를 비롯하여 산업 전체에 많은 영향을 미치고 있다. 일반적으로 우리가 말하는 전자기파 장해의 기본 요소는 노이즈원(잡음원), 경로매체, 피해장치 등으로 구성되는 데 잡음원(Noise Source)은 각종 시스템에서 구성되고 있는 전자기 에너지의 발생원으로 볼 수 있으며 이 발생원에서 경로매체(금속:전도성, 대기중:전파성 등)를 통하여 피해장치(전기전자통신기기류)에 방해를 주고 있는 상태를 전자기파 장해라고 설명할 수 있다. 전자기파 잡음원에서 경로를 거쳐 전자기파에 대하여 피해장치가 안정된 상태로 동작하도록 규정하는 용어 즉, 전자파 양립성 또는 적합성 (EMC : Electro Magnetic Compatibility))이란 용어를 가지고 전기 전자 통신기기에서 발생되는 불필요한 전자파와 전자파 내성시험을 만족하도록 의무화하고 있다. EMC 는 EMI (불요 전자파 또는 전자파 간섭 : Electro Magnetic Interference) + EMS (전자파 내성 : Electro Magnetic Susceptibility) 2가지 시험을 함께 전자파 적합성 (EMC) 시험으로 표현되고 있다. 전자파 적합성 시험의 목적으로 EMl는 전도성 또는 전파성에 대한 주파수 대역(잡음)을 보호하기 위한 것이 목적이고 EMS는 프로세서가 내장된 기기류의 오동작을 방지하기 위하여 감응평가를 하는 것이다. 즉, 감응(Susceptibility)이란 어떤 장비나 시스템이 전자기파 장해에 쉽게 영향을 받는 것을 뜻하는 데 전자파 장해를 견디면서 본래의 기능을 충분하게 발휘하며 동작할 수 있는 능력을 말한다.

  • PDF

The Political Implications of 'Femicide(Feminicidio)' in Latin America (라틴아메리카에서 '페미니시디오(Feminicidio)'의 정치적 함의)

  • Lee, Soon-Joo
    • Iberoamérica
    • /
    • v.22 no.2
    • /
    • pp.59-98
    • /
    • 2020
  • The purpose of this study is to examine how the politics of 'femicide(femicidio)' or 'feminicide(feminicidio) is embodied in Latin America. To this end, I tried to grasp the political nature of these terms through the debate over the terms of 'femicide' vs 'feminicidio' and the process of establishing concepts. In Latin America, the 'Declaration on Femicide' in 2008 emphasized the responsibility of the state, and as demands for countermeasures against feminism increased, each country enacted the femicide law. However, due to the lack of mechanisms to implement the law, investigations, or punishments for the perpetrators have not been properly conducted. And femicide is becoming more serious. Recently, #NiUnaMenos, the 8M International Women's Day strike, and performances started in Chile are spreading out of Latin America, gaining sympathy around the world. Also, these actions are emerging as one of the new political movements that demand a democracy with gender equality, adding different agendas according to the situation of each region, including femicide, with strong cohesion.

Keyword Extraction from News Corpus using Modified TF-IDF (TF-IDF의 변형을 이용한 전자뉴스에서의 키워드 추출 기법)

  • Lee, Sung-Jick;Kim, Han-Joon
    • The Journal of Society for e-Business Studies
    • /
    • v.14 no.4
    • /
    • pp.59-73
    • /
    • 2009
  • Keyword extraction is an important and essential technique for text mining applications such as information retrieval, text categorization, summarization and topic detection. A set of keywords extracted from a large-scale electronic document data are used for significant features for text mining algorithms and they contribute to improve the performance of document browsing, topic detection, and automated text classification. This paper presents a keyword extraction technique that can be used to detect topics for each news domain from a large document collection of internet news portal sites. Basically, we have used six variants of traditional TF-IDF weighting model. On top of the TF-IDF model, we propose a word filtering technique called 'cross-domain comparison filtering'. To prove effectiveness of our method, we have analyzed usefulness of keywords extracted from Korean news articles and have presented changes of the keywords over time of each news domain.

  • PDF

Investigating Major Topics Through the Analysis of Depression-related Facebook Group Posts (페이스북 그룹 게시물 분석을 통한 우울증 관련 주제에 대한 고찰)

  • Zhu, Yongjun;Kim, Donghun;Lee, Changho;Lee, Yongjeong
    • Journal of the Korean Society for Library and Information Science
    • /
    • v.53 no.4
    • /
    • pp.171-187
    • /
    • 2019
  • The study aims to analyze the posts of depression-related Facebook groups to understand major topics discussed by group users. Specifically, the purpose of the study is to identify the topics and keywords of the posts to understand what users discuss about depression. Depression is a mental disorder that is somewhat sensitive in the online community, which is characterized by accessibility, openness and anonymity. The researchers have implemented a natural language-based data analysis framework that includes components ranging from Facebook data collection to the automated extraction of topics. Using the framework, we collected and analyzed 885 posts created in the past one year from the largest Facebook depression group. To derive more complete and accurate topics, we combined both automated and manual (e.g., stop words removal, topic size determination) methods. Results indicate that users discuss a variety of topics including depression in general, human relations, mood and feeling, depression symptoms, suicide, medical references, family and etc.