• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04a
• /
• pp.196-198
• /
• 2000

본 논문에서는 음란사이트를 효과적으로 탐지하기 위하여 퍼지 추론을 이용한 방법을 제안한다. 사용자로부터 몇 개의 음란 사이트 URL을 질의로 입력받아, 해당 URL로부터 수집된 웹 문서들에서 웹 태그와 불용어를 제외한 모든 용어들을 추출한 후, 용어의 DF, TF, HI(Heuristic Information) 정보들을 퍼지 추론에 적용하여 사용자가 제시한 음란 사이트에서 용어의 중요도를 산정한다. 또한, 웹 로봇은 인터넷에서 웹 문서를 수집하고, 퍼지 추론에 의해 산정된 용어의 중요도를 이용하여 수집된 웹 문서가 음란 문서일 가능성을 판별한다.

• The Journal of Bigdata
• /
• v.4 no.2
• /
• pp.35-45
• /
• 2019

Recently, the damage with social cost of malicious comments is increasing. In addition to the news of talent committing suicide through the effects of malicious comments. The damage to malicious comments including abusive language and slang is increasing and spreading in various type and forms throughout society. In this paper, we propose a technique for detecting abusive language using a bi-directional long short-term memory neural network model. We collected comments on the web through the web crawler and processed the stopwords on unused words such as English Alphabet or special characters. For the stopwords processed comments, the bidirectional long short-term memory neural network model considering the front word and back word of sentences was used to determine and detect abusive language. In order to use the bi-directional long short-term memory neural network, the detected comments were subjected to morphological analysis and vectorization, and each word was labeled with abusive language. Experimental results showed a performance of 88.79% for a total of 9,288 comments screened and collected.

• Journal of KIISE:Software and Applications
• /
• v.27 no.9
• /
• pp.961-972
• /
• 2000

본 논문에서는 사용자의 적합 피드백을 기반으로 적합 문서들에서 발생하는 용어들과 초기 질의어간의 발생 빈도 유사도 및 퍼지 추론을 이용하여 용어의 가중치를 산정하는 방법에 대하여 제안한다. 피드백 문서들에서 발생하는 용어들 중에서 불용어를 제외한 모든 용어들을 질의어로 확장될 수 있는 후보 용어들로 선택하고, 발생 빈도 유사성을 이용한 초기 질의어-후보 용어의 관련 정도, 용어의 IDF, DF 정보를 퍼지 추론에 적용하여 후보 용어의 초기 질의어에 대한 최종적인 관련 정도를 산정 하였으며, 피드백 문서들에서의 가중치와 관련 정도를 결합하여 후보 용어들의 가중치를 산정 하였다. 본 논문에서는 성능을 평가하기 위하여 KT-set 1.0과 KT-set 2.0을 사용하였으며, 성능의 상대적인 평가를 위하여 Dec-Hi 방법, 용어 분포 유사도를 이용한 방법, 퍼지 추론을 이용한 방법들을 정확률-재현률을 사용하여 평가하였다.

• Journal of The Korean Association For Science Education
• /
• v.40 no.3
• /
• pp.321-336
• /
• 2020

We explore automated scoring models of scientific argumentation. We consider how a new analytical approach using a machine learning technique may enhance the understanding of spoken argumentation in the classroom. We sampled 2,605 utterances that occurred during a high school student's science class on molecular structure and classified the utterances into five argumentative elements. Next, we performed Text Preprocessing for the classified utterances. As machine learning techniques, we applied support vector machines, decision tree, random forest, and artificial neural network. For enhancing the identification of rebuttal elements, we used a heuristic feature-engineering method that applies experts' classification of morphemes of scientific argumentation.

• The Journal of the Convergence on Culture Technology
• /
• v.7 no.4
• /
• pp.745-750
• /
• 2021

In Big data visualization analysis of unstructured text data, raw data is mostly large-capacity, and analysis techniques cannot be applied without cleansing it unstructured. Therefore, from the collected raw data, unnecessary data is removed through the first heuristic cleansing process and Stopwords are removed through the second machine cleansing process. Then, the frequency of the vocabulary is calculated, visualized using the word cloud technique, and key issues are extracted and informationalized, and the results are analyzed. In this study, we propose a new Stopword cleansing technique using an external Stopword set (DB) in Python word cloud, and derive the problems and effectiveness of this technique through practical case analysis. And, through this verification result, the utility of the practical application of word cloud analysis applying the proposed cleansing technique is presented.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05c
• /
• pp.1523-1526
• /
• 2003

정보 검색 분야에서 문서 클러스터링방법은 사용자에게 양질의 다양한 정보를 제공하기 위한 방법으로 이에 대한 많은 연구가 수행되었다. 피러나 기존의 문서클러스터링 방법들은 클러스터간의 포함관계를 나타내는 계층적 관계를 표현하지 않고 의미적으로만 비슷한 내용의 문서를 묶어 여러 개의 클러스터로 나타내었다. 이에 본 논문에서는 각 문서가 속하는 도메인 별로 불용어와 키워드를 추출하여 문서클러스터링에 적용하는 알고리즘을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.04a
• /
• pp.653-655
• /
• 2014

스마트 디바이스 산업의 발전으로 소셜미디어 데이터의 양은 기하급수적으로 증가하고 있다. 이렇게 증가한 데이터와 함께 분석을 통해 발견할 수 있는 정보의 양도 다양해지면서 여러 산업분야에서 소셜미디어 데이터 분석을 위한 연구가 진행되고 있다. 소셜미디어는 종류가 다양하고 하루 평균 발생량이 너무 많기 때문에 분석시간이 오래 걸릴 뿐 아니라, 불필요한 불용어 및 방해요소 때문에 적절한 정제작업이 필요하다. 본 논문에서는 소셜미디어의 한 종류인 트위터 분석을 위해 여러 가지 기법으로 데이터를 정제한다. 정제과정은 분석에 용이한 형태로 데이터를 변형시킨 후 의미없는 데이터와 분석에 방해가 되는 불용어를 제거한다. 이 정제를 통해 데이터 정보의 질을 높이고 분석 시간을 단축시켜 빠르고 신뢰성 높은 분석결과를 도출할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.533-534
• /
• 2021

최근 소셜 네트워크 서비스(SNS)를 통한 건강기능식품 과대광고 적발이 증가하면서 SNS를 통해 브랜드를 선택함에 있어 신뢰도가 소비자에게 중요한 요소가 된다. 본 논문에서는 인스타그램의 해시태그를 이용해 게시글을 크롤링 하여 수집된 게시물 데이터를 가공 및 분석한다. 불용어 사전을 구축해 불용어를 제거해준 뒤 브랜드 추출을 진행하고, 건강기능식품 브랜드 5개에 대한 게시글 데이터를 수집한다. 5개 브랜드의 신뢰도 측정을 위해 게시글, 해시태그, 계정명을 분석기준으로 삼아 라벨링 처리를 한다. 라벨링 된 열을 통해 절대적 수치로 점수를 부여하여 백분율로 점수를 표현한다. 신뢰도 점수와 더불어 브랜드의 고객 참여도 건수를 같이 명시해 준다.

• Journal of KIISE:Databases
• /
• v.27 no.1
• /
• pp.90-100
• /
• 2000

We propose, in this paper, a new query expansion technique with term reweighting. All terms in the documents feedbacked from a user, excluding stopwords, are selected as candidate terms for query expansion and reweighted using the relevance degree which is calculated from the term-distribution similarity between a candidate term and each term in initial query. The term-distribution similarity of two terms is a measure on how similar their occurrence distributions in relevant documents are. The terms to be actually expanded are selected using the relevance degree and combined with initial query to construct an expanded query. We use KT-set 1.0 and KT-set 2.0 to evaluate performance and compare our method with two methods, one with no relevance feedback and the other with Dec-Hi method which is similar to our method. based on recall and precision.

• Journal of the Korean Society for information Management
• /
• v.4 no.1
• /
• pp.47-86
• /
• 1987

The purpose of this study is to present an effective automatic indexing method of Korean texts based on statistical criteria. Titles and abstracts of the 299 documents randomly selected from ETRI's DOCUMENT data base are used as the experimental data in this study the experimental data is divided into 4 word groups and these 4 word groups are respectively analyzed and evaluated by applying 3 automatic indexing methods including Transition Phenomena of Word Occurrence, Inverse Document Frequency Weighting Technique, and Term Discrimination Weighting Technique.