• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.1
• /
• pp.163-168
• /
• 2011

Blogs are an easy way to publish information, engage in discussions, and form communities on the Internet. Recently, there are several varieties of spam blog whose purpose is to host ads or raise the PageRank of target sites. Our purpose is to develope the system which detects these spam blogs (splogs) automatically among blogs on Web environment. After removing HTML of blogs, they are tagged by part of speech(POS) tagger. Words and their POS tags information is used as a feature type. Among features, we select useful features with X2 statistics and train the SVM with the selected features. Our system acquired 90.5% of F1 measure with SPLOG data set.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.194-201
• /
• 2007

인용 매칭(Citation Matching, CM)은 동일한 논문을 지칭하는 인용레코드(Citation Record)를 군집화하는 것으로 인용 관계를 가진 사회연계망 구축시 필요한 기술의 하나이다. 인용 매칭의 전단계로써, 인용 레코드를 저자, 논문 제목, 게재지명, 발행연도 등의 필드로 구분하는 인용 필드 분해가 고려될 수 있다. 본 논문은 인용 필드 분해(Citation Field Segmentation, CFS)와 인용 매칭의 상관관계를 분석하고자 한다. 즉, 인용 필드 분해가 인용 매칭에 필수적인 단계인지를 밝히고 개별 인용 필드가 인용 매칭에 미치는 영향을 분석한다. 실험을 통해 인용 필드 분해를 한 인용 매칭(CFS-based CM)이 인용 필드 분해를 적용하지 않은 인용 매칭(CFS-free CM)에 비해 1% 내외의 성능의 차이를 보이므로, 인용매칭의 성능에 크게 영향을 미친다고 보기 어려웠다. 이는 인용 레코드의 서로 다른 필드들 사이에서 어휘 중복 비율이 크게 낮기 때문에 따로 필드를 구별하지 않아도 필드가 구별되는 특성때문이었다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.285-290
• /
• 2016

한국어는 형태론적으로 굴절어에 속하는 언어로서, 어휘의 형태가 문장 속에서 문법적인 기능을 하게 되고, 형태론적으로 풍부한 언어라는 특징 때문에 조사나 어미와 같은 기능어들이 다양하게 내용어들과 결합한다. 이와 같은 특징들은 한국어를 대상으로 하는 구 기반 통계적 기계번역 시스템에서 데이터 부족 문제(Data Sparseness problem)를 더욱 크게 부각시킨다. 하지만, 한국어의 몇몇 조사와 어미는 함께 결합되는 내용어에 따라 의미는 같지만 두 가지의 형태를 가지는 이형태로 존재한다. 따라서 본 논문에서 이러한 이형태들을 하나로 표준화하여 데이터부족 문제를 완화하고, 베트남-한국어 통계적 기계 번역에서 성능이 개선됨을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2016.10a
• /
• pp.226-230
• /
• 2016

본 연구는 초등 저학년 읽기부진아동을 위한 한글 파닉스 교육의 기반을 확립하고자 1-2학년 교과서 고빈도 어절 531개를 기반으로 자소 및 음운규칙을 분석하였다. 연구결과, 자소-음소 일치 어절을 기반으로 하였을 때 초성에서 50번 이상 나타난 자소는 /ㄱ/, /ㄹ/, /ㄴ/, /ㅅ/, /ㅎ/, /ㅈ/이다. 중성에서 50번 이상 나타난 자소는 /ㅏ/, /ㅣ/, /ㅗ/, /ㅡ/, /ㅜ/이다. 종성에서 50번 이상 나타난 자소는 /ㄹ/, /ㄴ/, /ㅇ/이다. 자소와 음소가 불일치 된 어절을 기반으로 하였을 때 가장 많이 출현하는 음운규칙은 연음화 규칙이었다. 본 연구결과를 바탕으로 교과서를 기반으로 한 한글 파닉스 교육에 유용하게 사용될 수 있을 것이다.

• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.26 no.5
• /
• pp.1191-1199
• /
• 2016

To ensure the fairness, journal reviewers use blind-review system which hides the author information of the journal. Even though the author information is blinded, we could identify the author by looking at the field of the journal or containing words and phrases in the text. In this paper, we collected 315 journals of 20 authors and extracted text data. Bag-of-words were generated after preprocessing and used as an input of artificial neural network. The experiment shows the possibility of circumventing the blind review through identifying the author of the journal. By the experiment, we demonstrate the limitation of the current blind-review system and emphasize the necessity of robust blind-review system.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.91-93
• /
• 2004

B2B Marketplace상에서의 거래에서 나타나는 주요한 특징은 다품종 및 대량의 물품 거래가 n：n거래 관계에 놓여있다는 점과 거래자가 원활한 거래 및 기업 내 관리를 위해 각자의 전자 카탈로그를 이용한 거래를 원한다는 정이다. 하지만 개별적인 전자 카탈로그 사용과 미흡한 표준안은 전자 카탈로그 상호 연계의 걸림돌이 되어 시장 형성의 걸림돌이 되고 있다. B2B Marketplace는 표준 분류체계를 중심으로 거래 대상 상품을 재분류하여 구매 당사자간의 거래 대상 물품에 대한 상호 애핑을 지원하는 방법 등으로 이를 충족시키려 하고 있다. 하지만 요청되는 다량의 물품에 대해 매번 분류를 수행해야 하는 고비용의 작업이라는 문제점이 있다. 본 논문에서는 이를 극복하기 위하여 기계학습 기법을 이용한 전자 카탈로그 상품 자동분류기를 모델링하고 이를 구현하는 것에 초점을 두었다. 상품의 속성별로 분류에 끼치는 영향력이 다론 것이라는데 착안하여 전자 카탈로그를 상품 단위로 재 모델링 하였으며 속성별 정보가 풍부하지 못한 정물 극복하기 위하여 속성값을 어휘 단위로 구분한 데이터를 추가 하는 확장 모델을 정의하였다. 또한 해당 모델을 학습시키기 위한 알고리즘으로는 속성별로 다른 가중치를 부여 할 수 있도록 확장된 Naive Bayesian Classifier를 고안하였다. 그리고 이론 B2B Market Place상의 실 데이터에 적용하여 고안된 모델의 유효성을 검증하였다.

• Annual Conference on Human and Language Technology
• /
• 2010.10a
• /
• pp.3-8
• /
• 2010

본 연구에서는 일련의 연구에서 수집된 영작문 오류 유형의 정제된 자료를 토대로 연관 규칙을 생성하고, 학습을 통해서 효용성이 검증된 연관 규칙을 활용해서 영작문 데이터의 형태 통사 오류를 자동으로 탐지한다. 영작문 데이터에서 형태 통사 오류를 찾아내는 작업은 많은 시간과 자원이 소요되는 작업이므로 자동화가 필수적이다. 기존의 연구들이 통계적 모델을 활용한 어휘적 오류에 치중하거나 언어 이론적 틀에 근거한 통사 처리에 집중하는 반면에, 본 연구는 데이터 마이닝을 통해서 정제된 데이터에서 연관 규칙을 생성하고 이를 검증한 후 형태 통사 오류를 감지한다. 이전 연구들에서는 이론적 틀에 맞추어진 규칙 생성이나 언어 모델 생성을 위한 대량의 코퍼스 데이터와 같은 다량의 지식 베이스 생성이 필수적인데, 본 연구는 적은 양의 정제된 데이터를 활용한다. 영작문 오류 유형의 형태 통사 연관 규칙을 생성하기 위해서 Apriori 알고리즘을 활용하였다. 알고리즘을 통해서 생성된 연관 규칙 중 잘못된 규칙이 생성될 가능성이 있으므로, 상관성 검정, 코사인 유사도와 같은 규칙 효용성의 통계적 검증을 활용해서 타당한 규칙만을 학습하였다. 이를 통해서 축적된 연관 규칙들을 영작문 오류를 자동으로 탐지하는 실험에 활용하였다.

• Journal of Korea Society of Digital Industry and Information Management
• /
• v.16 no.4
• /
• pp.75-93
• /
• 2020

The purpose of this study is to extract keywords for 'startup' and 'entrepreneurship' from Naver news articles in Korea since 1990 and Google news articles in foreign countries, and to understand the changes in the meaning of entrepreneurship and entrepreneurship in each era It is aimed at doing. In summary, first, in terms of the frequency of keywords, venture sprouting is a sample of the entrepreneurial spirit of the government-led and entrepreneurs' chairman, and various technology investments and investments in corporate establishment have been made. It can be seen that training for the development of items and items was carried out, and in the case of the venture re-emergence period, it can be seen that the youth-oriented entrepreneurship and innovation through the development of various educational programs were emphasized. Second, in the result of vocabulary network analysis, the network connection and centrality of keywords in the leap period tended to be stronger than in the germination period, but the re-leap period tended to return to the level of germination. Third, in topic analysis, it can be seen that Naver keyword topics are mostly business-related content related to support, policy, and education, whereas topics through Google News consist of major keywords that are more specifically applicable to practical work.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.397-402
• /
• 2022

익명 네트워크 기술에 기반한 다크웹은 일반 표면웹보다 더 강화된 익명성을 제공한다. 최근 이 익명성을 악용하여 다수의 다크웹 사용자들이 다크웹 내에서 범죄 행위를 모의하는 행위가 꾸준히 발생하고 있다. 특히, 국내 다크웹 사용자들은 마약 유포를 위한 방법을 공유하거나 성착취물 유포 행위 등에 직간접적으로 가담하고 있다. 이와 같은 범죄 행위들은 수사 기관의 눈을 피해 현재까지도 계속해서 발생하고 있어 국내 다크웹 범죄 동향 파악의 필요성이 증대되고 있다. 그러나 다크웹 특성상 범죄 행위를 논의하는 게시글을 수집하기가 어렵고, 다크웹 내에서의 언어 사용 특성에 대한 이해 부족으로 그동안 다크웹 사용자들이 어떤 내용의 범죄를 모의하는지 파악하기가 어려웠다. 본 논문에서는 국내 사용자들이 활동하는 다크웹 포럼들을 중심으로 사용자들의 언어 사용 특성을 연구하고, 이를 통해 다크웹에서 다뤄지는 범죄 유형들을 분석한다. 이를 위해, 자연어처리 기반의 분석 방법론을 적용하여 다크웹에서 공유되는 게시글을 수집하고 다크웹 사용자들의 은어와 특정 범죄군에서 선호되는 언어 특성을 파악한다. 특히 현재 다크웹 내에서 사용자들 사이에 관측되는 어휘들에 대한 기술통계 분석과 유의어 관계 분석을 수행하였고, 실제 다크웹 내에서 사용자들이 어떠한 범죄에 관심이 많은지를 분석하였으며, 더 나아가 수사의 효율성을 증대시키기 위한 소셜미디어, URL 인용 빈도에 대한 연구를 진행하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.176-181
• /
• 2022

일반 상식 추론 능력은 가장 사람다운 능력 중 하나로써, 인공지능 모델이 쉽게 모사하기 어려운 영역이다. 딥러닝 기반의 언어 모델은 여전히 일반 상식에 기반한 추론을 필요로 하는 분야에서 부족한 성능을 보인다. 특히, 한국어에서는 일반 상식 추론과 관련한 연구가 상당히 부족한 상황이다. 이러한 문제 완화를 위해 최근 생성 기반의 일반 상식 추론을 위한 한국어 데이터셋인 Korean CommonGen [1]이 발표되었다. 그러나, 해당 데이터셋의 평가 지표는 어휘 단계의 유사성과 중첩에 의존하는 한계를 지니며, 생성한 문장이 일반 상식에 부합한 문장인지 측정하기 어렵다. 따라서 본 논문은 한국어 일반 상식 추론 및 생성 능력에 대한 평가 지표를 개선하기 위해 문장 성분의 의미역과 자모의 형태 변화를 바탕으로 생성 결과를 평가하는 SRLev, 사람의 평가 결과를 학습한 BIH, 그리고 두 평가 지표의 장점을 결합한 SRLev-BIH를 제안한다.