• The KIPS Transactions:PartC
• /
• v.13C no.2 s.105
• /
• pp.259-266
• /
• 2006

As the volume of spam has increased to extreme levels, many anti-spam filtering techniques have been proposed. Among these techniques, the machine-Loaming filtering technique is one of the most popular filtering techniques. In this paper, we propose a machine-learning spam filtering technique based on the neural network, the genetic algorithm and the $X^2$-statistic. This proposed filtering technique is designed to overcome the problems in existing filtering techniques, and to achieve high spam filtering accuracy. It is able to classify spam and legitimate emil with 95.25 percent and 95.31 percent accuracy. This accuracy of the sum filtering is 7.75 percent and the 12.44 percent higher than rule-based filtering and the Bayesian filtering technique, respectively.

• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.95-99
• /
• 2014

본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.746-749
• /
• 2016

주제 기반 크롤링(Topical Crawling)으로 수집된 문서들은 서로 비슷한 단어들을 가지고 있기 때문에 정작 주어진 주제에 적합하지 않은 문서 들을 포함할 수 있다. 이를 해결하기 위해 특정 주제에 해당하는 문서만을 필터링하는 작업이 필요하다. 본 논문은 화재 뉴스 기사에 대한 필터링을 위해 단어 기반 속성과 어울려 화재 뉴스 기사의 특성을 고려한 메타 데이터 속성을 추출하여 이에 특화된 기계학습 메커니즘을 제안하였다. 제안 기법의 F1-측정치는 92.1 %로서, 현재 최고의 성능을 보이는 SVM, 나이브베이즈 알고리즘보다. 2~3% 개선된 것이다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.221-224
• /
• 2019

딥러닝을 이용한 Neural Machine Translation(NMT)의 등장으로 기계번역 분야에서 기존의 규칙 기반,통계기반 방식을 압도하는 좋은 성능을 보이고 있다. 본 논문은 기계번역 모델도 중요하지만 무엇보다 중요한 것은 고품질의 학습데이터를 구성하는 일과 전처리라고 판단하여 이에 관련된 다양한 실험을 진행하였다. 인공신경망 기계번역 시스템의 학습데이터 즉 병렬 코퍼스를 구축할 때 양질의 데이터를 확보하는 것이 무엇보다 중요하다. 그러나 양질의 데이터를 구하는 일은 저작권 확보의 문제, 병렬 말뭉치 구축의 어려움, 노이즈 등을 이유로 쉽지 않은 상황이다. 본 논문은 고품질의 학습데이터를 구축하기 위하여 병렬 코퍼스 필터링 기법을 제시한다. 병렬 코퍼스 필터링이란 정제와 다르게 학습 데이터에 부합하지 않다고 판단되며 소스, 타겟 쌍을 함께 삭제 시켜 버린다. 또한 기계번역에서 무엇보다 중요한 단계는 바로 Subword Tokenization 단계이다. 본 논문은 다양한 실험을 통하여 한-영 기계번역에서 가장 높은 성능을 보이는 Subword Tokenization 방법론을 제시한다. 오픈 된 한-영 병렬 말뭉치로 실험을 진행한 결과 병렬 코퍼스 필터링을 진행한 데이터로 만든 모델이 더 좋은 BLEU 점수를 보였으며 본 논문에서 제안하는 형태소 분석 단위 분리를 진행 후 Unigram이 반영된 SentencePiece 모델로 Subword Tokenization를 진행 하였을 시 가장 좋은 성능을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.107-108
• /
• 2014

부화소 기반 영상 축소기법은 각각의 부화소를 조절함으로써 픽셀 기반 영상 축소기법보다 해상도를 향상시킬 수 있는 방법이다. 그러나 부화소에 의한 해상도의 증가는 종종 색상정보의 왜곡을 발생시킨다. 부화소 랜더링의 주요과제는 선명도를 유지함과 동시에 색조왜곡현상을 억제하는 것이다. 선행연구들은 부화소랜더링을 위해 1 차원 혹은 2 차원 필터를 최적화 하였지만, 지역적인 특성을 고려하지 않았기 때문에 출력영상의 화질이 저하되는 현상이 발생한다. 본 논문은 위와 같은 문제를 해결하기 위해 내용적응형 2D FIR 필터를 제작방법을 제안한다. 제안필터는 충분한 수의 저해상도 패치와 고해상도 패치 쌍을 이용하여 임의의 고해상도 패치로부터 고화질의 저해상도 패치를 만들기 위한 최적의 내용적응형 2D FIR 필터를 학습한다. 학습된 필터에 의한 실험결과 제안하는 필터가 종례기법들 보다 색조왜곡현상이 현저히 줄어들고, 출력영상의 선명도를 유지함을 보여준다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2005.11a
• /
• pp.526-535
• /
• 2005

우리나라의 주민등록증은 주소지, 주민등록 변호, 얼굴사진, 지문 등 개개인의 방대한 정보를 가진다. 현재의 플라스틱 주민등록증은 위조 및 변조가 쉽고 날로 전문화 되어가고 있다. 따라서 육안으로 위조 및 변조 사실을 쉽게 확인하기가 어려워 사회적으로 많은 문제를 일으키고 있다. 이에 본 논문에서는 주민등록증 영상을 자동 인식할 수 있는 개선된 ART2 기반 RBF 네트워크와 얼굴인증을 이용한 주민등록증 자동 인식 방법을 제안한다. 제안된 방법은 주민등록증 영상에서 주민등록번호와 발행일을 추출하기 위하여 영상을 소벨마스크와 미디언 필터링을 적용한 후에 수평 스미어링을 적용하여 주민등록번호와 발행일 영역을 검출한다. 그리고 4 방향 윤곽선 추적 알고리즘으로 개별 문자를 추출하기 위한 전 단계로 주민등록증 영상에 대해 고주파 필터링을 적용하여 주민등록증 영상 전체를 이진화 한다. 이진화된 주민등록영상에서 COM 마스크를 적용하여 주민등록번호와 발행일 코드를 복원하고 검출된 각 영역에 대해 4 방향 윤곽선 추적 알고리즘으로 개별 문자를 추출한다. 추출된 개별 문자는 개선된 ART2 기반 RBF 네트워크를 제안하여 인식에 적용한다. 제안된 ART2 기반 RBF 네트워크는 학습 성능을 개선하기 위하여 중간충과 출력층의 학습에 퍼지 제어 기법을 적용하여 학습률을 동적으로 조정한다. 얼굴인증은 템플릿 매칭 알고리즘을 이용하여 얼굴 템플릿 데이터베이스를 구축하고 주민등록증애서 추출된 얼굴영역과의 유사도를 측정하여 주민등록증 얼굴 영역의 위조여부를 판별한다.

• Journal of the Korean Society for information Management
• /
• v.20 no.3
• /
• pp.111-127
• /
• 2003

The purpose of this study is to ascertain whether event tracking is more effective in event retrieval than information filtering. This study examined the two techniques for event retrieval to suggest the more effective one. The event-retrieval performances of the event tracking technique based on a kNN classifier and the query-based information filtering technique were compared. Two event tracking experiments, one with the static training set and the other with the dynamic training set , were carried out. Two information filtering experiments, one with initial queries and the other with refined queries, were also carried out to evaluate the event-retrieval effectiveness. We found that the event tracking technique with the static training set performed better than on with the dynamic training set. It was also found that the information fitering technique using intial queries performed better than one using the refined queries. In conclusion, the comparison of the best cases of event tracking and information filtering revealed that the information filtering technique outperformed the event tracking technique in event retrieval.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.998-1001
• /
• 2019

최근에 게임이나 채팅 프로그램 내에서의 비속어 필터링은 금칙어 기반으로 운영되고 있다. 하지만 금칙어 기반의 프로그램은 여러 한계점을 보이며, 따라서, 본 논문에서는 'Text-CNN'을 활용한 딥러닝 기법에 기반하여 비속어 필터링 프로그램을 제안한다. 데이터의 자질을 '자모' 단위로 전처리하여 학습시키고 어느 부분이 비속어인지 검출하여 마스킹 처리하는 'LIME 알고리즘'을 사용하여 우리의 프로그램을 이용하는 사용자들에게 바른 언어습관을 지향하며 더 나아가 올바른 인터넷 문화를 조성할 수 있도록 필터링 채팅 프로그램을 제안한다.

• KIISE Transactions on Computing Practices
• /
• v.23 no.1
• /
• pp.57-64
• /
• 2017

Short message service (SMS) is one of the most important communication methods for people who use mobile phones. However, illegal advertising spam messages exploit people because they can be used without the need for friend registration. Recently, spam message filtering systems that use machine learning have been developed, but they have some disadvantages such as requiring many calculations. In this paper, we implemented a spam message filtering system using the set-based POI search algorithm and sentence similarity without servers. This algorithm can judge whether the input query is a spam message or not using only letter composition without any server computing. Therefore, we can filter the spam message although the input text message has been intentionally modified. We added a specific preprocessing option which aims to enable spam filtering. Based on the experimental results, we observe that our spam message filtering system shows better performance than the original set-based POI search algorithm. We evaluate the proposed system through extensive simulation. According to the simulation results, the proposed system can filter the text message and show high accuracy performance against the text message which cannot be filtered by the 3 major telecom companies.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11a
• /
• pp.343-346
• /
• 2002

스팸메일이 급증함에 따라 신뢰할 수 있는 전자메일 필터의 요구가 늘어나는 추세다. 스팸메일을 보내는 스패머(spammer)의 거의 대부분은 광고가 주요 목적이다. 멀티미디어(multimedia)기반의 전자메일은 정보전달 및 시각효과가 뛰어나 스패머가 선호하는 전자메일의 한 형태이다. 이런 종류의 전자메일은 텍스트 기반(基盤) 스팸메일 필터의 성능을 떨어뜨리거나 필터링을 아예 불가능하게 한다. 본 연구에서 발신지(發信地) 추적기법과 사례기반학습을 이용해 신뢰할 수 있는 한국어 스팸 메일필터를 설계 및 구현하였다.