• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2012년도 춘계학술발표대회
• /
• pp.1101-1104
• /
• 2012

단어 필터링은 유해정보를 차단위한 기본적인 기능이다. 그러나 악의적인 사용자는 필터링 시스템을 우회하기 위하여 금지 단어에 의도적인 변형을 가한다. 이에 대응하기 위해 일정 오류를 허용하여 필터링을 수행하는 근사 단어 필터링이 있다. 근사 단어를 검색하기 위한 문자열 색인 방법으로는 주로 기준 단어(Pivot)을 이용한 유클리드 공간에의 사상을 이용하는데, 이는 단어 필터링에 응용하기에는 근본적인 구조상의 한계점이 있다. 본 논문에서는 필터링 대상이 되는 단어 집합 내에서 군집화를 수행하여 계층적인 자료구조를 구성하고, 단어 필터링을 위한 필터링 질의(Filtering query)를 정의한 뒤 그에 적합한 탐색 상의 적용에 관하여 설명한다. 실험 결과 기존의 기준 단어(Pivot)을 이용한 색인 기법에 비하여 16.9%~26.6%의 탐색 속도 향상을 확인할 수 있었다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 한국지능정보시스템학회 2006년도 춘계학술대회
• /
• pp.203-213
• /
• 2006

대량의 정보를 취급하는 현대사회에서는 획득하는 정보를 모두 처리할 수 없어 이용자의 요구에 맞는 정보를 얻기 위해 정보 필터링 시스템을 사용한다. 그러나 정보 필터링 시스템이 이용자의 의도와 다르게 정보를 분류하거나 이용자의 다양한 요구를 반영하지 못할 때는 정보 필터링을 사용하지 않은 경우 보다 못할 수 있다. 본 연구에서는 정보 필터링의 정확도를 향상시키기 위해 인간의 뇌에서의 정보처리 과정을 시뮬레이션하는 인지적 매핑의 정보 필터링 시스템을 제안하고자 한다. 본 연구에서 제안하는 시스템은 특정 단어 또는 패턴만을 이용하여 필터링하는 기존 시스템과는 달리 단어의 존재, 단어와 단어의 연결이 창출하는 의미와 단어의 가중치를 종합하여 정보를 필터링하는 점에서 의의가 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• 제7권2호
• /
• pp.334-343
• /
• 2003

This paper suggests the education method of information communication ethics by harmful word filtering on web boards as a way to solve the malfunctioning problem occurring in making informations at the step of their positive activities of information offers. The harmful word filtering system for the education of information communication ethics describes the method to construct a harmful word dictionary by extracting harmful words related with improper doing of writing, sexual insult, abusive language and expressions of criticizing others shown in web boards. Decrease by more than 90% in writing with harmful words and inappropriate writing was shown as the result of application of the harmful word filtering system on school home pages.

• Annual Conference on Human and Language Technology
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.255-259
• /
• 2017

스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.255-259
• /
• 2017

스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.273-276
• /
• 2002

사이버 공간은 개방성, 익명성, 탈중심성의 특성을 갖는다. 이러한 특성으로 인하여 긍정적인 측면과 부정적 측면이 동시에 나타나고 있다. 청소년들의 사이버 공간에서의 활동은 제공되는 정보를 단순하게 탐색하는 수동적 역할에 그치지 않는다. 청소년들은 자신의 의견을 제시하거나 정보를 제공하는 역할도 동시에 하고 있다. 이 과정에서 스스로 유해한 정보를 생산하거나 게시판에서 타인에게 해를 끼치는 행위가 발생하고 있다. 본 논문은 청소년들의 적극적인 정보제공 활동 시점에 발생하고 있는 정보화 역기능 현상을 해결하는 방안으로 인터넷 게시판에서 유해단어 필터링에 의한 정보윤리 교육 기법을 제안한다. 인터넷 게시판에서 유해단어 필터링 기법은 초 중등학교 홈페이지 게시판에서 나타나는 부적절한 행동과 상대방에 대한 성적 모욕, 욕설의 사용, 상대방 비하 등에 관련된 유해단어를 추출하여 유해단어 사전을 구축하고 필터링하는 방법이다. 필터링 된 결과에 따라 글 쓰는 시점에서 정보윤리 컨텐츠를 제공한다. 이 기법을 학교 홈페이지 게시판에 적용한 결과 그렇지 않은 경우에 비하여 학생들의 글쓰기 자세와 글 내용이 바른 것으로 나타났다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2011년도 추계학술발표대회
• /
• pp.414-417
• /
• 2011

단어 필터링 기법의 개발에 있어서 가장 큰 난제는 정상단어를 금지어로 인식하여 이를 차단하는 오탐지 문제이다. 이를 방지하기 위하여 다양한 문장에 대한 면밀하고 광범위한 검사가 필수적이나 일반적으로 쉽게 접근할 수 있는 데이터는 주로 단어 위주로 구성된 검증 데이터로 문장 또는 구절로 구성된 데이터의 양은 실제 검증에 활용하기에는 충분하지 못하다. 본 논문에서는 웹에서 수집한 방대한 양의 말뭉치 데이터에 반전역정열(Semi-Global Alignment)을 적용하여 주어진 금지어가 사용되거나 금지어와 유사한 단어가 존재하는 구간을 탐색함으로써 단어 필터링 시스템에서 범용적으로 사용될 수 있는 문장형 평가 데이터를 수집하는 시스템을 제안하고 해당 기법을 통하여 수집한 문장 단위 데이터를 분석하고 단어 필터링 시스템이 오탐지 방지를 위해 가져야할 요소들에 대하여 검토해 본다.

• Proceedings of the Korean Information Science Society Conference
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.260-263
• /
• 2006

최근 온라인 게임 산업이 커짐에 따라 이를 즐기는 유저도 급증하고 있다. 온라인 게임에서는 일반적으로 유저들이 서로를 구분하기 위해 사용하는 사용자 이름과 상호간 의사소통을 하기 위한 채팅을 지원한다. 유저의 수가 증가함에 따라 대화의 양은 더욱 더 많아지고, 선정성, 폭력성을 띄는 언어의 문제로 이어지고 있다. 이는 특히 18세 이하도 이용가능한 게임을 만드는 경우 더욱 중요하다. 하지만 대부분의 게임들이 금지어 리스트에 따른 단어 매칭방식의 비속어 필터링만을 제공하고 있다. 이러한 방법은 금지어로 지정된 단어를 포함한 정상적인 채팅도 막을 뿐만 아니라 일부 음절을 다른 기호로 바꾸어 표기한 비속어는 걸러내지 못한다. 변형된 단어들을 충분히 처리하지 못한다면 비속어 필터링 시스템은 단지 무력하고 쓸모없는 존재가 될 뿐이다. 본 논문에서는 SVM을 이용하여 학습이 가능한 비속어 필터링 시스템을 제안하고자 한다. SVM을 이용하면 사용자 편의성을 해치지 않고서도 보다 많은 종류의 비속어들을 효과적으로 걸러낼 수 있다.

• Annual Conference on Human and Language Technology
• /
• 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
• /
• pp.171-174
• /
• 2001

현재, 전자메일을 정보전달의 수단이나 광고등의 목적으로 많이 이용하게 되면서, 메일 수신자는 원치 않는 상업적 광고, 불필요한 정보등의 스팸메일을 여과 없이 수신하게 되는 경우가 많아졌다. 이로 인하여 업무효율성 감퇴, 시간 낭비, 자원 낭비 등의 많은 문제점을 야기시키고 있다. 이러한 문제점을 해결하기 위한 기존의 메일 필터링 시스템들은 송신자의 주소나 도메인, 제목 등의 메일 헤더정보만을 이용하거나, 사용자가 정의한 문장이 본문 내용에 나타날 때 필터링하는 방식들이 주류를 이루고 있다. 그러나 이러한 방식들은 메일의 내용에 대한 근본적인 필터링이 불가능하다. 본 논문에서는 메일의 내용을 파악하기 위해 메일의 내용을 대표할 수 있는 체언정보를 추출하여, 카이제곱 통계량 공식을 통해 단어 가중치를 부여하고, 이를 문서분류를 위한 로그단어 빈도 가중치 공식에 적용하여 스팸메일을 필터링하는 방식을 제시한다. 본 논문에서 제안한 방법으로 실험한 결과, 스팸메일을 필터링하는데 84.61%의 재현율과 83.01%의 정확율을 얻을 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
• /
• pp.160-162
• /
• 2004

기존의 웹 문서 분류 시스템서는 많은 시간과 노력을 요구하며, 연관 단어가 아닌 단일 단어만으로 웹 문서들을 분류하여 단어의 중의성을 반영하지 못해 많은 오분류가 있었다. 이러한 문제점을 해결하기 위해 본 논문에서는 협력적 필터링을 위한 연관 단어 빈도를 사용한 웹 문서 분류 방법을 제안한다. 제안된 방법에서는 웹 문서 내에서 단어들을 추출하고 빈도 가중치를 계산한다. 추출된 단어를 Apriori 알고리즘에 의해 연관 규칙을 생성하고 신뢰도에 단어 빈도 가중치를 반영한다. 수정된 신뢰도를 ARHP 알고리즘에 적용하여 연관 단어들 사이의 유사정도를 계산하고 유사 클래스를 구성한다 생성된 유사 클래스들을 기반으로 웹 문서를 $\alpha$-cut을 이용하여 분류한다 성능평가를 위해 기존의 문서 분류 방법들과 비교 평가를 하였다.