• 제목/요약/키워드: 단어 분리

검색결과 112건 처리시간 0.024초

딥러닝를 사용한 온라인 게임에서의 욕설 탐지 (Abusive Sentence Detection using Deep Learning in Online Game)

  • 박성희;김휘강;우지영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
    • /
    • pp.13-14
    • /
    • 2019
  • 욕설은 게임 내 가장 큰 불쾌 요소 중 하나이다. 지금까지 게임 사용자들의 욕설을 방지하기 위해서 금칙어를 기반으로 필터링 해왔으나, 한국어 특성상 단어를 변형하거나 중간에 숫자를 넣는 등 우회할 방법이 다양하기 때문에 효과적이지 않다. 따라서 본 논문에서는 실제 온라인 게임 'Archeage'에서 수집된 채팅 데이터를 기반으로 딥러닝 기법 중 하나인 콘볼루션 신경망을 사용하여 욕설을 탐지하는 모델을 구축하였다. 한글의 자음, 모음을 분리하여 실험하였을 때, 87%라는 정확도를 얻었다. 한 글자씩 분리한 경우, 조금 더 좋은 정확도를 얻었으나, 사전의 수가 자소를 분리한 경우보다 10배 이상 늘어난 것을 고려해보면 자소를 분리한 것이 더 효율적이다.

  • PDF

한국어 오류 교정 시스템의 구현 (Implementation of Korean Error Correction System)

  • 최재혁;김권양
    • 컴퓨터교육학회논문지
    • /
    • 제3권2호
    • /
    • pp.115-127
    • /
    • 2000
  • 기존 워드프로세서의 맞춤법 검사기는 여러 오류 단어 후보군 중에서 1개를 선택하는 오류 작업의 불편함과 60%대의 낮은 교정률 그리고 늦은 처리 속도 등의 단정을 갖고 있다. 본 연구에서는 이러한 단점들을 해결하기 위하여 1개의 교정 단어와 페이지 단위의 일괄 교정으로 교정의 불편함을 해소하고, 높은 오류 교정률과 빠른 처리 속도를 가능하게 하는 방안을 제시한다. 이를 위하여 형태소 분석 시 처리 속도를 향상시키기 위한 방법으로 양방향 최장일치법을 적용하며, 교정 시의 정확성보장과 처리 속도의 향상을 위한 사전과 여러 알고리즘(복합명사 분리, 보조용언 분리, 오타 교정 등) 등을 개발하여 적용하였다. 특히 한국어에서 모호성이 많이 발생되는 의존명사 및 접미사와 조사/어미의 구분 방안, "로써/로서, 되다" 등의 구분 처리 방안을 제시하여 교정 시스템의 신뢰성을 높였다.

  • PDF

만주 글자의 단위를 추출하는 효율적인 방법 (An Efficient Method to Extract Units of Manchu Characters)

  • 스노우버거 아론 다니엘;이충호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.617-619
    • /
    • 2021
  • 만주 문자는 세로로 씌여지며 한 단어 안에서는 띄어쓰기 없이 이어져 있기 때문에 문자를 인식하기 전에 글자영역 분리와 글자를 이루는 단위를 분리해 내는 전처리과정이 필요하다. 본 논문에서는 글자영역을 추출하고 글자의 단위를 끊어내는 전처리 방법을 기술한다. 기존 연구가 단어별 또는 문자단위로 인식하는 방법을 전제로 하거나, 이어져 있는 글자의 줄기를 없앤 후 남는 부분으로 인식하는 것과 달리, 본 방법은 인식 가능한 단위별로 글자를 끊어낸 다음 그 단위의 합성으로 글자를 인식하는 방법에 적용할 수 있다. 실험을 통하여 본 방법의 유효성을 검증하였다.

  • PDF

텍스트마이닝기법을 활용한 남녀 학생의 인구문제에 관한 인식 분석: 인구교육의 시사점 도출을 위하여 (A Study on the Recognition of Population Problems of Male and Female Students using Text-mining: To Drive the Implications of Population Education)

  • 왕석순;심준영
    • 한국가정과교육학회지
    • /
    • 제31권3호
    • /
    • pp.73-90
    • /
    • 2019
  • 이 연구는 인구 문제에 대한 남녀 학생들의 인식의 차이를 규명하여 인구교육의 시사점을 도출하기 위한 것을 목적으로 하였다. 이를 위해 J 대학교의 인구교육 강좌인 「인구와 사회」수업을 수강한 학생이 개인별로 최종 제출한 보고서를 분석 자료로 활용하였다. 분석 자료는 텍스트 마이닝 기법을 활용하여 성별에 따라 인구 문제에 대한 인식에 차이가 있는 가를 분석하였다. 우선, 출현 빈도가 높은 단어를 중심으로 성별에 따른 차이를 확인하고, 핵심단어를 추출하여 의미연결망 분석을 하고 시각화를 실시하였다. 분석 결과는 다음과 같다. 첫째, 상위 출현 빈도 단어 100개를 기준으로 살펴본 결과, 10위까지의 단어는 '인구', '교육', '문제', '결혼', '사회', '출산', '심각', '사람', '우리' 등으로 남녀가 동일하였다. 또 출현 빈도, 연관분석에 따라 핵심단어를 추출한 후, 의미 연결망을 시각화한 결과, 출현 빈도를 기준으로 한 경우, 의미 연결망 중앙에 위치하는 단어에 남녀 차이가 없었다. 둘째, 연관분석에 따라 추출된 핵심 단어와 바이그램 단위로 추출한 핵심 단어는 성별에 따라 큰 차이를 보였다. 즉, 여학생의 단어의 의미 연결망에서 '생활'-'결혼'-'출산'-'임신'의 연결망이 독립적으로 나타나서, 인구 문제에 대해 분리된 객관적 연결망을 보이는 남학생과 구별되었다. 따라서 남학생과 여학생은 인구 문제에 대해 다른 인식 구조를 갖는 이질적인 집단으로 봐야 하고, 인구 교육에 있어 내용과 방법을 성별에 따라 다르게 접근해야 할 것이라는 시사점을 도출하였다.

문서 영상의 그림 영역에서 통계적 분석을 이용한 단어 영상 추출 (Word Image Decomposition from Image Regions in Document Images using Statistical Analyses)

  • 정창부;김수형
    • 정보처리학회논문지B
    • /
    • 제13B권6호
    • /
    • pp.591-600
    • /
    • 2006
  • 본 논문에서는 문서 영상의 그림 영역에서 통계적 분석을 통한 단어 영상을 추출하는 방법을 제안한다. 제안 방법은 그림 영역의 구성 요소를 문자 성분과 그래픽 성분으로 분류하기 위하여 연결요소에 대한여 통계적 분석 방법인 상자그림 분석을 적용하고, 분류된 문자 성분들에 대하여 지역적 밀집도를 분석하여 문자 영역을 추출한다. 추출된 문자 영역에서 투영 히스토그램 분석을 통하여 문자열을 추출하고, 문자열을 단어단위 영상으로 분리하기 위하여 투영 히스토그램 분석과 갭 군집화, 특수 기호 검출 등을 수행한다. 제안 방법은 임계값의 사용 대신에 그림 영역의 구성 요소들에 대하여 통계적 분석을 수행하기 때문에 그림의 형태 변화에 민감하지 않으며, 지역적 밀집도 분석으로 보다 정확한 문자 영역을 추출하였다. 또한 제안 방법의 응용 분야인 주제어 검색을 위한 오프라인의 전처리에 해당하는 문서 영상의 단어단위 영상 추출에 적용하여 제안 방법에 대한 연구의 필요성을 제시하였다.

빅데이터를 활용한 국내 보안솔루션 시장 동향 분석 (Analysis of Domestic Security Solution Market Trend using Big Data)

  • 박상천;박동수
    • 한국산학기술학회논문지
    • /
    • 제20권5호
    • /
    • pp.492-501
    • /
    • 2019
  • 사이버 공간에서 안전하게 시스템을 사용하기 위해서는 상황에 적합한 보안 솔루션을 사용해야 한다. 사이버 보안을 강화하기 위해 과거부터 현재까지 보안의 흐름을 정확히 파악하고 미래의 다양한 위협에 대비해야 한다. 본 연구에서는 텍스트마이닝을 이용하여 신뢰도가 높은 네이버 뉴스의 보안/해킹 뉴스의 정보보안 단어들을 수집 후 분석하였다. 첫 번째는 지난 7년의 연도별 보안 뉴스 기사수를 확인하고 추이를 분석하였다. 두 번째는 보안/해킹 관련 단어 순위를 확인 후 매년 주요 관심사를 확인하였다. 세 번째는 보안 솔루션별 단어를 분석하여 어느 보안 그룹의 관심도가 높은지 확인하였다. 네 번째는 보안 뉴스의 제목과 본문을 분리 후 보안 관련 단어를 추출 후 분석하였다. 다섯 번째는 세부 보안 솔루션별 추이 및 동향을 확인하였다. 마지막으로 연도별 매출액과 보안 단어 빈도수를 분석하였다. 이러한 빅데이터 뉴스 분석을 통해 보안 솔루션에 대한 전반적인 인식 조사를 수행하고 많은 비정형 데이터를 분석하여 현재 시장 추세를 분석하고 미래를 예측할 수 있는 정보를 제공하는 데 기여하고자 한다.

영상 대 영상 매칭을 이용한 한글 문서 영상에서의 단어 검색 (Keyword Spotting on Hangul Document Images Using Image-to-Image Matching)

  • 박상철;손화정;김수형
    • 정보처리학회논문지B
    • /
    • 제12B권3호
    • /
    • pp.357-364
    • /
    • 2005
  • 본 논문에서는 두 단계 이미지 매칭을 이용하여 한글 문서영상에서 사용자 검색어를 빠르고 정확하게 검색할 수 있는 시스템을 제안한다. 본 시스템은 문자 분리, 검색어 영상 생성, 특징 추출 그리고 이미지 매칭 과정으로 구성된다. 매칭 과정에서 차원이 다른 두 가지 특징 벡터를 이용한다. 8쪽 분량의 문서 영상을 한국정보과학회 웹사이트에서 다운로드하였고, 그 문서로부터 1600개의 한글단어 영상을 획득하여 실험데이터로 사용하였다 그 결과 제안한 시스템은 기존에 제안된 영상-기반 한글 단어 검색 시스템보다 성능이 크게 향상되었음을 알 수 있었다.

래스터 지도상에서 3차원 인접 그래프를 이용한 문자 그룹핑 (Character Grouping using 3-D Neighborhood Graph on Raster Map)

  • 강용빈;옥세영;조환규
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권2호
    • /
    • pp.273-283
    • /
    • 1999
  • 래스터 지도에서 직선 또는 곡선과 중첩되어 있는 경우의 문자는 추출하기가 쉽지 않다. 따라서 본 논문에서는 고립되어 있는 문자뿐만 아니라 문자이외의 요소와 중첩되어 있는 문자도 효과적으로 추출할수 있는 분할 정복(divide and conquer) 개념에 기반한 문자 추출방법을 제시한다. 이를 위해 먼저 이미지의 연결 요소로부터 볼록다각형(convex hull)을 생성한다. 그리고 이 다각형이 충분한게 문자영역만을 포함할때가지 볼록 다각형을 이등분하면서 가장 긴 선분(투사 선분)을 기준으로 두 영역으로 분할한다. 다음으로 문자를 추출하기 위해서 이 선분을 기준으로 연결 요소상의 픽셀의 밀집도를 계산하는 알고리즘(프로파일링)을 적용한다. 또한 지도상에서 추출된 개별적인 문자들을 의미있는 단어들로 묶기(grouping)한 새로운 알고리즘을 소개한다. 특히 지도상에 나타나는 문자의 종류는 매우 다양하고 또한 이 문자들이 놓여있는 방향 역시 일정하지 않기 때문에 이러한 단어를 찾는 kd법은 쉽지 않다. 이를 위해 본 논문에서는 3차원 인접 그래프(3-D neighborhood graph)G를 소개한다. 이 그래프 G에서 각 노드는 하나의 분리된 문자를 나타내며 자신의 크기와 위치에 따라서 3차원 공간상에서 위치하게된다. 따라서, 크기가 큰 (작은)문자들은 보다 큰 (작은) z값을 가지고 되며 이 그래프 G에서 서로 인접한 노드들을 연결함으로써 지도상에 존재하는 서로 다른 종류의 문자 스트링을 추출할수 있다. 실험결과는 서로 다른 지도 이미지에 대해서 약 95% 이상의 단어 추출율을 보여준다.

정답과 구절의 공동 주의 집중 계층을 이용한 한국어 질문 생성 (Korean Question Generation Using Co-Attention Layer of Answer and Passage)

  • 김진태;노형종;이연수;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.315-320
    • /
    • 2019
  • 질문 생성이란 구절이 입력되면 구절에서 답을 찾을 수 있는 질문을 자동으로 생성하는 작업으로 교육용 시스템, 대화 시스템, QA 시스템 등 다양한 분야에서 중요한 역할을 한다. 질문 생성에서 정답의 단어가 질문에 포함되는 문제점을 해결하기 위해 구절과 정답을 분리한다. 하지만 구절과 정답을 분리하게 되면 구절에서 정답의 정보가 손실되고, 정답에서는 구절의 문맥 정보가 손실되어 정답 유형에 맞는 질문을 생성할 수 없는 문제가 발생된다. 본 논문은 이러한 문제를 해결하기 위해 분리된 정답과 구절의 정보를 연결시켜주는 정답과 구절의 공동 주의 집중 계층을 제안한다. 23,658개의 질문-응답 쌍의 말뭉치를 이용한 실험에서 정답과 구절의 공동 주의 집중 계층이 성능 향상에 기여해 우수한 성능(BLEU-26.7, ROUGE-57.5)을 보였다.

  • PDF

한국어의 형태론적 모호성 유형 및 해결 방안 (Classification and Disambiguation of Morphological Ambiguity of the Korean Language)

  • 강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.83-87
    • /
    • 1997
  • 한국어는 실질형태소와 형식형태소가 결합되는 교착어라는 특성 때문에 품사 모호성을 비롯한 여러 가지 유형의 형태론적 모호성이 발생한다. 형태론적 모호성 해결의 관점에서 형태론적 모호성을 한국어의 특성에 따라 어근 유형 모호성, 형태소 분리 모호성, 형태소 길이 모호성, 불규칙 용언의 원형 복원 모호성, '아/에/이' 탈락 모호성 등으로 분류한다. 이 때 임의의 두 분석 결과에서 발생하는 모호성이 특정 유형에만 속하도록 모호성 유형들을 서로 독립적으로 정의한다. 또한 품사 모호성을 계층적 품사 분류 체계에 따라 $1{\sim}3$차적 품사 모호성으로 구분하고 국어사전에서 발견되는 품사 모호성을 분석한다. 이를 기반으로 형태론적 모호성의 유형을 단어 내에서 해결 가능한 것과 그렇지 않은 것으로 구분하여, 단어 내에서 해결 가능한 모호성을 해결하는 방법을 제안한다.

  • PDF