• 제목/요약/키워드: 비정제 문자 데이터

검색결과 2건 처리시간 0.014초

한국어 관객 평가기반 영화 평점 예측 CNN 구조 (CNN Architecture Predicting Movie Rating from Audience's Reviews Written in Korean)

  • 김형찬;오흥선;김덕수
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권1호
    • /
    • pp.17-24
    • /
    • 2020
  • 본 논문에서는 합성곱 신경망 기반의 영화 평점 예측 구조를 제안한다. 제안하는 구조는 문장 분류을 위하 고안된 TextCNN를 세 가지 측면에서 확장하였다. 첫 번째로 문자 임베딩을 이용하여 단어의 다양한 변형들을 처리할 수 있다. 두 번째로 주목 메커니즘을 적용하여 중요한 특징을 더욱 부각하였다. 세 번째로 활성 함수의 출력을 1-10 사이의 평점으로 만드는 점수 함수를 제안하였다. 제안하는 영화 평점 예측 구조를 평가하기 위해서 영화 리뷰 데이터를 이용하여 평가해 본 결과 기존의 방법을 사용했을 때보다 더욱 낮은 MSE를 확인하였다. 이는 제안하는 영화 평점 예측 구조의 우수성을 보여 주었다.

양방향 장단기 메모리 신경망을 이용한 욕설 검출 (Abusive Detection Using Bidirectional Long Short-Term Memory Networks)

  • 나인섭;이신우;이재학;고진광
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.35-45
    • /
    • 2019
  • 욕설과 비속어를 포함한 악성 댓글에 대한 피해는 최근 언론에 나오는 연애인의 자살뿐만 아니라 사회 전반에서 다양한 형태로 증가하고 있다. 이 논문에서는 양방향 장단기 메모리 신경망 모델을 이용하여 욕설을 검출하는 기법을 제시하였다. 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다. 불용어 처리된 댓글에 대해 문장의 전·후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다. 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다. 실험 결과 정제하고 수집된 총 9,288개의 댓글에 대해 88.79%의 성능을 나타내었다.

  • PDF