• Title/Summary/Keyword: 전처리 기법

검색결과 972건 처리시간 0.033초

악성 댓글에 사용된 문자의 형태를 고려한 한국어 자연어처리를 위한 전처리 기법 (Preprocessing technique for natural language processing considering the form of characters used in malicious comments)

  • 김해수;김미희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.543-545
    • /
    • 2022
  • 최근 악플에 대한 논란이 끊이지 않고 있어 이것을 해결하기위한 방법으로 자연어 처리를 이용하고 있다. 특히 소셜 미디어, 온라인 커뮤니티에서 많이 발생하고 있고 해당 매체에서는 한글을 그대로 사용하지 않고 그들의 은어를 섞어서 사용하며 그중에서 한글이 아닌 문자를 섞어서 만들어낸 문장도 있다. 이러한 문장은 기존의 모델에 학습된 데이터의 형태와 다르며 한글이 아닌 문장이 많을수록 모델의 예측이 부정확해진다는 단점이 있어 본 논문에서는 인공지능을 이용한 이미지 분류와 띄어쓰기, 오타 교정을 이용한 전처리 기법을 제안한다.

사진 데이터로 본 미세먼지 단계 추정 시스템 : 딥러닝 기술의 적용 (Estimation of Fine Dust Concentration Using Photo Data : Application of Deep Learning)

  • 박현지;정지영;김유정;박현수;최현지
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.870-871
    • /
    • 2023
  • 미세먼지 단계를 예측하는 딥러닝 기반 시스템을 개발하고 그 성능을 평가하는 연구를 진행했다. 연구에서 320개의 풍경 사진 데이터를 수집하고, 해당 시점의 미세먼지 농도를 측정하여 "좋음" 또는 "나쁨"으로 분류했다. 데이터 전처리 단계에서는 특히 하늘 이미지의 특성을 고려하여 다양한 전처리 기법을 적용하였다. 다섯 가지 이미지 데이터 모델을 사용하여 이미지를 분류하고 미세먼지 단계를 예측하는 모델을 개발하였으며, 또 이 모델들을 다양한 기법으로 앙상블 해보며 성능을 비교했다. 그 결과, Random Forest를 이용한 앙상블 모델이 제일 뛰어난 예측 성능을 보였다. 이러한 연구 결과는 미세먼지 모니터링 및 예측에 유용한 시스템 개발의 가능성을 제시한다.

사용자 생성 로그를 이용한 웹 분석시스템 설계 및 구현 (Design and Implementation of Web Analyzing System based on User Create Log)

  • 고영대;이언배
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.264-267
    • /
    • 2007
  • 인터넷 사이트가 증가하면서 서비스 제공자는 사용자의 요구나 행동패턴을 파악하기 위하여 웹 마이닝 기법을 활용한다. 하지만 서버에 저장된 웹 로그 정보를 활용한 마이닝 기법은 전처리 과정에 많은 노력이 필요하고 사용자의 행동패턴이나 요구를 정확하게 파악하는데 한계가 있다. 이를 극복하기 위해 본 논문에서는 사용자 생성 로그정보를 이용한 방법을 제안한다. 제안 방법은 기존 서버에 저장되는 로그파일이 아닌 사용자의 행동에 의해 웹 페이지가 로딩될 때 마다 웹 마이닝에 필요한 정보를 수집하여 DB 에 저장하는 방법을 사용하였다. 이때 기존 로그파일에 로딩시간과 조회시간, 파라메타 정보를 추가하여 보다 사실적으로 사용자의 행동패턴을 파악하고자 하였다. 이렇게 생성된 로그파일을 기 등록된 메뉴정보, 쿼리정보와 조합하면 웹 마이닝에 필수적인 데이터정제, 사용자식별, 세션식별, 트랜잭션 식별등 전처리 과정의 효율성을 향상시키고 사용자의 행동패턴파악을 위한 정보 수집을 용이하게 해준다.

Backpropagation을 이용한 악보인식 (Recognition of Music using Backpropagation Network)

  • 박현준;차의영
    • 한국정보통신학회논문지
    • /
    • 제11권6호
    • /
    • pp.1170-1175
    • /
    • 2007
  • 본 논문에서는 신경회로망 알고리즘 중 하나인 backpropagation network을 이용한 악보인식 기법과 그에 필요한 악보 영상에 대한 전처리 기법을 제안한다. 전처리과정으로 이진화, 기울기 보정, 오선제거 등의 과정을 수행하여 인식에 필요한 음악 기호와 음표를 분리한다. 분리된 음악 기호와 음표들은 backpropagation 알고리즘을 사용하여 구성된 음표 인식 신경망과 비음표 인식 신경망을 통해 각각 음표와 비음표 인식과정을 거친다. 다양한 복잡도를 가진 악보를 대상으로 한 실험 및 분석 결과를 통해 제안한 악보 인식 기법의 정확도를 기술하였다.

다시점 비디오의 색상 성분 보정을 위한 특징점 기반의 전처리 방법 (Feature based Pre-processing Method to compensate color mismatching for Multi-view Video)

  • 박성희;유지상
    • 한국정보통신학회논문지
    • /
    • 제15권12호
    • /
    • pp.2527-2533
    • /
    • 2011
  • 본 논문에서는 특징점 기반 색상 보정을 통한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 갖게 된다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 제안한다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)으로 추정한다. 또한 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정한다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 개선되고 bit rate 는 14% 정도 감소되는 성능을 확인하였다.

그래픽 사용자 인터페이스 기반 항공자력탐사 전처리 S/W, KMagLevellingTM (Aeromagnetic Pre-processing Software Based on Graphic User Interface, KMagLevellingTM)

  • 고광범;정상원
    • 지구물리와물리탐사
    • /
    • 제17권3호
    • /
    • pp.171-178
    • /
    • 2014
  • 항공자력탐사의 전처리(pre-processing)는 육상탐사에 비해 손품이 많이 들어가는 복잡한 과정이 더 많아 그래픽 사용자 인터페이스 기반의 전용 처리도구를 이용하는 것이 가장 효율적이다. 본 글에서는 항공자력자료의 전처리 전용 소프트웨어, $KMagLevelling^{TM}$을 개발하고 그 주요 기능을 간략히 소개하였다. $KMagLevelling^{TM}$은 전처리 과정을 크게 세부분으로 구분하여 구현하였다. 세부기능별 사용자 인터페이스 중 편의성과 독창성 측면에서 주목할 만한 기능으로서는 (1) 방대한 양의 항공자력자료 D/B를 비행경로 형태로 시각화하여 표현하는 기법 (2) 취합자료 중 특정 영역의 필요한 자료만의 발췌 (3) 자력자료 내의 원치 않는 부분을 선택적으로 쉽게 제거하는 사용자 인터페이스의 세 가지로 요약된다.

지식기반 영상개선을 위한 지문영상의 품질분석 (Fingerprint Image Quality Analysis for Knowledge-based Image Enhancement)

  • 윤은경;조성배
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권7호
    • /
    • pp.911-921
    • /
    • 2004
  • 지문영상으로부터 특징점을 정확하게 추출하는 것은 효과적인 지문인식 시스템의 구축에 매우 중요하다. 하지만 지문영상의 품질에 따라 특징점 추출의 정확도가 달라지기 때문에 지문인식 시스템에서의 영상 전처리 과정은 시스템의 성능에 크게 영향을 미친다. 본 논문에서는 지문영상으로부터 명암값의 평균 및 분산, 블록 방향성 차, 방향성 변화도, 융선과 골의 두께 비율 등의 5가지 특징을 추출하고 계층적 클러스터링 알고리즘으로 클러스터링하여 영상의 품질 특성을 분석한 후 습성(oily), 보통(neutral), 건성(dry)의 특성에 적합하게 영상을 개선하는 지식기반 전처리 방법을 제안한다. NIST DB 4와 인하대학교 데이타를 이용하여 실험한 결과, 클러스터링 기법이 영상의 특성을 제대로 구분함을 확인할 수 있었다. 또한 제안한 방법의 성능 평가를 위해 품질 지수와 블록 방향성 차이를 측정하여 일반적인 전처리 방법보다 지식기반 전처리 방법이 품질 지수와 블록 방향성 차이를 향상시킴을 확인할 수 있었다.

다양한 데이터 전처리 기법 기반 침입탐지 시스템의 이상탐지 정확도 비교 연구 (Comparative Study of Anomaly Detection Accuracy of Intrusion Detection Systems Based on Various Data Preprocessing Techniques)

  • 박경선;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권11호
    • /
    • pp.449-456
    • /
    • 2021
  • 침입 탐지 시스템(IDS: Intrusion Detection System)은 보안을 침해하는 이상 행위를 탐지하는 기술로서 비정상적인 조작을 탐지하고 시스템 공격을 방지한다. 기존의 침입탐지 시스템은 트래픽 패턴을 통계 기반으로 분석하여 설계하였다. 그러나 급속도로 성장하는 기술에 의해 현대의 시스템은 다양한 트래픽을 생성하기 때문에 기존의 방법은 한계점이 명확해졌다. 이런 한계점을 극복하기 위해 다양한 기계학습 기법을 적용한 침입탐지 방법의 연구가 활발히 진행되고 있다. 본 논문에서는 다양한 네트워크 환경의 트래픽을 시뮬레이션 장비에서 생성한 NGIDS-DS(Next Generation IDS Dataset)를 이용하여 이상(Anomaly) 탐지 정확도를 높일 수 있는 데이터 전처리 기법에 관한 비교 연구를 진행하였다. 데이터 전처리로 패딩(Padding)과 슬라이딩 윈도우(Sliding Window)를 사용하였고, 정상 데이터 비율과 이상 데이터 비율의 불균형 문제를 해결하기 위해 AAE(Adversarial Auto-Encoder)를 적용한 오버샘플링 기법 등을 적용하였다. 또한, 전처리된 시퀀스 데이터의 특징벡터를 추출할 수 있는 Word2Vec 기법 중 Skip-gram을 이용하여 탐지 정확도의 성능 향상을 확인하였다. 비교실험을 위한 모델로는 PCA-SVM과 GRU를 사용하였고, 실험 결과는 슬라이딩 윈도우, Skip-gram, AAE, GRU를 적용하였을 때, 더 좋은 성능을 보였다.

음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반 음성 인식 모델의 성능 분석 (Performance Analysis of Speech Recognition Model based on Neuromorphic Architecture of Speech Data Preprocessing Technique)

  • 조진성;김봉재
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권3호
    • /
    • pp.69-74
    • /
    • 2022
  • 뉴로모픽 아키텍처에서 동작하는 SNN (Spiking Neural Network) 은 인간의 신경망을 모방하여 만들어졌다. 뉴로모픽 아키텍처 기반의 뉴로모픽 컴퓨팅은 GPU를 이용한 딥러닝 기법보다 상대적으로 낮은 전력을 요구한다. 이와 같은 이유로 뉴로모픽 아키텍처를 이용하여 다양한 인공지능 모델을 지원하고자 하는 연구가 활발히 일어나고 있다. 본 논문에서는 음성 데이터 전처리 기법에 따른 뉴로모픽 아키텍처 기반의 음성 인식 모델의 성능 분석을 진행하였다. 실험 결과 푸리에 변환 기반 음성 데이터 전처리시 최대 84% 정도의 인식 정확도 성능을 보임을 확인하였다. 따라서 뉴로모픽 아키텍처 기반의 음성 인식 서비스가 효과적으로 활용될 수 있음을 확인하였다.