• 제목/요약/키워드: Noise review filtering

검색결과 7건 처리시간 0.02초

Improving Accuracy of Noise Review Filtering for Places with Insufficient Training Data

  • Hyeon Gyu Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권7호
    • /
    • pp.19-27
    • /
    • 2023
  • 소셜 리뷰를 수집하는 과정에서 주어진 검색어와 상관없는 노이즈 리뷰가 검색 결과에 다수 포함될 수 있으며, 이들을 필터링하기 위해 기계 학습이 이용될 수 있다. 그러나 분석하고자 하는 대상의 리뷰 수가 부족한 경우, 학습 데이터 부족으로 인한 정확도 저하 문제가 발생할 수 있다. 본 논문에서는 리뷰 수가 부족한 플레이스를 대상으로 노이즈 리뷰 필터링의 정확도를 높이기 위한 지도 학습 방법을 소개한다. 제안 방법에서는 개별 플레이스 단위로 학습을 수행하지 않고, 특성이 유사한 여러 플레이스를 그룹으로 묶어 학습을 수행한다. 학습을 통해 얻은 분류기는 그룹에 속한 임의의 플레이스에 공통으로 적용함으로써 학습 데이터 부족 문제를 해결하고자 하였다. 제안 방법의 검증을 위해, LSTM과 BERT를 이용하여 노이즈 리뷰 필터링 모델을 구현하고, 온라인에서 수집된 실제 데이터를 활용한 실험을 통해 필터링 정확도를 체크하였다. 실험 결과, 제안 방법의 정확도는 평균 92.4% 수준이었으며, 리뷰 수가 100개 미만인 플레이스를 대상으로 할 경우 87.5%의 정확도를 제공하였다.

A REVIEW ON DENOISING

  • Jung, Yoon Mo
    • Journal of the Korean Society for Industrial and Applied Mathematics
    • /
    • 제18권2호
    • /
    • pp.143-156
    • /
    • 2014
  • This paper aims to give a quick view on denoising without comprehensive details. Denoising can be understood as removing unwanted parts in signals and images. Noise incorporates intrinsic random fluctuations in the data. Since noise is ubiquitous, denoising methods and models are diverse. Starting from what noise means, we briefly discuss a denoising model as maximum a posteriori estimation and relate it with a variational form or energy model. After that we present a few major branches in image and signal processing; filtering, shrinkage or thresholding, regularization and data adapted methods, although it may not be a general way of classifying denoising methods.

노이즈 필터 도면 표준화 방안에 관한 연구 (A study on the standardization of Noise Filter drawings)

  • 이지혁
    • 품질경영학회지
    • /
    • 제46권3호
    • /
    • pp.379-396
    • /
    • 2018
  • Purpose: The purpose of this study was to propose a standard form of noise filter drawing, which is widely used in the field of weapon systems, to define the essential specification which is not standardized at the existing drawings and to employ the reference for manufacturing and qualification test. Methods: To do that, it identifies the improvements to analyze 19 noise filter drawings, studies the principle of noise filtering to find the essential part of the spec. and reviews the MIL-STD-220C and KS IEC 60939, which is the widely used as a formal spec. pertaining to the noise filter. Throughout the study, a standard form is developed to standardize the attenuation characteristics and find eight crucial metrics to specify the noise filter. Results: The results of this study are as follows; The standardized drawings can be used as the qualification test of the item and the manufacturing and engineering documents to make the noise filter, which are also applicable to the reference document to review KDS(Korea Defense Standard) drawings.

기관투자자 거래가 주가지수 변동성에 미치는 영향 (The Effect of Institutional Investors' Trading on Stock Price Index Volatility)

  • 유한수
    • 산학경영연구
    • /
    • 제19권1호
    • /
    • pp.81-92
    • /
    • 2006
  • 본 연구에서는 기관투자자의 순매수가 주가지수 변동성에 어떤 영향을 미치는가에 대해 분석하였다. 기존의 연구들에서는 관측변동성을 가지고 분석이 이루어져 왔는데 본 연구에서는 상태공간모형과 칼만필터링을 이용하여 관측변동성을 기본적 변동성과 일시적 변동성으로 분해하여 이들 각각의 변동성에 어떠한 영향을 주었는지를 연구하였다. 분석대상기간은 2000년 1월 4일부터 2005년 6월 30일까지로 하였으며 분석대상지수는 KOSPI이다. 기관투자자 순매수와 관측변동성의 관계에 대한 분석결과 기관투자자 순매수와 관측변동성은 유의한 관계가 없는 것으로 나타났으며 상태공간모형과 칼만필터링을 이용하여 구한 기본적 변동성과 일시적 변동성에 대해 분석 결과도 기본적 변동성, 일시적 변동성 모두 기관투자자 순매수와 유의한 관계가 없는 것으로 나타났다.

  • PDF

지역간 주택매매가격 변동성의 상관관계에 관한 연구 (A Study on the Interregional Relationship of Housing Purchase Price Volatility)

  • 유한수
    • 산학경영연구
    • /
    • 제20권2호
    • /
    • pp.15-27
    • /
    • 2007
  • 본 연구에서는 서울, 대전, 부산의 주택매매가격종합지수 변동성간의 상관관계에 대해 분석하였다. 기존의 연구에서는 시장에서 관찰되는 관측변동성을 이용하여 분석하였으나 본 연구에서는 통계적 방법을 이용하여 관측변동성을 내재가치의 변화에 의해 발생되는 기본적 변동성과 추종거래 등과 같은 잡음거래(noise trading)에 의해 발생되는 일시적 변동성으로 분해하여 락 변동성간의 관계를 분석하였다. 분석 결과 서울 주택매매가격 변동성과 두산 주택매매가격 변동성의 상관관계가 관측변동성 기본적 변동성, 일시적 변동성 모두 높게 나타나고 있다. 기본적 변동성의 경우는 관측변동성의 경우보다 상관관계가 놀게 나타났는데 기본적 변동성은 정보에 의해 발생하는 지속적인 변동성 부분이므로 각 시장에 공통적으로 영향을 주기 때문에 상관관계가 놀게 나타난 것으로 판단된다.

  • PDF

Developing a Big Data Analysis Platform for Small and Medium-Sized Enterprises

  • Kim, Hyeon Gyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권8호
    • /
    • pp.65-72
    • /
    • 2020
  • 금융, 통신 등의 응용 분야에서 빅데이터는 광범위하게 활용되고 있으며, 빅데이터 분석 시장은 해마다 크게 성장하고 있다. 이에 반해 소상공인들의 빅데이터 활용 실적은 저조하며, 이는 기존 시스템이 소상공인들의 여건을 충분히 반영하지 못하는 동시에 서비스 이용 가격 역시 높다는 점에 기인한다. 이를 해결하기 위한 노력의 일환으로, 본 논문에서는 소상공인에 특화된 빅데이터 분석 서비스를 제공하는 새로운 플랫폼을 개발, 제안한다. 먼저 소셜 빅데이터 분석과 관련한 기존 연구들을 비교하고, 소상공인의 마케팅을 돕기 위해 필요한 서비스 지표들을 추출한다. 다음으로 도출된 지표들을 구현한 프로토타입 시스템을 소개하고, 구현을 통해 얻어진 시스템 완성에 필요한 기술적인 이슈들을 논의한다.

심층 학습을 이용한 물리탐사 자료 잡음 제거 기술 소개 (Introduction to Geophysical Exploration Data Denoising using Deep Learning)

  • ;조아현;유희은;정인석;송서영;조성오;김빛나래;남명진
    • 지구물리와물리탐사
    • /
    • 제23권3호
    • /
    • pp.117-130
    • /
    • 2020
  • 지구물리탐사 자료의 잡음은 물리탐사 자료를 왜곡시켜 잘못된 결과 해석을 유도한다. 잡음을 만들어내는 원인으로는 인간의 활동으로 인하며 만들어지는 잡음과 자연 현상 및 기기 소음 등이 있으며 이러한 잡음을 제거하기 위한 다양한 연구들이 진행되고 있다. 하지만, 전통적인 잡음제거 방법들은 요소파 변환이나 필터링 과정에서 개인의 주관과 높은 계산 비용 그리고 많은 시간이 소모된다는 단점이 있으며 이런 문제를 해결하기 위해 영상 전처리 및 잡음제거를 위한 개선된 신경망을 구현하고자 하였다. 이 연구는 인공신경망, 합성곱 신경망, 오토인코더, 잔차 및 파형신경망의 다양한 유형의 신경망과 탄성파, 시간영역 전자탐사, 지표투과레이더 및 자기지전류의 잡음을 분석하고, 훈련 과정에 실제로 이용한 인공 신경망과 제시된 핵심 해결책을 분석 정리하였다. 이러한 분석을 통해 개선된 신경망이 지구물리탐사 자료의 잡음제거에 유용한 기법임을 알 수 있었다.