• Title/Summary/Keyword: 데이터 필터링

Search Result 981, Processing Time 0.033 seconds

Design and Implementation of Profanity Filtering Chat Program Based on Deep Learning (딥러닝 기반 비속어 필터링 채팅 프로그램 설계 및 구현)

  • Lee, Geon-Hwan;Park, Joo-Chan;Choi, Dong-won;Lee, Yeon-Gyeong;Choi, Ho-Bin;Han, Youn-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.998-1001
    • /
    • 2019
  • 최근에 게임이나 채팅 프로그램 내에서의 비속어 필터링은 금칙어 기반으로 운영되고 있다. 하지만 금칙어 기반의 프로그램은 여러 한계점을 보이며, 따라서, 본 논문에서는 'Text-CNN'을 활용한 딥러닝 기법에 기반하여 비속어 필터링 프로그램을 제안한다. 데이터의 자질을 '자모' 단위로 전처리하여 학습시키고 어느 부분이 비속어인지 검출하여 마스킹 처리하는 'LIME 알고리즘'을 사용하여 우리의 프로그램을 이용하는 사용자들에게 바른 언어습관을 지향하며 더 나아가 올바른 인터넷 문화를 조성할 수 있도록 필터링 채팅 프로그램을 제안한다.

Attribute-based Multi-level Clustering for Collaborative Filtering (협동적 필터링을 위한 속성기반 다단계 클러스터링)

  • Kim, Taek-Hun;Yang, Sung-Bong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.11a
    • /
    • pp.525-528
    • /
    • 2007
  • 추천시스템은 일반적으로 협동적 필터링이라는 정보 필터링 기술을 사용한다. 협동적 필터링은 유사한 성향을 갖는 다른 고객들이 상품에 대해서 매긴 평가에 기반하기 때문에 고객에게 가장 적합한 유사 이웃들을 적절히 선정해 내는 것이 추천시스템의 예측의 질 향상을 위해서 필요하다. 본 논문에서는 속성 정보를 기반으로 한 다단계 클러스터링을 통한 이웃선정 방법을 제안한다. 이 방법은 대규모 데이터 셋에서 탐색 공간을 줄이기 위해 클러스터링을 수행하여 적절한 이웃 고객들의 집합을 추출한다. 이 때, 속성 정보에 따라 단계적으로 클러스터링을 수행함으로써 보다 정제된 고객집합을 구성할 수 있도록 한다. 본 논문에서는 고객 선호도와 위치 정보를 대표적인 속성 정보로 사용함으로써 모바일 환경에서 보다 정확한 추천이 이루어질 수 있도록 한다.

  • PDF

Design and Implementation of Automatic Dependent Surveillance - Broadcast Server System (ADS-B 서버 시스템의 설계 및 구현)

  • Cho, Taehwan;Kim, Kanghee;Kim, Jinhyuk;Choi, Sangbang
    • Journal of Advanced Navigation Technology
    • /
    • v.19 no.3
    • /
    • pp.182-191
    • /
    • 2015
  • The automatic dependent surveillance - broadcast (ADS-B) system which is a core system of aviation system block upgrade is designed and implemented. The ADS-B system consists of the 4 blocks and 10 units, and filtering algorithm is applied to the implemented ADS-B system. To evaluate a performance of the implemented ADS-B system, real aircraft position data is used and compared reliable radar data. The comparison results show that average position difference of 99.57 m. In addition, comparisons of aircraft position data between the implemented ADS-B system employing filtering algorithm and the conventional ADS-B system under various situations are carried out, such as aircraft turning, taking off, landing, and cruising. The comparison results show that average position difference of 8.02 m.

A Segmented Morphology Filter for Airborne LiDAR Data (Airborne LiDAR 필터에 관한 연구)

  • Choi, Seung-Sik;Song, Nak-Hyeon;Cho, Woo-Sug
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.25 no.1
    • /
    • pp.55-62
    • /
    • 2007
  • Recent advances in airborne LiDAR technology allow rapid and inexpensive measurements of topography over large areas. The generation of DTM/DEM is essential to numerous applications such as the fields of civil engineering, environment, city planning and flood modeling. The demand for LiDAR data is increasing due to the reduced cost for DTM generation and the increased reliability, precision and completeness. In order to generate DTM, measurements from non-ground features such as building and vegetation have to be classified and removed. In this paper, a segmented morphology filter was developed to detect non-ground LiDAR measurements. First, segments LiDAR point clouds based on the elevation. Secondly classifies those protruding segments into non-ground points. Those non-ground points such as building and vegetation are removed, while ground points are preserved for DTM generation. For experiments, data sets used in Comparison of Filters (ISPRS, 2003) depicting urban and rural areas were selected. The experimental results show that the proposed filter can remove most of the non-ground points effectively with less commission and omission errors.

Construction of Personalized Recommendation System Based on Back Propagation Neural Network (역전파 신경망을 이용한 개인 맞춤형 상품 추천 시스템 구축)

  • Jung, Gwi-Im;Park, Sang-Sung;Shin, Young-Geun;Jang, Dong-Sik
    • The Journal of the Korea Contents Association
    • /
    • v.7 no.12
    • /
    • pp.292-302
    • /
    • 2007
  • Thousands of studies on predicting information and products that are suitable for customers' preference have been actively proceeding. In massive information, unnecessary information should be removed to satisfy customers' needs. This Information filtering has been proceeding with several methods such as content-based and collaborative filtering etc. These conventional filtering methods have scarcity and scalability problems. Thus, this paper proposes a recommendation system using BPN to solve them. Data obtained by survey questionnaire are used as training data of neural network. The recommendation system using neural network is expected to recommend suitable products because it creates optimal network. Finally, the prototype for recommendation system based on neural network is proposed to collect data and recommend appropriate methods through survey questionnaire. As a result, this research improved the problems of conventional information filtering.

An Energy-Effective Data Transmission Method using Clustering Similar Ranges (유사구간 클러스터링을 이용한 에너지 효율적인 데이터 전송방법)

  • Hong, Chang-Gi;Kim, Chang-Hwa;Lee, Seung-Jae;Kim, Sang-Kyeung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10c
    • /
    • pp.108-112
    • /
    • 2006
  • 센서 네트워크는 제한된 에너지를 가지는 작은 노드들로 구성이 된다. 이 센서 네트워크에서 가장 큰 에너지 손실을 가져오는 부분은 RF통신 부분이라 할 수 있다. 해양 센서 네트워크는 통신 매체로 음파를 사용하기 때문에 RF를 사용하는 센서 네트워크보다 통신하는데 더 많은 에너지를 소모한다. 센서 네트워크에서 통신 횟수를 줄여 에너지 효율을 높이는 방법으로 네트워크 내 집계 연산이나 필터링 등이다. 해양환경에서 데이터 값들이 유사한 층을 가지고 있다. 이 유사층에서 네트워크 내 집계 연산과 필터링의 의미를 살펴보겠다. 해양 센서 네트워크는 기존의 토플로지와 다른 구조를 가지고 있다. 새로 제안하는 구조에 어떠한 개념과 기능이 있는지를 살펴본 후 센서 노드들 임계값을 사용하여 센싱된 데이터 값이 유사한 구간을 클러스터로 묶고 묶여진 클러스터 내에서 어떻게 데이터를 전송할 방법을 제안한다.

  • PDF

A Study of WSN data sending algorithm using bloom filter (센서 네트워크에서 bloom filter를 이용한 데이터 전달 방법에 대한 연구)

  • Kim, Jung-Sik;Jang, Hyun-Jun;Im, Eul-Gyu
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06d
    • /
    • pp.225-228
    • /
    • 2007
  • 센서 네트워크는 일반적으로 자원이 극히 한정되어있는 센서 노드를 이용하여 구성이 되게 된다. 센서노드의 대역폭, 계산 능력, 메모리, 전력과 같이 많은 부분에서 일반적인 네트워크 노드보다 훨씬 적은 자원만을 사용할 수 있다. 이 중 전력은 센서 노드를 동작하게 해주는 매우 중요한 요소이기 때문에, 효율적으로 전력 사용이 필요하다. 전력 소모를 줄이는 방법에는 여러 가지가 존재하게 되는데, 본 논문에서는 센서 노드에서 송신하는 데이터의 크기를 줄이는 방법에 대해서 제안하였다. 제안하는 방법은 bloom filter를 이용하여 데이터의 내용을 필터링하도록 하였다. 그리고 기존 데이터 대신 작은 크기의 필터링 된 값을 베이스 스테이션으로 전송함으로 전력 소모를 줄이게 된다.

  • PDF

Integrating Query Column-Sets and Horizontal Partitions on Very Large Data (대용량 데이터 처리를 위한 질의 컬럼셋과 수평 파티션의 통합 방법)

  • Chung, Moonyoung;Lee, Taewhi;Kim, Sung-Soo;Song, Hyewon;Won, Jongho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.521-522
    • /
    • 2016
  • 분산된 테이터에 대한 질의 처리에서는 중간 데이터를 전송하는 단계에서 많은 디스크 I/O 및 네트워크 트래픽을 야기할 수 있다. 따라서, 질의에 필요하지 않은 데이터를 미리 필터링하면 불필요한 I/O 및 네트워크 전송을 줄일 수 있어 질의 처리 성능을 높일 수 있다. 이 논문에서는 질의 컬럼셋과 수평 파티션 방법을 통합하여 질의 처리에 불필요한 데이터를 초기 단계에 미리 필터링하여 질의 처리 성능을 높이는 방법을 제안한다.

Experiment and Evaluation of the App Profile-based Sensor Registry System in a Real-time Environment (앱 프로파일 기반 센서 레지스트리 시스템에 대한 실시간 환경에서의 실험 및 평가)

  • Choi, Hojin;Jeong, Dongwon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.857-860
    • /
    • 2016
  • 이 논문에서는 모바일 앱 프로파일 기반의 센서 레지스트리 시스템을 실시간 환경에서 실험하고 평가한다. 이기종 사물인터넷 환경에서 센서 레지스트리 시스템은 모바일 기기에 센서 메타데이터를 제공하여 센서 데이터 처리의 즉시성을 제공한다. 하지만 불필요한 센서 데이터까지 처리하여 성능 측면에서 개선사항이 요구된다. 이를 개선하기 위해 앱 프로파일을 기반으로 한 센서 필터링 기법을 제안한다. 유효한 센서 식별을 위한 센서의 정보를 프로파일 형태로 모바일 기기에 저장 후 사용하여 불필요한 센서 데이터를 필터링함으로써 전체적인 처리 속도가 개선된다. 기존 연구는 시뮬레이션 평가를 통하여 처리 속도의 향상성을 확인한다. 하지만 실시간 환경을 통한 다양한 상황의 실험이 부족하여, 이 논문에서는 기존 센서 레지스트리 시스템과 앱 프로파일 기반의 센서 레지스트리 시스템을 실시간 환경에 맞춰 구축하고 실험 및 평가한다.

An Efficient Skyline Computation using Data Filtering in a MapReduce Environment (맵리듀스 환경에서 데이터 필터링을 이용한 효율적인 스카이라인 계산)

  • Kim, Jihyun;Kim, Myung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.582-584
    • /
    • 2016
  • 데이터의 다차원 특성을 고려한 스카이라인 계산은 의사결정 시스템이나 추천 시스템 등에 활용도가 높은 질의 처리이다. 최근 들어 빅데이터의 분석에도 스카이라인 질의가 유용하게 사용됨에 따라, 맵리듀스 환경에서 스카이라인 질의를 효율적으로 계산하는 데에 많은 관심이 집중되고 있다. 본 연구에서는 데이터 필터링을 적용하여 기존의 기법들과는 달리 하나의 잡(job)으로 스카이라인을 신속하게 계산하는 알고리즘을 소개한다. 제안하는 기법은 기존의 기법들에 비해 효율적이다.