• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.561-564
• /
• 2018

최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.85-86
• /
• 2021

본 논문에서는 사용자 간 거래를 제공하는 플랫폼에서 제목 데이터를 활용한 상세 필터 모델을 제안한다. 이 모델은 상세 필터링을 제공하지 않는 플랫폼으로 인해 대규모 데이터에서 사용자가 원하는 데이터를 찾는 불편함을 덜어준다. 상세 필터링을 일부 제공할 경우 관리자가 주기적으로 변경된 데이터로 갱신해야 하는 과정이 있지만, 제안 모델을 활용할 경우, 수집된 데이터를 활용하여 필터링을 구성하기 때문에 관리자의 불필요한 리소스를 줄일 수 있다. 또한 등록된 데이터를 활용하여 필터 데이터를 구성하기 때문에 결과가 없는 필터가 노출되지 않고, 사용자가 없는 결과를 찾게 되는 헛수고를 덜 수 있다. 본 논문에서는 제목 데이터를 활용하여 상세 필터 모델을 적용하여 사용자가 원하는 상품을 구매하기 위한 접근이 용이하다.

• Journal of KIISE:Databases
• /
• v.28 no.2
• /
• pp.204-216
• /
• 2001

최근 이미지 특징 벡터와 같은 고차원 벡터 데이터에 관한 색인 기법들이 많이 연구되고 있다. 하지만, 기존의 색인 기법들은 저차원의 데이터에 대해서는 검색 성능이 우수하지만, 차원이 증가함에 따라 검색 성능이 급격히 저하되는 'dimensional curse' 문제를 안고 있다. 따라서, 본 논문에서는 이러한 문제점을 최소화하기 위해 필터링을 이용한 새로운 색인 기법을 제안한다. 제안하는 셀 기반 필터링 기법은 셀 중심에서 객체까지의 거리값을 저장하여 필터링 효과를 증대시킨다. 또한 고차원 공간을 셀 단위로 분할하며, 각각의 셀을 시그니쳐로 표현한다. 검색을 수행하기 위해, 셀 기반 필터링 기법은 데이터 파일을 직접 접근하기 전에 전체 시그니쳐들을 탐색하여 필터링을 수행함으로써 후보 셀들을 얻는다. 성능 실험을 통해 제안하는 기법이 VA-파일보다 검색 시간에 있어서 약 20%의 성능 향상을 보인다.

• The KIPS Transactions:PartD
• /
• v.17D no.4
• /
• pp.245-252
• /
• 2010

In this paper, we propose an effective filtering method for skyline queries in mobile ad hoc networks (MANETs). Most existing researches assume that data is uniformly distributed. Under these assumptions, the previous works focus on optimizing the energy consumption due to the limited battery power. However, in practice, data distribution is skewed in a specific region. In order to reduce the energy consumption, we propose a new filtering method considering the data distribution. We verify the performance of the proposed method through a comparative experiment with an existing method. The results of the experiment confirm that the proposed method reduces the communication overhead and execution time compared to an existing method.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.31 no.5A
• /
• pp.517-525
• /
• 2006

In this paper, we present a high-speed RFID data filtering engine designed to carry out filtering under the conditions of massive data and massive filters. We discovered that the high-speed RFID data filtering technique is very similar to the high-speed packet classification technique which is used in high-speed routers and firewall systems. Actually, our filtering engine is designed based on existing packet classification algorithms, Bit Parallelism and Aggregated Bit Vector(ABV). In addition, we also discovered that there are strong temporal relations and redundancy in the RFID data filtering operations. We incorporated two kinds of caches, tag and filter caches, to make use of this characteristic to improve the efficiency of the filtering engine. The performance of the proposed engine has been examined by implementing a prototype system and testing it. Compared to the basic sequential filter comparison approach, our engine shows much better performance, and it gets better as the number of filters increases.

• The Journal of Bigdata
• /
• v.2 no.1
• /
• pp.41-48
• /
• 2017

Recently, the popularity of the recommendation system and the evaluation of the performance of the algorithm of the recommendation system have become important. In this study, we used modeling and RMSE to verify the effectiveness of various algorithms in movie data. The data of this study is based on user-based collaborative filtering using Pearson correlation coefficient, item-based collaborative filtering using cosine correlation coefficient, and item-based collaborative filtering model using singular value decomposition. As a result of evaluating the scores with three recommendation models, we found that item-based collaborative filtering accuracy is much higher than user-based collaborative filtering, and it is found that matrix recommendation is better when using matrix decomposition.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04a
• /
• pp.376-378
• /
• 2002

현재 클라이언트/서버 네트워크 환경은 시스템이 점점 대형화되면서 유지보수 및 네트워크 트래픽에 대한 문제로 인하여 분산 객체 개념을 이용한 분산 환경의 페러다임이 필요하게 되었다. 이에 OMG의 CORBA는 분산 환경을 위한 표준을 제공하며, 분산 객체간의 비동기 호출을 위한 이벤트 서비스를 명시하고 있다. 분산 객체간의 데이터 전송은 전체 시스템의 성능을 좌우하는 중요한 요인으로 평가받고 있으나 이벤트 서비스는 이벤트 데이터를 위한 필터링 기능을 제공하고 있지 않아 비효율적인 데이터 전송을 하고 있다. 본 논문에서는 이벤트 채널의 필터링을 위한 모듈을 정의하여 기존의 서비스에서 제공하는 이벤트 채널보다 효율적인 데이터 전송이 가능한 이벤트 필터링 채널을 설계한다.

• Journal of Korea Game Society
• /
• v.15 no.2
• /
• pp.159-168
• /
• 2015

This paper introduces effective noise removal method for medical ultrasound volume data. Ultrasound volume data need to be filtered because it has a lot of noise. Conventional 2d filtering methods ignore information of adjacent layers and conventional 3d filtering methods are slow or have simple filter that are not efficient for removing noise and also don't equally operate filtering because that don't take into account ultrasound' sampling character. To solve this problem, we introduce method that fast perform in parallel bilateral filtering that is known as good for noise removal and adjust proportionally window size depending on that's position. Experiments compare noise removal and loss of original data among average filtered or biliteral filtered or adaptive biliteral filtered ultrasound volume rendering images. In this way, we can more efficiently and correctly remove noise of ultrasound volume data.

• Proceedings of the KSRS Conference
• /
• 2006.03a
• /
• pp.131-134
• /
• 2006

LiDAR(Light Detection And Ranging) 데이터 처리에 있어서 건물, 자동차, 수목 등의 비지면 객체와 지면을 분류하는 필터링 과정은 DEM(Digital Elevation Model) 구축을 위해서 중요하다. 도심지역의 건물추출 등의 필터링에 관한 연구는 활발히 진행되고 있으나 국내의 경우 수목에 대한 필터링은 비교적 연구가 미흡하였다. 따라서 이 연구에서는 기존에 다루어진 몇 가지 알고리즘을 분석하고 산림지역에 활용해 봄으로써 각 필터링에 관한 장단점을 비교하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.1623-1626
• /
• 2005

초음파 영상 기법은 장기, 연조직, 혈류를 검사하는데 쓰이는 영상 진단법이다. 초음파 장비를 통해 얻어진 초음파 볼륨 데이터는 장비 특성상 많은 잡음(speckle noise)을 포함하기 때문에, 깨끗한 영상을 얻기 위해서는 잡음 필터링(noise filtering)이 필요하다. 그런데, 볼륨 데이터 모든 영역에 대해 잡음 필터링을 적용할 경우 전처리 시간이 길어져 실시간으로 초음파 볼륨 데이터를 렌더링하기 어렵다. 본 논문에서는 실시간으로 입력되는 초음파 볼륨 데이터를 가시화 하기위하여 전처리 시간 없이 잡음을 제거하는 방법을 제안한다. 전처리 시간에 전체 볼륨 데이터에 대해 잡음 필터링을 적용하지 않고, 영상을 생성하는 동안 참조되는 복셀(voxel)에 대해서만 잡음 필터를 적용하여 얻은 값을 사용한다. 이때 필터링에 소요되는 시간을 최소화하기 위해 가장 단순한 평균화 필터를 사용한다. 그리고 복셀에 적용되는 3차원 필터를 3단계의 1차원 필터 연산 단계로 분할 한 후, 각 단계별 연산을 거친 복셀들에 대해서는 다시 연산을 하지 않도록 하여 중복을 피한다. 이를 통해 전처리 시간 없이 기존 방법과 동일한 화질을 유지하는 최종 영상을 만들어 낸다.