• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.4
• /
• pp.267-272
• /
• 2013

As an important operation with many applications such as data cleaning and duplicate detection, the similarity join is a challenging issue, which finds all pairs of records whose similarities are above a given threshold in a dataset. We propose a new algorithm that uses the prefix filtering principle as strong constraints on generation of candidate pairs for fast similarity joins. The candidate pair is generated only when the current prefix token of a probing record shares one prefix token of an indexing record within the constrained prefix tokens by the principle. This generation method needs not to compute an upper bound of the overlap between two records, which results in reduction of execution time. Experimental results show that our algorithm significantly outperforms the previous prefix filtering-based algorithms on real datasets.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2020.06a
• /
• pp.225-225
• /
• 2020

최근 국내·외에서는 재래식 소류사량 채집기를 이용한 직접계측방법의 한계를 보완하기 위해 음향센서(하이드로폰)를 활용하여 소류사가 이동할 때 발생하는 충돌음 신호로부터 소류사량을 간접적으로 추정하는 방법이 개발 검토되고 있다. 이러한 방법은 하이드로폰에 계측된 음향신호의 특성 중 음향 펄스 수와 소류사량의 상관성을 해명하는 연구가 주를 이루고 있다. 그러나 기존의 펄스 카운트 알고리즘은 원시신호에 대한 불충분한 노이즈 필터링 작업과 음향특성 중 진폭만을 고려하여 임계치를 설정하였기 때문에 운송되는 소류사량이 많을 경우 신호 파형의 중첩으로 인한 펄스 수의 과소평가, 감지 가능한 상한 입자 크기가 제한되는 등의 결점을 가지고 있다. 또한 대다수의 연구가 소류사량의 총량과 시계열적인 변화를 추정하는데 주안점을 두고 있어 소류사량의 입도분포를 추정하기 위한 연구사례는 매우 부족한 실정에 있다. 따라서 본 연구에서는 위와 같은 한계를 극복하기 위해 다양한 입경과 유속 조건을 고려한 단독입자 공급 실험을 통해 하이드로폰에서 계측되는 소류사 입경별 충돌음의 진폭과 특정 주파수대역을 기준으로 음향특성치를 효과적으로 필터링 할 수 있는 개선된 Band-Passs Method 방법을 제안하였다. 제안된 방법의 검증을 위해 기존의 음향신호 필터링 방법(증폭 채널 방법, 임계치 설정 방법)과 비교·분석을 수행한 결과 제안한 방법이 기존의 필터링 방법보다 높은 소류사량 추정률을 보이는 것으로 나타났다. 아울러 단일입경 연속공급 실험을 수행하여 입경별 소류사량 추정관계식을 산출하고 혼합입경의 입도분포 추정 가능성을 확인하였다. 연구수행의 최종단계로 혼합입경 소류사량 추정이 가능한 입경별 통합 소류사량 추정 알고리즘을 개발하고 실측 소류사량과의 비교·분석을 통해 알고리즘의 소류사량 추정 정밀도를 검증하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2010.05a
• /
• pp.216-218
• /
• 2010

본 논문에서는 기존의 퍼지 필터링 알고리즘의 문제점을 개선한 퍼지 필터링 기법을 제안한다. 제안된 퍼지 필터링 알고리즘은 컬러 영상에서 R, G, B 채널을 각각 분리한다. 분리된 각 채널에서 마스크 정보를 추출하여 채널에 대한 평균값과 중간값의 명암도를 제안된 퍼지 기법의 소속 함수에 적용하여 소속도를 구한 뒤, 추론 규칙에 적용한다. 그리고 R, G, B 각각의 소속도 값을 이용하여 잡음 가능성 여부를 판별한다. 제안된 퍼지 기법에서 소속 함수 구간은 세 개 구간으로 설정하였다. 잡음이라고 판단되는 경우에는 그 잡음 정도에 따라 중간값이나 평균값을 해당 픽셀 값으로 설정하여 잡음을 제거한다. 제안된 기법을 컬러 영상에 적용한 결과, 제안된 기법이 기존의 퍼지 필터링 기법보다 잡음 제거에 있어서 효과적인 것을 확인할 수 있었다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.05a
• /
• pp.434-436
• /
• 2022

For 4th industrial revolution and the development of various communication media, unmanned and automation are rapidly progressing in various fields. In particular, high-level image processing technology is required in fields such as smart factories, autonomous driving technology, and intelligent CCTV. Accordingly, the importance of preprocessing in a system operating based on an image is increasing, and an algorithm for effectively removing noise from an image is attracting attention. In this paper, we propose a filtering algorithm using noise judgment and a segmentation mask in a complex noise environment. The proposed algorithm calculates the final output by switching the segmentation mask suitable for filtering by performing noise judgment on the pixel values of the input image. Simulation was conducted to verify the performance of the proposed algorithm, and the result image was compared and evaluated with the existing filter algorithm.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.41-42
• /
• 2013

본 논문에서는 문서 영상 처리의 중요한 전처리 과정인 텍스트 라인 추출을 위하여 가우시안 필터링 및 피크 검출을 이용하는 방법을 제안한다. 이는 문서 영상 내의 글자 영역의 픽셀 강도와 텍스트 라인 사이의 간격에 해당하는 강도의 차이로 인해 문서 영상의 각 열마다 높은 피크와 낮은 피크가 번갈아 가며 나타나는 것에 기반으로, 제안하는 알고리즘은 필터 스케일 추정, 필터량 및 피크 검출, 라인 성분 그룹화의 세 단계로 구성된다. 필터 스케일 추정 단계에서는 여러 초기 값으로 필터링하여 피크 차이 간의 히스토그램을 만듦으로써 글자 크기를 대략적으로 예축하며, 필터링 및 피크 검출 단계에서 앞서 예측된 스케일의 가우시안 필터를 이용하여 필터링 한 후, 각각의 열마다 피크를 검출한다. 마지막으로 라인 성분 그룹화를 통하여 검출된 피크를 서로 연결하여 하나의 텍스트 라인을 구성하는 성분들로 그룹화시켜 텍스트 라인을 추출한다. 실험 결과를 통하여, 제안하는 알고리즘은 이진화 과정을 거치지 않음으로써 균일하지 못한 조명환경 등으로 이진화 성능이 좋지 못할 경우에도 텍스트 라인을 추출할 수 있으며, 텍스트 라인 간격이 인정하지 않고 휘어진 라인을 포함하는 경우에도 적용할 수 있음을 확인 할 수 있다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.14 no.1
• /
• pp.101-107
• /
• 2014

This paper presents an efficient distributed recommendation system using clustering collaborative filtering algorithm in distributed computing environments. The system was built based on Hadoop distributed computing platform, where distributed Min-hash clustering algorithm is combined with user based collaborative filtering algorithm to optimize recommendation performance. Experiments using Movie Lens benchmark data show that the proposed system can reduce the execution time for recommendation compare to sequential system.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.410-412
• /
• 2022

협업 필터링은 사용자들간의 집단 지성에 기반한 추천 알고리즘이다. 다양한 시스템에 쓰이고 있는 협업 필터링과 그 장단점에 대해서 알아본다. 그리고 본 논문에서는 기존의 학사 관리 시스템에 협업 필터링을 적용한 새로운 학사관리 시스템을 제안한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2018.05a
• /
• pp.101-102
• /
• 2018

협업 필터링은 데이터 분석을 통한 추천 시스템에서 대표적인 방법이다. 사용 방법은 다양한 아이템에 대해서 사용자들의 평가 데이터를 활용하여 공통적인 패턴을 찾아서 특정 사용자에 대한 선호 아이템을 추천하는 기법이다. 이에 본 논문에서는 여러 가지 알고리즘을 사용하여 지표 측정에 활용하였으며, 사용자 선호에 대한 예측에 적합한 알고리즘을 찾아서 제시하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2018.05a
• /
• pp.426-427
• /
• 2018

협업 필터링은 데이터 분석을 통한 추천 시스템에서 대표적인 방법이다. 사용 방법은 다양한 아이템에 대해서 사용자들의 평가 데이터를 활용하여 공통적인 패턴을 찾아서 특정 사용자에 대한 선호 아이템을 추천하는 기법이다. 이에 본 논문에서는 여러 가지 알고리즘을 사용하여 지표 측정에 활용하였으며, 사용자 선호에 대한 예측에 적합한 알고리즘을 찾아서 제시하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.01a
• /
• pp.275-277
• /
• 2014

본 논문에서는 세라믹 소재 영상에 가우시안 필터링 기법을 적용하여 잡음을 제거하고, K-means 알고리즘을 적용하여 결함 영역을 세분화 한 뒤, 세분화된 결함 영역에 Max-Min 이진화 기법을 이용하여 결함 영역을 추출한 후, 형태학적 기법을 이용하여 잡음을 제거하고 결함을 추출한다. 제안된 방법을 세라믹 소재 영상을 대상으로 실험한 결과, 기존의 방법보다 효율적으로 결함이 검출되는 것을 확인하였다.