• Title/Summary/Keyword: 데이터 필터 기법

Search Result 602, Processing Time 0.028 seconds

Volumetric Data Encoding Using Daubechies Wavelet Filter (Daubechies 웨이블릿 필터를 사용한 볼륨 데이터 인코딩)

  • Hur, Young-Ju;Park, Sang-Hun
    • The KIPS Transactions:PartA
    • /
    • v.13A no.7 s.104
    • /
    • pp.639-646
    • /
    • 2006
  • Data compression technologies enable us to store and transfer large amount of data efficiently, and become more and more important due to increasing data size and the network traffic. Moreover, as a result of the increase of computing power, volumetric data produced from various applied science and engineering fields has been getting much larger. In this Paper, we present a volume compression scheme which exploits Daubeches wavelet transform. The proposed scheme basically supports lossy compression for 3D volume data, and provides unit-wise random accessibility. Since our scheme shows far lower error rates than the previous compression methods based on Haar filter, it could be used well for interactive visualization applications as well as large volume data compression requiring image fidelity.

Video Segments Change Point Inference with Evolutionary Particle Filter (진화파티클필터를 이용한 비디오 세그먼트 전환점 추정)

  • Yu, Jun-Hui;Jang, Byeong-Tak
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.363-365
    • /
    • 2012
  • 데이터의 규모 및 활용도, 그리고 사용자 접근성 측면에서 실세계 데이터에서 가장 중요한 이슈가 되는 것은 비디오 데이터이다. 장르나 등장인물, 배경 등이 매우 상이한 대량의 비디오 데이터들이 등장하고 있기 때문에, 통일된 사전지식을 이용한 비디오 데이터 분석이 매우 비현실적이 되어가고 있으며 사전지식을 활용하지 않는 비디오 분석기법의 중요성이 커지고 있다. 본 논문에서는 진화 파티를 필터링과 우점 이미지를 이용하여 비디오 데이터를 분절(Segmentation)하는 기법을 소개한다. 이미지 분절화 과정에서 해결해야 할 난점은 시점 변화 및 움직임 등에 의해 발생하는 사소한 변화가 컴퓨터 관점에서는 무시하기 어려운 큰 변화로 해석될 수 있다는 점이다. 동일장면에서의 시점 변화와 같은 사소한 변화로 인하여 동일 세그먼트를 추정하지 못하는 어려움을 해결하기 위하여 우리는 이미지 일부를 표현하는 파티클의 개체군을 생성하여 협력적인 방식으로 개별 이미지 세그먼트를 표현하는 방법을 개발하였다. 또한 동일 인물의 움직임과 같은 변화에 대응할 수 있도록 진화 파티를 필터링 방법을 컬러 히스토그램 방법과 결합하여 추론 성능을 한층 개선하였다. 실제 TV 드라마에 대하여 수행된 인간 평가자의 분절 평가 결과와 비교하여 제안 방법의 성능을 확인하였다.

User-based Collaborative Filtering Recommender Technique using MapReduce (맵리듀스를 이용한 사용자 기반 협업 필터링 추천 기법)

  • Yun, So-young;Youn, Sung-dae
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2015.10a
    • /
    • pp.331-333
    • /
    • 2015
  • Data is increasing explosively with the spread of networks and mobile devices and there are problems in effectively processing the rapidly increasing data using existing recommendation techniques. Therefore, researches are being conducted on how to solve the scalability problem of the collaborative filtering technique. In this paper applies MapReduce, which is a distributed parallel process framework, to the collaborative filtering technique to reduce the scalability problem and heighten accuracy. The proposed technique applies MapReduce and the index technique to a user-based collaborative filtering technique and as a method which improves neighbor numbers which are used in similarity calculations and neighbor suitability, scalability and accuracy improvement effects can be expected.

  • PDF

Parallel Corpus Filtering and Korean-Optimized Subword Tokenization for Machine Translation (병렬 코퍼스 필터링과 한국어에 최적화된 서브 워드 분절 기법을 이용한 기계번역)

  • Park, Chanjun;kim, Gyeongmin;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.221-224
    • /
    • 2019
  • 딥러닝을 이용한 Neural Machine Translation(NMT)의 등장으로 기계번역 분야에서 기존의 규칙 기반,통계기반 방식을 압도하는 좋은 성능을 보이고 있다. 본 논문은 기계번역 모델도 중요하지만 무엇보다 중요한 것은 고품질의 학습데이터를 구성하는 일과 전처리라고 판단하여 이에 관련된 다양한 실험을 진행하였다. 인공신경망 기계번역 시스템의 학습데이터 즉 병렬 코퍼스를 구축할 때 양질의 데이터를 확보하는 것이 무엇보다 중요하다. 그러나 양질의 데이터를 구하는 일은 저작권 확보의 문제, 병렬 말뭉치 구축의 어려움, 노이즈 등을 이유로 쉽지 않은 상황이다. 본 논문은 고품질의 학습데이터를 구축하기 위하여 병렬 코퍼스 필터링 기법을 제시한다. 병렬 코퍼스 필터링이란 정제와 다르게 학습 데이터에 부합하지 않다고 판단되며 소스, 타겟 쌍을 함께 삭제 시켜 버린다. 또한 기계번역에서 무엇보다 중요한 단계는 바로 Subword Tokenization 단계이다. 본 논문은 다양한 실험을 통하여 한-영 기계번역에서 가장 높은 성능을 보이는 Subword Tokenization 방법론을 제시한다. 오픈 된 한-영 병렬 말뭉치로 실험을 진행한 결과 병렬 코퍼스 필터링을 진행한 데이터로 만든 모델이 더 좋은 BLEU 점수를 보였으며 본 논문에서 제안하는 형태소 분석 단위 분리를 진행 후 Unigram이 반영된 SentencePiece 모델로 Subword Tokenization를 진행 하였을 시 가장 좋은 성능을 보였다.

  • PDF

WFilter (Weighted Filter) for XML filtering (XML 필터링을 위한 WFilter(Weighted Filter))

  • 최정필;최오훈;백두권
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10c
    • /
    • pp.253-255
    • /
    • 2003
  • XML 문서를 비롯하여 인터넷을 통해 교환되는 문서의 비약적인 증가로 인하여, 불필요한 문서에 대한 필터링 및 문서 내의 데이터를 필터링하여 정보를 선택적으로 사용하고자 하는 사용자의 요구가 증대되었다. 기존 XML 필터링 방식은 질의 구조에 의존적이기 때문에, 질의 증가에 따른 필터링 인덱스 구성 및 유지의 문제점을 야기할 수 있다. 본 논문에서는 정보 추출 분야에서 널리 사용되는 단어 벡터의 개념을 사용하여 선택적으로 질의에 가중치를 주어 데이터를 효율적으로 추출할 수 있는 XML WFilter (Weighted Filtering) 기법을 제안한다.

  • PDF

Efficient Approximate String Searches using Bitmap Filter (비트맵 필터를 이용한 효율적인 유사 문자열 검색 기법)

  • Kwon, In-Teak;Kim, Jong-Ik
    • Annual Conference of KIPS
    • /
    • 2011.04a
    • /
    • pp.1298-1301
    • /
    • 2011
  • 텍스트 데이터는 표현 방식의 차이, 타이핑 오류 등을 포함하고 있어 정확히 일치하는 검색으로는 유용한 정보를 얻기 어렵다. 따라서 유사도 기반 검색 방법이 많이 연구되고 있으며 효율적인 유사도 기반 검색을 위해 텍스트 데이터에 대한 역 리스트를 구성한다. 그리고 이를 병합하여 질의와 일정 기준 이상 유사한 데이터를 찾는다. 본 논문에서는 역 리스트 병합 과정에서 역 리스트의 탐색 비용을 줄이기 위해 비트맵 필터를 사용하는 기법을 제안한다. 비트맵 필터를 사용하여 역 리스트의 탐색 여부를 결정하여 불필요한 역 리스트 탐색을 회피함으로써 역 리스트 병합 비용을 줄인다. 실험을 통하여 제안된 기법이 기존의 연구에서 제안된 역 리스트 병합 알고리즘의 성능을 30~40% 정도 개선함을 보인다.

Adult Contents Filtering Technique using Image and Sound (사운드와 이미지를 기반으로 한 성인 컨텐츠 필터링 기법)

  • Cho, Jungik;Jo, Jinsu;Lee, Yillbyung
    • Annual Conference of KIPS
    • /
    • 2007.11a
    • /
    • pp.121-123
    • /
    • 2007
  • 현재까지 유해한 컨텐츠(Contents)를 차단하기 위한 활발한 연구가 있었으나, 사람의 사운드(sound)와 이미지(image)를 통합한 필터링(filtering) 기법에 대한 연구는 활발히 이루어지지 않은 측면이 있다. 본 논문은 이미지(image) 데이터 중 피부색 분포 비율과 사운드(sound) 데이터 중 주파수 분석을 통한 심층적인 기법을 활용하여 현재까지 진행되고 있는 이미지 필터링(image filtering)방법에 대한 수행 결과보다 획기적으로 개선된 성능을 보이고자 한다. 즉, 사운드와 이미지의 특징 정보를 이용한 성인 컨텐츠(Adult Contents)분류 기법을 활용하는 것으로 성인 컨텐츠(Adult Contents)에서 두드러지는 특징을 보이는 사운드 패턴을 분석하여 현재까지 한정된 자원인 이미지만을 활용한 기법보다는 현저한 향상된 수행능력을 예측해 볼 수 있다.

Volume Ray Casting for Ultrasound Data Using Real-Time Noise Reduction (초음파 데이터에서 실시간 잡음 감쇄를 이용한 광선 투사법)

  • Seo, Kang-Hee;Kwon, Koo-Joo;Shin, Byeong-Seok
    • Annual Conference of KIPS
    • /
    • 2005.05a
    • /
    • pp.1623-1626
    • /
    • 2005
  • 초음파 영상 기법은 장기, 연조직, 혈류를 검사하는데 쓰이는 영상 진단법이다. 초음파 장비를 통해 얻어진 초음파 볼륨 데이터는 장비 특성상 많은 잡음(speckle noise)을 포함하기 때문에, 깨끗한 영상을 얻기 위해서는 잡음 필터링(noise filtering)이 필요하다. 그런데, 볼륨 데이터 모든 영역에 대해 잡음 필터링을 적용할 경우 전처리 시간이 길어져 실시간으로 초음파 볼륨 데이터를 렌더링하기 어렵다. 본 논문에서는 실시간으로 입력되는 초음파 볼륨 데이터를 가시화 하기위하여 전처리 시간 없이 잡음을 제거하는 방법을 제안한다. 전처리 시간에 전체 볼륨 데이터에 대해 잡음 필터링을 적용하지 않고, 영상을 생성하는 동안 참조되는 복셀(voxel)에 대해서만 잡음 필터를 적용하여 얻은 값을 사용한다. 이때 필터링에 소요되는 시간을 최소화하기 위해 가장 단순한 평균화 필터를 사용한다. 그리고 복셀에 적용되는 3차원 필터를 3단계의 1차원 필터 연산 단계로 분할 한 후, 각 단계별 연산을 거친 복셀들에 대해서는 다시 연산을 하지 않도록 하여 중복을 피한다. 이를 통해 전처리 시간 없이 기존 방법과 동일한 화질을 유지하는 최종 영상을 만들어 낸다.

  • PDF

Pre-Filtering based Post-Load Shedding Method for Improving Spatial Queries Accuracy in GeoSensor Environment (GeoSensor 환경에서 공간 질의 정확도 향상을 위한 선-필터링을 이용한 후-부하제한 기법)

  • Kim, Ho;Baek, Sung-Ha;Lee, Dong-Wook;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.12 no.1
    • /
    • pp.18-27
    • /
    • 2010
  • In u-GIS environment, GeoSensor environment requires that dynamic data captured from various sensors and static information in terms of features in 2D or 3D are fused together. GeoSensors, the core of this environment, are distributed over a wide area sporadically, and are collected in any size constantly. As a result, storage space could be exceeded because of restricted memory in DSMS. To solve this kind of problems, a lot of related studies are being researched actively. There are typically 3 different methods - Random Load Shedding, Semantic Load Shedding, and Sampling. Random Load Shedding chooses and deletes data in random. Semantic Load Shedding prioritizes data, then deletes it first which has lower priority. Sampling uses statistical operation, computes sampling rate, and sheds load. However, they are not high accuracy because traditional ones do not consider spatial characteristics. In this paper 'Pre-Filtering based Post Load Shedding' are suggested to improve the accuracy of spatial query and to restrict load shedding in DSMS. This method, at first, limits unnecessarily increased loads in stream queue with 'Pre-Filtering'. And then, it processes 'Post-Load Shedding', considering data and spatial status to guarantee the accuracy of result. The suggested method effectively reduces the number of the performance of load shedding, and improves the accuracy of spatial query.

Double TR Prefilter for High Data Rate and Minimum ISI in Multi-user Indoor Communication System (다중 사용자 실내 통신 시스템에서의 데이터 고속 전송 및 심볼 간 간섭 최소화를 위한 이중 시역전 전처리 필터)

  • Yoon, Mi-Sun;Lee, Chung-Yong
    • Journal of the Institute of Electronics Engineers of Korea TC
    • /
    • v.49 no.8
    • /
    • pp.58-64
    • /
    • 2012
  • We propose a double time reversal (TR) prefilter for high data rate and minimum interference in multi-user indoor communication system. A conventional TR prefilter degrades bit error rate (BER) performance significantly because it cannot remove the interference perfectly. As the symbol duration is close, the BER performance is deteriorated. Since the proposed scheme aims to minimize interference, high data rate is realized without the performance degradation and the complexity of receiver is reduced through an additional prefilter design. Simulation results show that the performance of the proposed scheme is improved as the number of users is increased or the data rate becomes high.