• Title/Summary/Keyword: 데이터 필터링

Search Result 983, Processing Time 0.028 seconds

Transformer-based Self-Referential In-loop Filtering (트랜스포머 기반 자기 참조 인루프 필터링)

  • Lee, Jung-Kyung;Kim, Nayoung;Kang, Je-Won
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.71-73
    • /
    • 2022
  • 다양한 미디어 서비스의 발전으로 비디오의 방대한 데이터를 효과적으로 압축할 수 있는 비디오 부호화 표준은 지속적인 발전을 하고 있다. 압축된 데이터를 다시 영상으로 복원하는 비디오 부복호화 과정에서 영상 데이터의 손실이 일어나고 그에 따른 다양한 형태의 열화가 나타나 영상의 화질을 저하한다. 이러한 열화들을 제거하여 원본 이미지에 가깝게 만들기 위해서 인루프 필터 과정을 비디오 부호화 표준에서 포함하고 있다. 이에 최근 영상처리 및 컴퓨터 비전 분야에서는 널리 사용되는 인공 신경망을 적용하여 효과적인 필터링을 하는 방법을 제시한다. 본 논문에서는 비디오 부호화 시 인루프 필터링에서 자기 참조를 통한 화질 개선 방법에 대해 연구하였다. 이를 위하여 트랜스포머 기반의 화질 개선 네트워크를 제안하고 기존 부호화 방법과 비교하였다. 인루프 필터링을 통해 화질을 향상하여 주관적 화질을 개선할 뿐만 아니라 객관적 부호화 효율을 증가시키는 방법을 개발하였다.

  • PDF

A Bottom up Filtering Tuple Selection Method for Continuous Skyline Query Processing in Sensor Networks (센서 네트워크에서 연속 스카이라인 질의 처리를 위한 상향식 필터링 투플 선정 방법)

  • Sun, Jin-Ho;Chung, Chin-Wan
    • Journal of KIISE:Databases
    • /
    • v.36 no.4
    • /
    • pp.280-291
    • /
    • 2009
  • Skyline Query processing is important to wireless sensor applications in order to process multi-dimensional data efficiently. Most skyline researches about sensor network focus on minimizing the energy consumption due to the battery powered constraints. In order to reduce energy consumption, Filtering Method is proposed. Most existing researches have assumed a snapshot skyline query processing and do not consider continuous queries and use data generated in ancestor node. In this paper, we propose an energy efficient method called Bottom up filtering tuple selection for continuous skyline query processing. Past skyline data generated in child nodes are stored in each sensor node and is used when choosing filtering tuple. We also extend the algorithms, called Support filtering tuple(SFT) that is used when we choose the additional filtering tuple. There is a temporal correlation between previous sensing data and recent sensing data. Thus, Based on past data, we estimate current data. By considering this point, we reduce the unnecessary communication cost. The experimental results show that our method outperforms the existing methods in terms of both data reduction rate(DRR) and total communication cost.

Fast Median Filtering Algorithms for Real-Valued 2-dimensional Data (실수형 2차원 데이터를 위한 고속 미디언 필터링 알고리즘)

  • Cho, Tai-Hoon
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.18 no.11
    • /
    • pp.2715-2720
    • /
    • 2014
  • Median filtering is very effective to remove impulse type noises, so it has been widely used in many signal processing applications. However, due to the time complexity of its non-linearity, median filtering is often used using a small filter window size. A lot of work has been done on devising fast median filtering algorithms, but most of them can be efficiently applied to input data with finite integer values like images. Little work has been carried out on fast 2-d median filtering algorithms that can deal with real-valued 2-d data. In this paper, a fast and simple median 2-d filter is presented, and its performance is compared with the Matlab's 2-d median filter and a heap-based 2-d median filter. The proposed algorithm is shown to be much faster than the Matlab's 2-d median filter and consistently faster than the heap-based algorithm that is much more complicated than the proposed one. Also, a more efficient median filtering scheme for 2-d real valued data with a finite range of values is presented that uses higher-bit integer 2-d median filtering with negligible quantization errors.

Social Big Data Analysis for Franchise Stores

  • Kim, Hyeon Gyu
    • Journal of the Korea Society of Computer and Information
    • /
    • v.26 no.8
    • /
    • pp.39-46
    • /
    • 2021
  • When conducting social big data analysis for franchise stores, reviews of multiple branches of a franchise can be collected together, from which analysis results can be distorted significantly. To improve its accuracy, it should be possible to filter reviews of other branches properly which are not subject to the analysis. This paper presents a method for social big data analysis which reflects characteristics of franchise stores. The proposed method consists of search key configuration and review filtering. For the former, the open data provided by Small Business Promotion Agency is used to extract region names for collecting reviews more accurately. For the latter, open search APIs provided by Naver or Kakao are used to obtain franchise branch information for filtering reviews of other branches that are not subject to analysis. To verify performance of the proposed method, experiments were conducted based on real social reviews collected from online, where the results showed that the accuracy of the proposed review filtering was 93.6% on the average.

A Collecting Method for Swear Words Using Semi-Global Text Alignment (반전역(Semi-Global) 문자 정열을 이용한 비속어 수집 기법)

  • Kim, Sung-Hwan;Cho, Hwan-Gue
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.414-417
    • /
    • 2011
  • 단어 필터링 기법의 개발에 있어서 가장 큰 난제는 정상단어를 금지어로 인식하여 이를 차단하는 오탐지 문제이다. 이를 방지하기 위하여 다양한 문장에 대한 면밀하고 광범위한 검사가 필수적이나 일반적으로 쉽게 접근할 수 있는 데이터는 주로 단어 위주로 구성된 검증 데이터로 문장 또는 구절로 구성된 데이터의 양은 실제 검증에 활용하기에는 충분하지 못하다. 본 논문에서는 웹에서 수집한 방대한 양의 말뭉치 데이터에 반전역정열(Semi-Global Alignment)을 적용하여 주어진 금지어가 사용되거나 금지어와 유사한 단어가 존재하는 구간을 탐색함으로써 단어 필터링 시스템에서 범용적으로 사용될 수 있는 문장형 평가 데이터를 수집하는 시스템을 제안하고 해당 기법을 통하여 수집한 문장 단위 데이터를 분석하고 단어 필터링 시스템이 오탐지 방지를 위해 가져야할 요소들에 대하여 검토해 본다.

A Study on the Collaborative Filtering Using PICS as a Metadata Infrastructure on the Internet (인터넷에서 메타데이터 기반구조 PICS를 이용한 협력적 필터링에 관한 연구)

  • 최윤선;문성빈
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 1999.08a
    • /
    • pp.245-248
    • /
    • 1999
  • 본 연구에서는 인터넷 환경의 정보검색 문제를 해결하기 위한 방안으로 메타데이터 기반구조인 PICS를 분석하여 인터넷 자원의 검색 및 필터링에 적용할 수 있는 요인들을 제시하였다. 또한 시스템의 실재 구현을 도모하기 위해 의학 정보를 위한‘OMNI-PICS’라는 등급체계의 프로토타입을 설정하고, 기계가독형 RAT파일을 설계하였다. 따라서 웹에서 특정 주제 영역을 다루는 주제게이트웨이들이 자원을 협력적으로 필터링하기 위한 표준 포맷으로 PICS 등급체계를 적용하여 운용할 수 있는 구체적 지침을 제공하였다.

  • PDF

PBFiltering: An Energy Efficient Skyline Query Processing Method using Priority-based Bottom-up Filtering in Wireless Sensor Networks (PBFiltering: 무선 센서 네트워크에서 우선순위 기반 상향식 필터링을 이용한 에너지 효율적인 스카이라인 질의 처리 기법)

  • Seong, Dong-Ook;Park, Jun-Ho;Kim, Hak-Sin;Park, Hyoung-Soon;Roh, Kyu-Jong;Yeo, Myung-Ho;Yoo, Jae-Soo
    • Journal of KIISE:Databases
    • /
    • v.36 no.6
    • /
    • pp.476-485
    • /
    • 2009
  • In sensor networks, many methods have been proposed to process in-network aggregation effectively. Unlike general aggregation queries, skyline query processing compares multi-dimensional data for the result. Therefore, it is very difficult to process the skyline queries in sensor networks. It is important to filter unnecessary data for energy-efficient skyline query processing. Existing approach like MFTAC restricts unnecessary data transitions by deploying filters to whole sensors. However, network lifetime is reduced by energy consumption for many false positive data and filters transmission. In this paper, we propose a bottom up filtering-based skyline query processing algorithm of in-network for reducing energy consumption by filters transmission and a PBFiltering technique for improving performance of filtering. The proposed algorithm creates the skyline filter table (SFT) in the data gathering process which sends from sensor nodes to the base station and filters out unnecessary transmissions using it. The experimental results show that our algorithm reduces false positives and improves the network lifetime over the existing method.

A Study on Prediction Model of Subjective Well-Being Using Collaborative Filtering (협력적 필터링을 이용한 주관적 행복감 예측 모형연구)

  • Lee Sangyeop;Kim Jiyeon;Ryu dong in;Gi Hyeon Han;Park Saehan;Koo Jee Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.552-553
    • /
    • 2024
  • 협력적 필터링은 추천시스템을 구축하는 알고리즘으로 고객별 선호도를 예측하는데 사용되고 있다. 이에 본 연구는 행복감에 영향을 주는 요인인 자존감과 생활여건을 사용하여, 협력적 필터링을 기반으로 한 예측정확도가 높은 모형을 연구하고자 한다. 이를 위해, 자존감과 생활여건에 대한 응답자 간의 유사도 가중치를 각각 계산한 후, 자존감 유사도 가중치를 적용한 모형으로 행복감을 예측하고, 자존감 유사도 가중치에 생활여건 유사도 가중치를 부여한 유사도 가중치를 적용한 모형으로 행복감을 예측하였다. 그 결과 전자의 모형이 후자의 모형보다 예측정확도가 높게 나타났다.

Design of Streaming Sensory Data Processing Platform for Energy Efficiency Improvement (에너지 효율성 개선을 위한 스트리밍 센서 데이터 처리 플랫폼 설계)

  • Kang, Yun-Hee;Kang, Myung Ju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.129-131
    • /
    • 2015
  • 스마트 그리드는 에너지 이용 효율 최적화를 위한 개선방안으로 전기에너지를 발생하는 발전원별 분석하며, 전력 사용 측면에서 전력망을 통해 공급된 전력의 소비패턴으로 분석을 통해 에너지 이용 효율을 최적화할 수 있다. 본 논문에서는 아파치 Storm을 활용하여 실시간 데이터 수집 및 처리 시스템을 설계한다. 설계된 시스템은 에너지 효율성을 위해 이종의 실시간 대용량 스트리밍 센서 데이터를 수집하여 분석을 수행하도록 데이터 필터링과 변환 기법을 제시한다. 이를 위해 실시간 대용량 처리를 위해 필터링 및 변환을 병렬 처리하도록 한다. 필터링과 변환 처리는 독립적인 타스크로 구성하도록 하며, 전체 프로세스는 정의된 파이프-필터 토폴로지를 구성하여 처리한다.

An Filtering Automatic Technique of LiDAR Data by Multiple Linear Regression Analysis (다중선형 회귀분석에 의한 LiDAR 자료의 필터링 자동화 기법)

  • Choi, Seung-Pil;Cho, Ji-Hyun;Kim, Jun-Seong
    • Journal of Korean Society for Geospatial Information Science
    • /
    • v.19 no.4
    • /
    • pp.109-118
    • /
    • 2011
  • In this research estimated accuracies that were results in all the area of filtering of the plane equation that was used by whole data set, and regional of filtering that was driven by the plane equation for each vertual Grid. All of this estimates were based by all the area of filtering that deduced the plane equation by multiple linear regression analysis that was used by ground data set. Therefore, accuracy of all the area of filtering that used whole data set has been dropped about 2~3% when average of accuracy of all the area of filtering was based on ground data set while accuracy of Regional of filtering dropped 2~4% when based on virtual Grid. Moreover, as virtual Grid which was set 3~4 cm was difference about 2% of accuracy from standard data. Thus, it leads conclusion of set 3~4 times bigger size in virtual Grid filtering over LiDAR scan gap will be more appropriated. Hence, the result of this research allow us to conclude that there was difference in average accuracy has been noticed when we applied each different approaches, I strongly suggest that it need to research more about real topography for further filtering accuracy.