• Title/Summary/Keyword: 데이터 중복제거 기술

Search Result 78, Processing Time 0.026 seconds

Correlation Analysis of Feature Space Data in End-to-end Image Compression Network (종단간 인공신경망 기반 이미지 압축 기술의 피쳐 공간 상관관계 분석)

  • Lee, Jooyoung;Jeong, Se-Yoon;Choi, Jin Soo
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.151-154
    • /
    • 2020
  • 뉴럴넷 기술이 발전과 힘께 다양한 분야에서 획기적인 성능 향상이 이루어지고 있다. 이미지 압축 분야에서도 기존의 전통적인 툴 제인 구조의 압축 방식에서 벗어나 종단간(end-to-end) 뉴렬넷 기반의 이미지 압축 기술에 대한 연구가 활발히 이루어지고 있다. 특히 최근 네트워크를 통해 변환된 피쳐 데이터의 엔트로피를 최소화하는 방식에 대한 연구가 활발히 이루어지고 있으며, 이에 기반한 최근의 연구는 VVC 화면 내 코딩 기술보다 우수한 코딩 효율성을 제공하고 있다. 그러나 변환된 피쳐 데이터에 대한 특성 분석은 부족한 실정이며, 이에 본 논문에서는 엔트로피 최소화 기반 종단간 이미지 압축 네트워크의 피쳐 공간 데이터에 대한 공간적 (spatial) 상관관계와 채널간(inter-channel) 상관관계(correlation)를 분석하고, 나아가 최근 제안된 종단간 이미지 압축 네트워크의 문맥 기반 예측 기능을 통해 잔존하는 데이터 중복성이 효과적으로 제거됨을 보인다.

  • PDF

Implementation of Integrated Metadata Framework Based on METS Analysis (METS 분석기반 통합메타데이터 프레임워크 구현)

  • Min, Byoung-Won;Oh, Yong-Sun
    • The Journal of the Korea Contents Association
    • /
    • v.11 no.12
    • /
    • pp.60-70
    • /
    • 2011
  • Conventional content management systems are independently developed for a specific field in general. Therefore usage of contents for the CMS will be limited to the corresponding CMS field. These characteristics might reveal a defect that CMS could not support effectively in exchange and sharing of information between CMSs. On the other hand, metadata standardization shows big differences in method and representation for the fields of CMS because all metadata standardizations are variously performed according to applications of them. There are lots differences that make interoperability between CMSs impossible. In this paper, we propose a novel metadata schema based on METS(metadata encoding and transmission standard) so that metadata standardization can be fulfilled in reality and solved the problem of duplicated contents created from different CMSs. This framework of integrated metadata proposed here can offer an interoperability between contents created by different CMSs, and discard duplicated contents. As a result of the proposed technology, we obtain 0.5% duplication rate from traditional 10.3%. In addition the filtering ability of duplicated contents shows from 92% to 96%, which proves the effectiveness and stability of the proposed technology.

CCTV Video Privacy Protection Scheme Based on Edge Blockchain (엣지 블록체인 기반의 CCTV 영상 프라이버시 보호 기법)

  • Lee, Donghyeok;Park, Namje
    • The Journal of Korean Institute of Information Technology
    • /
    • v.17 no.10
    • /
    • pp.101-113
    • /
    • 2019
  • Recently, the intelligent video surveillance technology has become able to provide various services such as predictive surveillance that have not been provided previously. Securing the security of the intelligent video surveillance is essential, and malicious manipulation of the original CCTV video data can lead to serious social problems. Therefore, in this paper, we proposed an intelligent video surveillance environment based on blockchain. The proposed scheme guarantees the integrity of the CCTV image data and protects the ROI privacy through the edge blockchain, so there is no privacy exposure of the object. In addition, it is effective because it is possible to increase the transmission efficiency and reduce storage by enabling video deduplication.

Priority-based Hint Management Scheme for Improving Page Sharing Opportunity of Virtual Machines (가상머신의 페이지 공유 기회를 향상시키기 위한 우선순위 큐 기반 힌트 관리 기법)

  • Nam, Yeji;Lee, Minho;Lee, Dongwoo;Eom, Young Ik
    • Journal of KIISE
    • /
    • v.43 no.9
    • /
    • pp.947-952
    • /
    • 2016
  • Most data centers attempt to consolidate servers using virtualization technology to efficiently utilize limited physical resources. Moreover, virtualized systems have commonly adopted contents-based page sharing mechanism for page deduplication among virtual machines (VMs). However, previous page sharing schemes are limited by the inability to effectively manage accumulated hints which mean sharable pages in stack. In this paper, we propose a priority-based hint management scheme to efficiently manage accumulated hints, which are sent from guest to host for improving page sharing opportunity in virtualized systems. Experimental results show that our scheme removes pages with low sharing potential, as compared with the previous schemes, by efficiently managing the accumulated pages.

Support Vector Machine Using Parallel Hyperplane for Reduction of Training Data (트레이닝 데이터 감소를 위한 병렬 평면 기반의 Support Vector Machine)

  • Lee, Tae-Ho;Kim, Min-Woo;Lee, Byung-Jun;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.115-116
    • /
    • 2019
  • SVM (Support Vector Machine)은 견고성으로 인해 다양한 분류 문제에 적용 할 수 있는 효율적인 기계 학습 기술이다. 그러나 훈련 데이터의 수가 증가함에 따라 시간 복잡도가 급격히 증가하므로 대규모 데이터 세트의 경우 SVM이 비실용적이다. 본 논문에서는 SVM을 사용하여 중복 된 학습 데이터를 효율적으로 제거하는 새로운 병렬 평면(Parallel Hyperplane) 기법을 소개한다. 제안 기법에서 PH는 재귀 적으로 형성되는 반면 PH의 외부에 있는 데이터 포인트의 클러스터는 매 반복마다 제거된다. 시뮬레이션 결과 제안 기법은 기존의 클러스터링 기반 감축 기법과 SMO 기법에 비해 학습 시간을 크게 단축시키면서 데이터 축소 없이 분류의 정확성을 높일 수 있음을 확인 하였다.

  • PDF

Data Sharing of Web-GIS Based on OWS (Web-GIS 를 위한 데이터 공유)

  • Jang, In-Sung;Choi, Hea-Ok;Lee, Jong-Hun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10a
    • /
    • pp.97-100
    • /
    • 2001
  • 인터넷과 WWW 이용의 급속한 증가로 인하여 인터넷 지리정보시스템의 보급이 확산되었다. 따라서 국내외의 분산된 다양한 데이터에 대한 접근이 가능하게 되었다. 하지만 웹을 통해 제공되어지는 지리정보 데이터의 이질성 때문에 지리정보를 공유하기가 어렵다. 그러므로 발생하는 데이터 구축에 대한 중복투자를 제거하고 지리정보 데이터의 상호 운용성(Interoperability)을 위해 본 논문에서 OGC(OpenGIS Consortium)의 웹 매핑 표준 기술인 WMT(Web Mapping Testbed)의 OWS(OGC Web Service)에 기반 하여 Web 매핑 서버를 설계 및 구현하였다. 이는 인터넷상에서 데이터 공유 및 교환의 포맷인 XML 에 근간을 둔 GML 을 통해서 Web GIS환경에서의 상호운용성을 제공하고자 한다.

  • PDF

Efficient and Privacy-Preserving Near-Duplicate Detection in Cloud Computing (클라우드 환경에서 검색 효율성 개선과 프라이버시를 보장하는 유사 중복 검출 기법)

  • Hahn, Changhee;Shin, Hyung June;Hur, Junbeom
    • Journal of KIISE
    • /
    • v.44 no.10
    • /
    • pp.1112-1123
    • /
    • 2017
  • As content providers further offload content-centric services to the cloud, data retrieval over the cloud typically results in many redundant items because there is a prevalent near-duplication of content on the Internet. Simply fetching all data from the cloud severely degrades efficiency in terms of resource utilization and bandwidth, and data can be encrypted by multiple content providers under different keys to preserve privacy. Thus, locating near-duplicate data in a privacy-preserving way is highly dependent on the ability to deduplicate redundant search results and returns best matches without decrypting data. To this end, we propose an efficient near-duplicate detection scheme for encrypted data in the cloud. Our scheme has the following benefits. First, a single query is enough to locate near-duplicate data even if they are encrypted under different keys of multiple content providers. Second, storage, computation and communication costs are alleviated compared to existing schemes, while achieving the same level of search accuracy. Third, scalability is significantly improved as a result of a novel and efficient two-round detection to locate near-duplicate candidates over large quantities of data in the cloud. An experimental analysis with real-world data demonstrates the applicability of the proposed scheme to a practical cloud system. Last, the proposed scheme is an average of 70.6% faster than an existing scheme.

딥러닝 기반의 몰입형 입체영상 압축

  • 최용호;이진영
    • Broadcasting and Media Magazine
    • /
    • v.28 no.1
    • /
    • pp.53-60
    • /
    • 2023
  • 최근 영상처리 및 컴퓨터비전 등 많은 분야에서 딥러닝 기술이 빠르게 발전하면서 다양한 문제들을 높은 성능으로 해결하고 있다. 이에 MPEG (Moving Picture Experts Group) 표준에서도 딥러닝 기반의 미디어 기술이 활발히 제안 및 논의되고 있다. 특히, 몰입형 입체영상 압축을 위한 MPEG-I (MPEG Immersive) 표준은 메타버스 산업으로 크게 관심받고 있는 가상현실, 증강현실, 그리고 혼합현실 등에 대응하기 위해 현재 활발히 연구 중이다. 입체영상은 일반적으로 복수 시점의 컬러영상과 깊이영상으로 구성되어 있어 데이터의 양이 크기 때문에, MPEG-I 표준은 시점 간의 중복된 영역들을 제거하는 프루닝 과정을 통해 효율적인 압축을 수행한다. 하지만, 프루닝 과정에서 정반사 영역이 함께 제거되는 문제로 정확한 입체영상 복원에 한계가 있다. 본 학회지에서는 이러한 문제점을 해결하기 위하여 MPEG-I 표준에 기고된 딥러닝 기반의 정반사 영역 검출을 통한 몰입형 입체영상 압축에 대해 소개한다.

  • PDF

Integrated Common Interface Based on RFID and Sensor Networks (RFID와 센서 네트워크 기반의 통합 공통 인터페이스)

  • Moon, Kyeung-Bo;Lee, Young-Soo;Kim, Do-Hyeon;Park, Hee-Dong
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.9 no.6
    • /
    • pp.1619-1624
    • /
    • 2008
  • Recently, In order to provide ubiquitous service, we develop each middleware and interface for sensors networks, RFID(Radio Frequency IDentification) and GPS(Global Positioning System). We use GPS for the location-based services, RFID for identifying the distribution logistics services, sensor networks for collecting the context data such as temperature, humidity, barometric pressure. Recently, there is increasing the need of integrated interface for using these sensor elements complexly in agriculture and livestock, construction, medical applications and, etc. This paper developments a integrated common interface for supporting efficiently process of sensing data using RFID, GPS and sensor network. This interface have the filtering function, parsing function, queuing function, interface management function, access function and, etc. We present the integrated frame structure combined with the collected context data in GPS, RFID and sensor networks and, support the open interface for providing complex ubiquitous application systems. Therefore, this interface will be efficiently used the system using RFID, GPS and sensor network, and supported many ubiquitous application services.

Implementation and Analysis of a XML Product Catalog based on the EJB (EJB기반 XML 상품 카탈로그의 구현 및 분석)

  • Kim, Gyeong-Rae;Ha, Sang-Ho
    • The KIPS Transactions:PartD
    • /
    • v.9D no.4
    • /
    • pp.697-702
    • /
    • 2002
  • In the Internet based information technology community, the exchange of product information is more activated in e-commerce of B2C and B2B. We have suggested a XML based unified product description model with which all kinds of product informations can be represented. This model also has a feature to avoid duplication of the product information. In this paper, we will implement this model using Java Beans and EJB (Enterprise Java Beans) of the Java component technology, and then test this system over several products on the web. finally, we will analyze the effect due to the removal of the information duplication.