• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.109-110
• /
• 2019

최근 IoT 환경에서는 고밀도로 노드가 분포되어진다. 이러한 센서 노드들은 데이터 전송 시 혼잡을 초래하는 중복 데이터를 생성하여 데이터의 정확도를 저하시킨다. 이에 따라 본 연구에서는 데이터 집중으로 인해 발생하는 네트워크의 정체 문제를 해결하기 위해 제안 기법은 사 분위(Interquatile, IRQ) 분석과 코사인 유사도 함수를 통해 데이터의 이상치와 중복성을 측정하여 중복 데이터 및 특이치를 제거한다. 본 연구를 통하여 최적의 데이터 전송을 통하여 IoT의 통신 성능을 향상시킬 수 있으며 결과적으로 데이터 감소율, 네트워크 수명 및 에너지의 효율성을 높일 수 있다.

• 전자공학회논문지
• /
• 제49권12호
• /
• pp.149-155
• /
• 2012

SSD(Solid State Disk)는 다수의 NAND 플래시 메모리로 구성되었으며 내부에 고성능 컨트롤러와 캐시 버퍼를 포함한 스토리지 장치이다. NAND 플래시 메모리는 제자리 덮어쓰기가 안되기 때문에 파일시스템에서 유효페이지가 갱신 및 삭제시 무효페이지로 전환되어 완전히 삭제하기 위해서는 가비지 컬렉션 과정을 거쳐야한다. 하지만 가비지 컬렉션은 지연시간이 긴 Erase 연산을 포함하기 때문에 SSD의 I/O 성능을 감소시키고 마모도를 증가시키는 문제가 된다. 본 논문에서는 입력데이터에 대하여 유효데이터와 무효데이터에서 중복검사를 실행하는 기법을 제안한다. 먼저 유효데이터에 대한 중복제거 과정을 거치고 그 다음에 무효데이터 재활용 과정을 거침으로써 중복률을 향상시켰다. 이를 통하여 SSD의 쓰기 횟수와 가비지 컬렉션 횟수를 감소시켜 마모도와 I/O 성능이 개선되었다. 실험결과 제안한 기법은 유효데이터 중복제거와 무효데이터 재활용을 둘다 하지 않는 일반적인 경우에 비해서 가비지 컬렉션 횟수가 최대 20% 감소하고 I/O 지연시간이 9% 감소하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.322-325
• /
• 2017

급격한 데이터의 증가로 인해 효율적으로 데이터를 관리하기 위한 다양한 연구가 진행되고 있다. 2025년 데이터의 총량은 163 ZB 이상으로 증가하고, 그 중 1/4 이상의 데이터는 실시간 데이터가 될 것이라 전망한다. 대용량의 저장장치가 HDD에서 SSD로 바뀌고 있는 추세로, SSD에서 데이터를 효과적으로 관리하기 위한 별도의 방안이 필요하다. 본 논문은 현재까지의 Flash-SSD 관련 시스템 구조 및 데이터 관리 방법 중 중복 제거 관리 방법에 관련한 연구들을 탐색한다. 그리고 중복 제거기법을 적용한 어플리케이션 레벨의 사용자 파일 시스템을 제안하여, 저장 장치의 용량 확보, 성능 저하 및 불필요한 트래픽 최소화 등의 효과를 가져 올 수 있음을 기대한다.

• 한국멀티미디어학회논문지
• /
• 제14권9호
• /
• pp.1138-1151
• /
• 2011

센서 네트워크 클러스터링 기법은 네트워크의 수명연장에 효율적인 방법이다. 그러나 이 방법은 센서노드의 수집 데이터가 중복되기 쉬운 환경에서 적용할 경우 중복된 데이터 전송에 불필요하게 에너지가 소모된다는 문제점이 있다. 이에 본 논문은 중복되는 데이터 전송을 배제하고 클러스터 헤드 노드와 멤버노드 사이의 전송을 최소화하기 위해 센서 노드가 수집하는 데이터를 예측할 수 있는 데이터 예측 기법을 제안하였다. 이 방법은 인접노드의 중복데이터 수집을 배제하여 에너지 효율적인 데이터 전송이 가능하다. 여기에 불필요한 전송을 줄이기 위해 데이터 예측 그래프를 이용하여 수집 데이터 분석을 통한 선택적인 전송을 하는 방법을 도입하였다. 성능분석 결과에 의하면 제안하는 방법은 기존의 클러스터링 방법에 비해 노드들의 에너지 소모가 줄어들었다. 그럼에도 불구하고 전송 효율과 수집 데이터의 정확도가 증가했으며 결과적으로 네트워크 수명이 증가하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (D)
• /
• pp.150-154
• /
• 2008

무한 웹 컨텐츠 환경에서는 사용자의 컨텐츠 선택을 용이하게 하기 위하여 메타데이터를 다양한 방법으로 수집할 수 있다. 그러나 한 가지 방법으로는 메타데이터의 수신이 제한적이고 풍부한 메타데이터 수신을 위해서는 다양한 방법을 이용해야 한다. 그래서 본 논문에서는 메타데이터 수집 방법들을 통합하는 장치를 제안하고, 통합 메타데이터의 품질 향상을 위해 통합과정에서 발생하는 중복 메타데이터의 필터링 방법을 제시 및 검증한다. 구체적으로는 현재 웹 상에서 다양하게 제공되고 있는 메타데이터 수집 기능들을 분석하고, 통합 장치의 개념적인 구조를 제시하며, 웹 상에서 많이 보급되고 있는 RSS Reader를 통해 메타데이터를 수집하고 이를 토대로 분석하여 중복 컨텐츠를 판단하는 방법을 제안하였다.

• 융합정보논문지
• /
• 제10권10호
• /
• pp.1-8
• /
• 2020

최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제20권12호
• /
• pp.623-631
• /
• 2014

데이터 중복제거 파일시스템인 LessFS와 SDFS의 성능을 비교하면, LessFS는 CPU 점유율과 수행 시간에서 성능이 우수하고, SDFS는 중복제거 이후 저장소 사용량이 다른 파일시스템보다 1/8 정도의 이점을 가지고 있다. 본 논문은 SDFS의 장점인 중복제거 이후 저장소 사용량 감소와 LessFS의 장점인 낮은 CPU 점유율과 수행 시간 감소의 장점을 지니는 새로운 방식을 제안한다. SDFS의 Dedup File Engines (DFE) n개를 이용하되, Dedup Storage Engines (이하 DSE) 1개를 두어 중복제거 데이터의 정합성과 일관성을 유지하는 방식이다. 제안하는 방식을 2개의 DFE와 1개의 DSE를 가진 시험환경에 구현하고 성능 비교를 수행한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권8호
• /
• pp.369-374
• /
• 2016

클라우드 컴퓨팅 환경에서 가상 컴퓨팅 및 스토리지 자원에 대한 요구가 대규모로 증가하면서 스토리지 시스템에서는 스토리지 공간을 효율적으로 절감하고 활용할 수 있는 중복제거 기법을 적용하고 있다. 특히 가상 데스크탑 인프라 환경에서 가상 데스크탑 이미지들에 대해 동일한 데이터가 중복되어 저장되는 것을 방지함으로써 스토리지 공간을 절감하는데 큰 효과를 얻을 수 있다. 하지만 안정적인 가상 데스크탑 서비스를 제공하기 위해서는 중복제거로 인한 가상 데스크탑의 성능 오버헤드와 주기적으로 발생하는 데이터 입출력 폭증, 그리고 빈번한 랜덤 입출력 동작과 같은 가상 데스크탑이 가지고 있는 특이한 워크로드를 효과적으로 처리할 수 있는 스토리지 시스템이 필요하다. 본 논문에서는 클라우드 컴퓨팅 환경에서 가상 데스크탑 및 스토리지 서비스를 지원하기 위해 개발된 클러스터 파일 시스템을 제시한다. 여기에서는 가상 데스크탑 이미지들에서 중복된 데이터가 스토리지에 저장되기 이전에 실시간으로 검출하고 제거하는 인라인 데이터 중복제거 기법을 통해 스토리지 공간을 절감한다. 또한 가상 데스크탑 이미지에 대한 중복제거 처리를 가상 호스트가 아니라 가상 데스크탑 이미지가 실제로 저장되는 데이터 서버에서 수행함으로써 중복제거 처리로 인한 가상 데스크탑의 성능 오버헤드를 줄인다.

• 정보보호학회논문지
• /
• 제25권1호
• /
• pp.83-94
• /
• 2015

중복 제거 기술(Deduplication)은 동일한 데이터에 대하여 중복 저장을 방지하는 기법으로 클라이언트(Client)와 클라우드 서버(Cloud Server) 간에 데이터를 저장하고 관리하는데 있어 효율성을 제공한다. 하지만 공개된 환경의 클라우드 서버에 데이터를 저장하고 관리하기 때문에, 클라이언트가 저장한 데이터에 대한 프라이버시 문제가 발생할 뿐만 아니라 데이터의 손실이 발생할 수도 있다. 최근 이러한 문제점들을 해결하기 위해 안전한 중복 제거 기술이 제안되었지만, 여전히 각각의 공격의 안전성에 대한 문제가 발생할 뿐만 아니라 비효율적이다. 본 논문에서는 2013년 Bellare 등이 제안한 기법의 키 서버(Key Server)와 질의-응답 메커니즘(Challenge-Response)을 이용하여 안전하고 효율적인 클라이언트 사이드 중복 제거 기술을 제안한다. 제안 기법은 클라이언트 사이드 중복 제거 기술에서 발생하는 다양한 공격에 대해 안전성을 제공하며, 크기가 큰 데이터를 업로드 하는 환경에서 높은 효율성을 제공한다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제4권9호
• /
• pp.321-326
• /
• 2015

본 논문에서는 가청 주파수 영역 중 사람들에게 거의 들리지 않는 고주파와 순환 중복 검사 기법을 이용하여 스마트 기기 간의 신뢰성 있는 데이터를 무선으로 전송하는 알고리즘을 제안한다. 제안 알고리즘은 스마트 기기의 내장 스피커에서 출력할 수 있는 가청 주파수 영역(20 Hz~22 kHz) 중 고주파 영역인 18 kHz~22 kHz를 사용한다. 이때 데이터의 전송량을 높이기 위해 고주파 영역 1(18.0 kHz~21.2 kHz)에서 여러 개의 주파수를 혼합하여 전달하며, 이와 동시에 전송 데이터의 정확성을 높이기 위해 고주파 영역 2(21.2 kHz~22.0 kHz)에서 순환 중복 검사를 위한 체크섬을 전달한다. 제안 방법의 데이터 전송 속도와 정확성을 확인하기 위해 스마트 북과 스마트 기기 간에 데이터 전달 실험을 하였다. 그 결과 평균 235 ms에 32 bits 데이터를 전송할 수 있었으며, 전송 성공률은 99.47%, 그리고 순환 중복 검사에 의한 에러 검출률은 0.53%인 것을 확인하였다. 따라서 제안 방법은 스마트 기기 간에 무선으로 데이터를 전송할 수 있는 유용한 기술이 될 것이다.