• 제목/요약/키워드: Hash Mapping

검색결과 17건 처리시간 0.017초

낸드 플래시 메모리 시스템 기반의 지속성을 고려한 핫 데이터 식별 경량 기법 (A lightweight technique for hot data identification considering the continuity of a Nand flash memory system)

  • 이승우
    • 사물인터넷융복합논문지
    • /
    • 제8권5호
    • /
    • pp.77-83
    • /
    • 2022
  • 낸드 플래시 메모리는 구조적으로 쓰기 전 지우기(Erase-Before-Write) 동작이 요구된다. 이것을 해결하기 위해서는 데이터 업데이트 동작이 빈번히 발생하는 페이지(Hot data page)를 구분하여 별도에 블록에 저장함으로 해결할 수 있으며 이러한 Hot data를 분류하는 기법을 핫 데이터 판단기법이라 한다. MHF(Multi Hash Function Framework)기법은 데이터 갱신요청의 빈도를 시스템 메모리에 기록하고 그 기록된 값이 일정 기준 이상일 때 해당 데이터 갱신요청을 Hot data로 판단한다. 하지만 데이터 갱신요청에 빈도만을 단순히 카운트하는 방법으로는 정확한 Hot data로 판단에 한계가 있다. 또한 데이터 갱신요청의 지속성을 판단 기준으로 하는 기법의 경우 갱신요청 사실을 시간 간격을 기준으로 순차적으로 기록한 뒤 Hot data로 판단하는 방법이다. 이러한 지속성을 기준으로 하는 방법의 경우 그 구현과 운용이 복잡한 단점이 있으며 갱신요청에 빈도를 고려하지 않는 경우 부정확하게 판단되는 문제가 있다. 본 논문은 데이터 갱신요청에 빈도와 지속성을 함께 고려한 경량화된 핫 데이터 판단기법을 제안한다.

결합키 생성항목의 갱신에 강건한 결합키 생성 기법 (Combination Key Generation Scheme Robust to Updates of Personal Information)

  • 장호빈;노건태;정익래;천지영
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.915-932
    • /
    • 2022
  • 개인정보 보호법과 가명정보 처리 가이드라인에 따르면, 서로 다른 결합신청자들이 결합을 희망할 때 Salt값을 포함한 결합키 생성항목의 해시값으로 매핑을 진행한다. 결합키 생성항목의 예시로는 성명, 전화번호, 생년월일, 주소 등의 개인정보가 될 수 있으며, 해시 함수의 특성상 서로 다른 결합신청자들이 이들의 항목을 정확히 동일한 형태로 저장하고 있을 때 문제없이 결합을 진행할 수 있다. 하지만 이러한 기법은 서로 다른 결합신청자들의 데이터베이스 갱신 시점이 달라서 발생하는 주소 변경, 개명 등의 시나리오에서의 결합은 취약하다. 따라서 본 연구에서 우리는 주소 변경, 개명 등의 결합키 생성항목이 갱신된 시나리오에서도 개인정보보호를 만족하는 강건한 결합키 생성기법을 확률적 자료 연계를 통한 임계값을 바탕으로 제안하며, 본 연구 결과를 활용한 국내 빅데이터 및 인공지능 사업의 발전에 기여하고자 한다.

빅 데이터를 이용한 재해 정보 지원에 관한 연구 (A Study on Disaster Information Support using Big Data)

  • 신봉희;전혜경
    • 한국융합학회논문지
    • /
    • 제9권8호
    • /
    • pp.25-32
    • /
    • 2018
  • 최근 우리나라에서 일어나고 있는 재해의 규모 및 유형은 과거와 달리 다양화되고 있다. 하지만 우리나라는 이러한 여러 재해를 예측하기 위한 다양한 정보지원체계를 구축하지 못하고 있다. 현재 많은 기관에서 관련정보를 제공하고 있다. 이들 정보는 주로 웹으로 제공되고 있지만 대부분 실시간정보가 아니다. 본 연구에서는 기관들이 제공하는 정보와 함께 좀 더 양질의 실시간 정보를 제공하기 위해서 빅데이터를 활용한 정보지원을 주목하게 되었다. 빅데이터는 실시간성을 갖는 많은 양의 정보가 있고, 이를 이용하여 사용자맞춤 서비스를 할 수 있다. 그 중에서 트위터나 페이스북 등의 SNS는 재난이 발생했을 때 새로운 정보수집매체로서 이용할 수 있다. 그러나 너무 많은 정보로부터 필요한 정보를 자세히 검색하는 것은 무척 어렵고, 직감적인 정보수집이 곤란하다는 문제가 있다. 이를 위해서 본 연구에서는 트위터를 이용한 정보지원시스템을 개발한다. 시스템은 트위터 해시태그를 이용하여 정보를 검색한다. 또한 직감적으로 정보를 파악할 수 있도록, 지도상에 정보 매핑을 수행한다. 시스템의 평가를 위해, 정보추출, 매핑정도, 추천속도를 평가한다.

CMAC을 이용한 구조물의 동적응답 예측 (Prediction of Dynamic Response of Structures Using CMAC)

  • 김동현;김현택;이인원
    • 한국강구조학회 논문집
    • /
    • 제12권5호통권48호
    • /
    • pp.605-615
    • /
    • 2000
  • CMAC을 이용하여 구조물의 지진응답을 예측하였다. CMAC은 매우 빠른 학습성능을 가지고 있는 것이 장점이며 구조물의 동적응답을 학습함에 있어서도 수 초 이내에 만족할 만한 정도로 학습을 끝낸다. 따라서 실시간 학습을 필요로 하는 분야에 매우 효과적으로 사용될 수 있다. 실시간 응답학습은 장기거동 등으로 역학적 특성이 변하거나 손상을 입은 구조물의 적응제어 등이 있다. 수치해석에서는 3층 전단건물의 지진응답을 CMAC을 통하여 학습하였으며 학습은 매우 빠르게 완수 되었다. 결론적으로 CMAC은 구조물의 진동제어 분야에서 매우 효과적으로 사용될 수 있는 인공지능의 하나이다.

  • PDF

Hot Data Identification For Flash Based Storage Systems Considering Continuous Write Operation

  • Lee, Seung-Woo;Ryu, Kwan-Woo
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.1-7
    • /
    • 2017
  • Recently, NAND flash memory, which is used as a storage medium, is replacing HDD (Hard Disk Drive) at a high speed due to various advantages such as fast access speed, low power, and easy portability. In order to apply NAND flash memory to a computer system, a Flash Translation Layer (FTL) is indispensably required. FTL provides a number of features such as address mapping, garbage collection, wear leveling, and hot data identification. In particular, hot data identification is an algorithm that identifies specific pages where data updates frequently occur. Hot data identification helps to improve overall performance by identifying and managing hot data separately. MHF (Multi hash framework) technique, known as hot data identification technique, records the number of write operations in memory. The recorded value is evaluated and judged as hot data. However, the method of counting the number of times in a write request is not enough to judge a page as a hot data page. In this paper, we propose hot data identification which considers not only the number of write requests but also the persistence of write requests.

피어투피어 네트워크에서의 컨텐츠 기반 publish/subscribe 서비스를 위한 R-tree구성 (R-Tree Construction for The Content Based Publish/Subscribe Service in Peer-to-peer Networks)

  • 김용혁;김영한;강남희
    • 대한전자공학회논문지TC
    • /
    • 제46권11호
    • /
    • pp.1-11
    • /
    • 2009
  • 컨텐츠 기반 pub/sub(publish/subscribe)서비스를 피어투피어(peer-to-peer)네트워크에서 구성할 경우 사용자의 다양한 요구 컨텐츠 정보의 분산저장 및 발생될 이벤트의 효율적인 전송이 주요 요구사항이 된다. 이와 관련하여 DHT(Distributed Hash Table)기술을 기반으로 한 pub/sub 오버레이 네트워크 구성 방식 및 사용자 요구 컨텐츠를 이용한 필터기반 트리구조의 pub/sub 네트워크 구성방식 등이 연구되어 왔다. 그러나 DHT기반 방식의 경우 토픽기반 pub/sub서비스 제공에는 적합하나 다양한 요구 조건에 따른 컨텐츠 전송에는 효율적이지 못하다. 또한 필터기반 트리구조의 방식의 경우 컨텐츠에 대한 유사 요구를 가지는 사용자가 네트워크상에 분산되어 있을 경우 비효율적인 필터구성으로 이벤트 전송 시 많은 비용이 발생한다. 본 논문에서는 다양한 사용자 요구 수용 및 이에 따른 이벤트 전송비용을 최적화하기 위해 R-Tree알고리즘 기반 오버레이 네트워크 구성방식을 제안한다. 제안된 방식은 사용자 요구의 다차원공간으로의 매핑 및 유사 요구들 간 계층적 그룹화를 통해 트리를 구성하여 비용 효율적 이벤트 전송방법을 제공하였다. 제안된 방식은 사용자요구 및 이벤트의 다양한 분포 환경에 대한 시뮬레이션을 통해 성능을 검증하였다.

클러스터 웹 서버 상에서 히스토그램 변환을 이용한 내용 기반 부하 분산 기법 (A Content-Aware toad Balancing Technique Based on Histogram Transformation in a Cluster Web Server)

  • 홍기호;권춘자;최황규
    • 인터넷정보학회논문지
    • /
    • 제6권2호
    • /
    • pp.69-84
    • /
    • 2005
  • 최근 인터넷 사용자의 기하급수적 증가에 따라 저렴한 가격의 고성능 대용량 클러스터 웹 서버 시스템에 관심이 증대되고 있다. 클러스터 웹 서버 시스템은 저렴한 비용. 높은 확장성과 가용성 등의 장점과 더불어 대규모 사용자에 대한 성능의 극대화를 목적으로 연구 개발되고 있으며, 최근에는 성능 향상을 위한 내용 기반의 부하 분산 기법에 관심이 모아지고 있다. 본 논문에서는 이러한 클러스터 웹 서버 상에서 사용자의 접근 빈도와 파일의 크기를 고려하여 각 서버 노드에 부하를 균등하게 할당하는 새로운 내용 기반의 부하 분산 기법을 제안한다. 제안된 기법은 웹 서버 로그의 각 URL 항목에 해시 함수를 적용하여 얻어지는 해시 값에 그 빈도와 전송된 파일의 크기를 고려한 누적 히스토그램을 생성한다. 사용자 요청은 (해시 값-서버 노드) 매핑에 의한 히스토그램 변환 과정을 통하여 각 서버 노드에 균등하게 할당된다. 제안된 기법은 누적 히스토그램을 주기적으로 갱신함으로써 동적으로 클러스터 웹 서버 시스템의 부하를 고르게 분산시킬 수 있으며, 또한 서버 노드의 캐시를 활용함으로써 전체 클러스터 시스템의 성능을 향상시킬 수 있다. 시뮬레이션을 통한 성능 분석에서 제안된 기법은 전통적인 라운드 로빈 방법보다는 월등히 우수함을 보이고, 기존의 내용 기반 WARD 방법보다는 약 $10\%$ 정도의 우수한 성능을 나타낸다.

  • PDF