DOI QR코드

DOI QR Code

Design and Verification of Connected Data Architecture Concept employing DataLake Framework over Abyss Storage Cluster

Abyss Storage Cluster 기반 DataLake Framework의 Connected Data Architecture 개념 설계 및 검증

  • 차병래 (광주과학기술원 전기전자컴퓨터공학부) ;
  • 차윤석 (제노테크(주)) ;
  • 박선 (광주과학기술원 전기전자컴퓨터공학부) ;
  • 신병춘 (전남대학교 수학과) ;
  • 김종원 (광주과학기술원 전기전자컴퓨터공학부)
  • Received : 2018.09.06
  • Accepted : 2018.09.27
  • Published : 2018.09.30

Abstract

With many types of data generated in the shift of business environment as a result of growth of an organization or enterprise, there is a need to improve the data-processing efficiency in smarter means with a single domain model such as Data Lake. In particular, creating a logical single domain model from physical partitioned multi-site data by the finite resources of nature and shared economy is very important in terms of efficient operation of computing resources. Based on the advantages of the existing Data Lake framework, we define the CDA-Concept (connected data architecture concept) and functions of Data Lake Framework over Abyss Storage for integrating multiple sites in various application domains and managing the data lifecycle. Also, it performs the interface design and validation verification for Interface #2 & #3 of the connected data architecture-concept.

조직과 기업의 비즈니스 시스템의 규모가 커지면서 다양한 대량의 데이터들이 생성되는 비즈니스 환경의 변화와 데이터를 보다 스마트하게 처리하여 효율성을 높일 수 있는 방법으로 DataLake와 같이 단일 도메인 모델이 필요한 상황이다. 특히, 자원의 유한성과 공유 경제에 의한 물리적인 분할된 멀티 사이트의 데이터를 논리적인 단일 도메인 모델을 만드는 것은 컴퓨팅 자원의 효율적 운영 측면에서 매우 중요하다. 기존의 Data Lake 프레임워크의 장점을 기반으로 다양한 응용 영역의 멀티 사이트들을 통합 및 데이터 라이프 사이클을 관리하기 위한 Abyss Storage 기반 DataLake 프레임워크의 Connected Data Architecture 개념 (connected data architecture-concept)과 기능들을 정의하고, Connected Data Architecture 개념을 위한 인터페이스 설계 및 인터페이스(Interface) #2와 #3의 유효성 검증을 수행한다.

Keywords

References

  1. omcy John, Pankaj Misra, "Data Lake for Enterprises - Leveraging Lambda Architecture for Building Enterprise Data Lake," Packt Publishing, May 2017.
  2. 차병래 외 3인, "Abyss Storage Cluster 기반의 DataLake Framework의 설계," 스마트미디어저널, Vol. 7, No. 1, 9-15쪽, 2018년 3월
  3. Mark Harring, "Connected Data Ponds: The evolution of Data Lakes," Hortonworks, Sept. 08, 2016.
  4. 차병래 외 3인, "Abyss Storage Cluster 기반 DataLake Framework의 Connected Data Architecture 개념 설계," 2018 한국정보기술학회 하계공동학술대회, 4-7쪽, 조선대학교, 대한민국, 2018년 6월 8일.
  5. 차윤석 외 4인, "Abyss Storage의 Disk 타입에 의한 Ceph RADOS의 Benchmarking," 2017 한국통신학회 동계학술대회, pp.1271-1273, 하이원리조트, 대한민국, 2018년 6월.
  6. 차병래 외 4인, "대용량 Abyss Storage의 KOREN 네트워크 기반 국내 및 해외 실증 테스트," 스마트미디어저널, 제6권, 제1호, 9-15쪽, 2017년 3월
  7. Lambda Architecture(2008). http://searchbusinessanalytics.techtarget.com/definition/Lambda-architecture (accessed Sep., 2018).
  8. 차병래 외 4인, "Idea Sketch to Improvement Image Learning based on Machine Learning using Topology Theory," SMA 2017, pp.139-141, Boracay, Philippine, Dec. 2017.
  9. Cloud Bursting(2017). http://searchcloudcomputing.techtarget.com/definition/cloud-bursting (accessed Sep. 7, 2018).
  10. Cloud Spanning(2014), http://searchcloudcomputing.techtarget.com/definition/cloud-spanning (accessed Sep., 7, 2018).
  11. OMA(2011), "Download Over the Air Specification," Open Mobile Alliance, March 2011.
  12. OMA(2006), "Download Over the Air Architecture," Open Mobile Alliance, Aug. 2006.