• 제목/요약/키워드: 데이터 마이그레이션

검색결과 37건 처리시간 0.022초

데이터 레이크 구축을 위한 Apache NiFi기반 ETL 프로세스 (Apache NiFi-based ETL Process for Building Data Lakes)

  • 이경민;이경희;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.145-151
    • /
    • 2021
  • 최근 들어 인간의 모든 활동 영역에서 디지털 데이터가 생성되고 있고 데이터를 안전하게 저장하고 가공하여 유용한 서비스를 개발하려는 시도가 많아지고 있다. 데이터 레이크는 데이터의 출처나 데이터를 활용하는 분석 프레임워크에 독립된 데이터 저장소를 말한다. 본 논문에서는 스마트시티에서 생성되는 다양한 빅데이터를 데이터 레이크에 안전하게 저장하고 서비스에서 활용할 수 있게 ETL 하는 도구와 이를 효과적으로 사용하는데 필요한 웹기반 도구를 설계하고 구현한다. 원천 데이터를 품질검사하고 정제하여 데이터 레이크에 안전하게 저장한 다음 데이터 수명주기 정책에 따라 관리하는 일련의 과정(ETL)은 대부분 비용이 많이 드는 인프라와 개발 및 유지 관리에 상당한 노력이 필요한 기술이다. 구현기술을 통해 IT분야 전문지식이 없어도 가시적이고 효율적으로 ETL 작업 모니터링, 데이터 수명주기 관리 설정과 실행이 가능하다. 이와는 별개로 데이터 레이크에 신뢰할 수 있는 데이터를 저장하고 사용하려면 데이터 품질검사 리스트 가이드가 필요하다. 또한, 데이터 수명주기 관리 도구를 통해 데이터 마이그레이션 및 삭제 주기를 설정하고 예약하여 데이터 관리 비용을 줄일 수 있어야 한다.

디지털트윈 전시형 콘텐츠 개발을 위한 엔티티 기반 3차원 예술작품 데이터모델링 개선방안 연구 (A Study on the Improvement of Entity-Based 3D Artwork Data Modeling for Digital Twin Exhibition Content Development)

  • 김소진;김찬희;김안나;박현정
    • 스마트미디어저널
    • /
    • 제13권1호
    • /
    • pp.86-100
    • /
    • 2024
  • 최근 문화정책 기반 연구과제 및 공공기업들의 홍보수단으로 가상현실 전시형 콘텐츠 서비스가 적지 않게 제작되고 있다. 특히 시각, 예술, 기록 등 문화자원을 기초로 하는 대부분의 아카이브 자료들이 엔티티 기반 데이터모델링 개념으로 활용되고 있는 점이 두드러진다. 하지만 3차원 예술작품을 데이터화하여 축적하는 일은 결코 쉬운 일이 아니다. 현재 공공기관 메타데이터들의 실태를 살펴보면 오래된 국제표준을 기반으로 구축되었기 때문에 디지털트윈을 개발할 때 자원 디지털화의 부재가 있었다. 기존 시스템의 기능을 뛰어넘는 용량과 속도로 다차원 데이터들을 연결함에 데이터모델링 진화가 불가피하다는 점을 발견하였다. 따라서 우선 선행연구 중에 데이터모델링 설계의 요소들과 개념들을 고찰하였고 가상현실 콘텐츠를 개발할 때 3차원 모델링 데이터들의 마이그레이션을 위해 설계되는 경우 기존에 작성된 메타데이터를 분석하여 3차원 모델링에서 추가되어야만 하는 상위요소들을 개선하는 연구를 하였다. 나아가 본 연구에서는 새롭게 작성된 메타데이터를 데이터모델링 프로세스에 맞게 가상현실 콘텐츠에서 활용되는 과정을 직접 구현하여 가능성을 실증해 보았다. 이를 통해 개발자들이 가상현실 전시콘텐츠 제작에서 시소러스를 어떻게 데이터로 연결하는 과정을 검증하였고 메타데이터를 작성하는 사용자에게는 디지털 요소로 추가되어야 하는 필수요소들을 제안하였다. 향후 본 연구에서 도출된 데이터 방식으로 시각예술기록 및 3차원 모델링 데이터모델링 구조를 점진적으로 발전해 나간다면 앞으로 메타데이터 기반 데이터모델링이 현재보다 유의미해지고 개발자들의 공공데이터 활용성에 대해 더욱 향상할 것을 기대해 본다.

공개포맷에 기반한 전자기록 보존 포맷 재설계 방향 연구 (Redesigning Electronic Records Preservation Formats Based on Open Formats)

  • 오세라;정미리;임진희
    • 한국기록관리학회지
    • /
    • 제16권4호
    • /
    • pp.79-120
    • /
    • 2016
  • 변화하는 컴퓨팅 환경에 따라 공문서 생산 환경이 G-클라우드 및 클라우드 온-나라 시스템으로 전환하고 있다. 더불어 공문서 포맷도 독자 포맷인 HWP을 대신하여 개방형 규격인 ODF가 정착할 것으로 전망된다. 이에 본 연구는 현행 공문서 장기보존 전략을 재검토 하고, ODF 생산 문서 보존에 적합한 문서보존포맷과 장기보존포맷 설계 방향을 제시하고자 한다. 생산 포맷이 ODF인 기록은 문서보존포맷으로의 변환 없이 기록관리 메타데이터를 추가한 확장 ODF 포맷을 제안하고자 하며 독자포맷의 보존에도 ODF를 검토하였다. 장기보존 포맷, 즉 NEO 포맷 변환 현황을 알아보고 BagIt 규격 패키지를 ISO21320으로 제정된 ZIP을 적용하여 장기보존포맷을 설계하였다.

클라우드 환경에서의 ATT&CK 매트릭스 기반 이벤트 로그 분석 프레임워크 (Event Log Analysis Framework Based on the ATT&CK Matrix in Cloud Environments)

  • 김예은;김정아;채시윤;홍지원;김성민
    • 정보보호학회논문지
    • /
    • 제34권2호
    • /
    • pp.263-279
    • /
    • 2024
  • 클라우드 마이그레이션 증가와 함께 클라우드 컴퓨팅 환경에서의 보안 위협도 급증하고 있다. 이에 효율적인 사고조사를 수행하기 위한 로그 데이터 분석의 중요성이 강조되고 있다. 클라우드 환경에서는 서비스 다양성과 간편한 리소스 생성 등의 특성으로 인해 대량의 로그 데이터가 생성된다. 이로 인해 사고 발생 시 어떤 이벤트를 조사해야 하는지 판단하기 어렵고, 방대한 데이터를 모두 확인하려면 상당한 시간과 노력이 필요하다. 따라서 데이터를 효율적으로 조사하기 위한 분석체계가 필요하다. AWS(Amazon Web Services)의 로깅 서비스인 CloudTrail은 계정에서 발생한 모든 API 호출이벤트로그를 수집한다. 그러나 사고 발생 시 어떤 로그를 분석해야 하는지 판단하기 위한 인사이트 제공 역할은 부족하다. 본 논문에서는 Cloud Matrix와 이벤트 정보를 연계하여 사고 조사를 효율적으로 수행할 수 있도록하고, 이를 기반으로 사용자 행위 로그 이벤트의 발생 빈도 및 공격 정보를 동시에 확인할 수 있는 자동화 분석프레임 워크를 제안한다. 이를 통해 ATT&CK Framework를 기반으로 주요 이벤트를 식별하고, 사용자 행위를 효율적으로 파악함으로써 클라우드 사고 조사에 기여할 것으로 기대한다.

모바일 클라우드 환경에서 PMIPv6를 이용한 효율적인 가상머신 마이그레이션 (Efficient Virtual Machine Migration for Mobile Cloud Using PMIPv6)

  • 이태희;나상호;이승진;김명섭;허의남
    • 한국통신학회논문지
    • /
    • 제37B권9호
    • /
    • pp.806-813
    • /
    • 2012
  • 클라우드 컴퓨팅 환경에서 Infrastructure as a Services (IaaS), Platform as a Services (PaaS), Software as a Services (SaaS), Desktop as a Services (DaaS) 등 다양한 솔루션들이 지속적으로 제공되고 있다. 현재는 사용자 단말이 클라우드 서비스를 제공받으면서 이동성을 보장하기 위한 솔루션으로 Mobile as a Services(MaaS)가 가장 많은 주목을 받고 있다. 사용자는 이동을 하면서도 클라우드에 있는 데이터 및 어플리케이션에 대한 접근과 이용이 가능해야 한다. 다시 말해 모바일 Thin-Client 환경에서 클라우드와 통신, 이동성 지원은 필수 요소이다. 모바일 단말의 이동성을 지원하기 위해 MobileIPv6 (MIPv6) 및 Proxy Mobile IPv6 (PMIPv6)가 소개되면서 많은 연구가 진행되고 있다. 또한, PMIPv6에 대한 연구는 도메인 내에 패킷 손실을 우려한 최적 경로 설정, 빠른 핸드 오버 등의 개선방안이 많이 제시된 바 있다. 본 논문은 모바일 Thin-Client 지원을 위해 PMIPv6 및 클라우드 연동 시스템을 제안한다. 제안한 시스템에서 모바일 Thin-Client가 서비스를 지원받기 위해 Replica서버를 이용하여 원활한 서비스를 제공하는 기법을 제안하며 성능평가를 통하여 기존 PMIPv6에서 핸드오버에 대한 데이터 비용을 비교 분석할 것이다.

전자기록의 장기보존을 위한 보존정보패키지(AIP) 구성과 구조 (The composition and structure of Archival Information Packages(AIP) for a long-term preservation of electronic records)

  • 임진희
    • 기록학연구
    • /
    • 제13호
    • /
    • pp.41-90
    • /
    • 2006
  • 전자기록 시대를 맞아 여러 유형의 생산시스템에서 만들어지는 다양한 전자기록을 일관된 방식으로 입수하여 보존관리하면서 이용자들이 기록의 존재를 쉽게 검색할 수 있게 하고 원하는 내용을 배부해줄 수 있는 유연하면서도 안정적인 전자기록관리시스템을 설계하는 것이 필요하게 되었다. 전자기록관리시스템 설계의 가장 기본이 되는 것이 바로 보존관리되는 과정에서의 기록의 구성과 구조라고 할 수 있다. 이 논문은 3-레이어 접근방식에 따라 전자기록의 개념적 구성과 논리, 물리적 구조를 설계하는 과정을 설명하고 있으며, 이 과정에서 3-레이어 접근방식의 유용성을 보여주고 있다. 이 논문은 디지털 정보객체의 장기보존을 위한 참조모델인 OAIS의 정보 모델을 벤치마킹하여 보존패키지(AIP) 개념을 기록에 적용한 '기록AIP'의 구성과 구조에 대해 논의한다. 개념 레이어에서는 기록AIP를 구성하는 요소들을 메타데이터의 그룹을 식별해내는 작업이 핵심이며 특히 OAIS 정보모델을 통해 기록정보의 서비스를 위해 필요한 메타데이터 그룹을 기록AIP의 구성에 필수적으로 포함해야 한다는 것을 강조하고 있다. 논리 레이어에서는 보존전략(마이그레이션과 에뮬레이션)이 기록AIP의 구조에 미치는 영향과 기록AIP를 인캡슐레이션할 것인지 여부에 따른 구조에 대해 논의한다. 이 논문은 현재의 수준에서 사용할 수 있는 정보통신 기술과 각종 표준을 기준선으로 하여 기록AIP를 어떻게 구성하고 구조화할 수 있는지 논의를 정리하고 있다.

논리 블록의 접근경향을 활용한 이종 낸드 플래시 기반 저장장치를 위한 Flash Translation Layer (Flash Translation Layer for Heterogeneous NAND Flash-based Storage Devices Based on Access Patterns of Logical Blocks)

  • 방관후;박상훈;이혁준;정의영
    • 전자공학회논문지
    • /
    • 제50권5호
    • /
    • pp.94-101
    • /
    • 2013
  • 낸드 플래시 메모리에 기반 한 저장장치는 이미 여러 분야에서 기존 디스크 기반 저장장치를 대체하며 거대한 규모의 시장을 확보하고 있다. 이 중 집적도는 높지만 성능과 신뢰성이 상대적으로 낮은 multi-level cell (MLC) 낸드 플래시 메모리와 반대의 특성을 지니는 single-level cell (SLC) 낸드 플래시 메모리를 혼용하여 서로의 장점만을 얻고자 하는 이종 낸드 플래시 기반 저장장치에 관한 연구 또한 활발하게 이루어지고 있다. 이종 낸드 플래시 기반 저장장치에서는 SLC에 기록된 데이터가 MLC로 옮겨질 경우에 발생하는 마이그레이션 오버헤드와, 상대적으로 적은 용량의 SLC 내부에서 발생하는 가비지 컬렉션 오버헤드가 전체 저장장치의 성능을 악화시키는 문제가 있는데, 본 논문에서는 이를 완화하고자 논리 블록의 접근경향을 활용하여 SLC를 효율적으로 활용하는 이종 낸드 플래시 기반 저장장치용 flash translation layer (FTL)을 제안하고자 한다. 제안하는 FTL 은 논리 블록들의 접근 경향을 파악하여 SLC에 기록되었을 시 성능 향상을 가져올 것이라고 기대되는 논리 블록들만을 선별하여 SLC에 기록하게 된다. 실험 결과 본 논문에서 제안하는 FTL을 사용한 이종 낸드 플래시 기반 저장장치는 기존 FTL 대비 전체 실행 시간에서 35% 향상된 성능을 보여주었다.