• Title/Summary/Keyword: 클라우드 데이터 처리 방식

Search Result 83, Processing Time 0.029 seconds

A Dynamic Prefetchiong Scheme for Handling Small Files based on Hadoop Distributed File System (하둡 분산 파일 시스템 기반 소용량 파일 처리를 위한 동적 프리페칭 기법)

  • Yoo, Sang-Hyun;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.329-332
    • /
    • 2014
  • 클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

  • PDF

Development and Study of Cloud-Edge AI Inference Service Based on Microservices (마이크로서비스 기반의 클라우드 엣지 AI 추론 서비스 개발 및 연구)

  • Seo, Ji-Hyun;Jang, Su-min;Cha, Jae-geun;Choi, Hyun-hwa;Kim, Dae-won;Kim, Sun-wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.78-80
    • /
    • 2022
  • 최근 딥러닝을 이용한 영상 분석은 자율주행, 감시카메라 등 다양한 서비스에 필수적으로 활용되고 있으며 실시간 처리 및 보안 요소를 만족하기 위해 기존의 클라우드 컴퓨팅 방식의 단점을 개선한 클라우드 엣지 컴퓨팅 방식을 적용하는 사례가 크게 증가하고 있다. 하지만 사용자 및 단말과 가까운 위치에서 딥러닝 추론을 진행하는 클라우드 엣지 서버는 클라우드 서버와 비교하여 컴퓨팅 자원이 충분하지 않을 경우가 많으며 기존의 딥러닝 모델을 그대로 클라우드 엣지 환경에 적용하는 것은 자원 활용 측면에서 여러가지 문제점들을 갖고 있다. 따라서 본 논문에서는 마이크로서비스 구조를 통해 자원을 보다 유연하게 활용할 수 있도록 개선된 딥러닝 모델로 대규모의 클라이언트 요청을 처리 가능한 동영상 데이터 추론 서비스인 G-Edge AI 추론 서비스 개발에 대해 설명한다.

Video based Point Cloud Compression with Versatile Video Coding (Versatile Video Coding을 활용한 Video based Point Cloud Compression 방법)

  • Gwon, Daeheyok;Han, Heeji;Choi, Haechul
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.497-499
    • /
    • 2020
  • 포인트 클라우드는 다수의 3D 포인터를 사용한 3D 데이터의 표현 방식 중 하나이며, 멀티미디어 획득 및 처리 기술의 발전에 따라 다양한 분야에서 주목하고 있는 기술이다. 특히 포인트 클라우드는 3D 데이터를 정밀하게 수집하고 표현할 수 있는 장점을 가진다. 하지만 포인트 클라우드는 방대한 양의 데이터를 가지고 있어 효율적인 압축이 필수적이다. 이에 따라 국제 표준화 단체인 Moving Picture Experts Group에서는 포인트 클라우드 데이터의 효율적인 압축을 위하여 Video based Point Cloud Compression(V-PCC)와 Geometry based Point Cloud Coding에 대한 표준을 제정하고 있다. 이 중 V-PCC는 기존 High Efficiency Video Coding(HEVC) 표준을 활용하여 포인트 클라우드를 압축하여 활용성이 높다는 장점이 있다. 본 논문에서는 V-PCC에 사용하는 HEVC 코덱을 2020년 7월 표준화 완료될 예정인 Versatile Video Coding으로 대체하여 V-PCC의 압축 성능을 더 개선할 수 있음을 보인다.

  • PDF

Collaborative System based on Social using XMDR-DAI for Business Process in Mobile Cloud (모바일 클라우드 환경에서 비즈니스 프로세스를 위한 XMDR-DAI를 이용한 소셜 기반의 협업 시스템)

  • Lee, Jong-Sub;Moon, Seok-Jae
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.10
    • /
    • pp.2331-2340
    • /
    • 2015
  • In this paper, we propose a social-based collaboration systems for business process management in the mobile cloud. This XMDR-DAI is to provide services for data sharing and exchange between local systems that operate independently in a cloud environment, take charge of a social-based collaborative business process management. Social-based collaborative business processes are handled in a collision among a structure such as unit conversion, meaning conflict, and the schema mapping data resulting from the inner query. The conflict was resolved by mapping process which takes in each XMDR-DAI.

Construction of a Virtual Mobile Edge Computing Testbed Environment Using the EdgeCloudSim (EdgeCloudSim을 이용한 가상 이동 엣지 컴퓨팅 테스트베드 환경 개발)

  • Lim, Huhnkuk
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.24 no.8
    • /
    • pp.1102-1108
    • /
    • 2020
  • Mobile edge computing is a technology that can prepare for a new era of cloud computing and compensate for shortcomings by processing data near the edge of the network where data is generated rather than centralized data processing. It is possible to realize a low-latency/high-speed computing service by locating computing power to the edge and analyzing data, rather than in a data center far from computing and processing data. In this article, we develop a virtual mobile edge computing testbed environment where the cloud and edge nodes divide computing tasks from mobile terminals using the EdgeCloudSim simulator. Performance of offloading techniques for distribution of computing tasks from mobile terminals between the central cloud and mobile edge computing nodes is evaluated and analyzed under the virtual mobile edge computing environment. By providing a virtual mobile edge computing environment and offloading capabilities, we intend to provide prior knowledge to industry engineers for building mobile edge computing nodes that collaborate with the cloud.

A Study on Data Movement Method between For for Cloud Computing (클라우드를 위한 포그 간의 데이터 이동 기법에 관한 연구)

  • Hwang, Chi-Gon;Yoon, Chang-Pyo;Lee, Hae-Jun
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2017.05a
    • /
    • pp.294-296
    • /
    • 2017
  • Cloud computing is a computing technique that uploads all the data from a cloud node to a cloud server and provides it to users as a service. This is difficult to provide services in real time depending on the network conditions. This is because it is necessary to download information to the remote site through the network, not the local area, and to download additional services to provide services in the cloud. So fog computing has been proposed as an alternative. In this paper, we propose an efficient data exchange technique between cloud, fog and user. The proposed fog provides services to users and collects and processes data. The cloud is responsible for the flow of data exchange and control between the fog. We propose a standard method for data exchange. The application for this is to process and service the information generated by the BAN (Body Area Network) in the fog, and the cloud serves as a mediator. This can resolve data heterogeneity between devices or services and provide efficient data movement.

  • PDF

Implementaion of Video Processing Framework using Hadoop-based cloud computing (Hadoop 기반 클라우드 컴퓨팅을 이용한 영상 처리 프레임워크 구현)

  • Ryu, Chungmo;Lee, Daecheol;Jang, Minwook;Kim, Cheolgi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.139-142
    • /
    • 2013
  • 최근 대용량 영상데이터로부터 정보 수집, 영상 처리를 위한 클라우드 관련 연구들이 활발하다. 그러나 공개 소프트웨어를 이용한 클라우드 연구의 대부분은 라이브러리 수준이 아닌 단순히 프로그램 수준의 조합으로 작동한다. 이런 이유로 단순 조합에 따른 비효율성에 의한 성능문제는 크게 다루어지지 않는다. 본 논문에서는 이 비효율성을 해결하는데 중점을 두고 FFmpeg과 Hadoop을 라이브러리 수준으로 결합하여 기존보다 더 나은 성능의 영상클라우드 환경을 구축하였다. C기반의 영상처리 라이브러리인 FFmpeg와 JAVA기반의 클라우드 환경 Hadoop의 결합을 위해 JNI(Java Native Interface)를 이용하였다. 상세구현으로는 HDFS(Hadoop Distributed File System)을 확장하여 Hadoop MapReduce가 직접 FFmpeg을 통한 영상파일 접근이 가능하게 하였다. 이로써 FFmpeg과 Hadoop간 상이한 파일 접근 방식에서 발생하는 불필요한 작업에 의한 시스템의 성능저하를 막았다. 또한 응용의 확장성을 위해 영상작업시 작업영상을 영상처리의 최소단위인 GOP(Group of Pictures)단위로 잘라 클라우드의 노드들에게 분산시켰다. 결과적으로 기존에 존재하는 Hadoop과 FFmpeg을 프로그램적으로 결합한 영상처리 클라우드보다 총 처리시간을 앞당겼고, GOP 단위의 영상 처리는 영상기반 작업에 안정성과 응용의 확장성을 보장해주었다.

Design of Efficient Partial Block Encryption Algorithm Based on File Type (파일 특성 기반 효율적인 부분 블록 암호화 알고리즘 설계)

  • Lee, Nam-Uk;Yang, Seung-Su;Park, Seok-Cheon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.382-383
    • /
    • 2017
  • 최근 클라우드 기반의 스토리지 서비스가 지속적으로 성장하고 있다. 클라우드 스토리지 서비스는 데이터의 가용성 및 기밀성을 보장하기 위하여 다양한 암호화 방식을 사용한다. 그러나 기존 암호화 방식은 대용량 데이터 전송 시 처리 및 전송 속도가 저하되는 문제점이 발생한다. 이를 개선하기 위하여 파일 특성을 고려한 효율적인 부분 암호화 알고리즘을 설계하였다.

A Safe and Efficient Secure Data Deduplication for Cloud Storage Environment (클라우드 스토리지 환경을 위한 안전하고 효율적인 암호데이터 중복제거 기술)

  • Kim, Won-Bin;Lee, Im-Yeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.714-717
    • /
    • 2015
  • 기존의 암호데이터 중복제거 기술은 데이터의 중복 여부를 판단하기 위해 다양한 방식으로 데이터를 전송하고 이를 기존에 저장된 데이터와 비교하여 중복여부를 판단하게 된다. 이러한 데이터 중복제거 기술의 중복제거 효율성을 높이기 위해 최근 블록 단위의 중복제거 기술이 사용되고 있다. 하지만 블록 단위 중복제거 기술의 적용 과정에서 다양한 보안 위협이 발생하는데, 이 중 포이즌 어택은 무결성 및 데이터 저장 시 저장되는 데이터에 대한 검증이 이루어지지 않는 시스템에서 발생하는 위협 중 하나이다. 이러한 위협을 해결하기 위해 암호화 기술을 적용한 여러 기술들이 연구되어 제안되었지만 과도하게 많은 통신 횟수와 연산이 발생되어 효율성이 떨어지는 문제가 존재한다. 따라서 본 논문에서는 클라우드 스토리지에 저장되는 데이터의 기밀성과 무결성을 보장하며, 연산량과 통신량에서 보다 효율적인 암호데이터 중복제거 기술을 제안한다.

UHD Video Transcoding System in Cloud Computing Environment (클라우드 기반 UHD 영상 트랜스코딩 시스템)

  • Moon, Hee-Cheol;Kim, Yong-Hwan;Kim, Dong-Hyeok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2014.11a
    • /
    • pp.203-205
    • /
    • 2014
  • UHD 영상 콘텐츠는 FHD 영상에 비해 생생하고 더 좋은 고화질의 영상을 제공하지만 영상정보의 데이터 양은 4K UHD 경우 4 배 이상이다. 이러한 초대용량의 UHD 영상을 기존의 병렬/분산 처리를 이용하여 비디오 코딩 한다면 UHD 의 초대용량 특성으로 인하여 연산량 부하가 발생하게 된다. 따라서 UHD 영상은 기존의 분산처리 방식이 아닌 초대용량 데이터를 빠르게 처리 할 수 있는 새로운 분산 처리기술이 필요하다. 본 논문은 UHD 콘텐츠를 빠르게 트랜스코딩 할 수 있는 클라우드 기반 UHD 영상 트랜스코딩 시스템을 제안한다. 본 논문에서 제안하는 UHD 영상 트랜스코딩 시스템은 다음 3 가지 패킷 분석기, 분산 트랜스코더, 스트림 합성기로 구성된다. 패킷 분석기는 입력 영상을 분석하여 오디오와 비디오 스트림을 분할하고 비디오 스트림은 분산처리를 할 수 있도록 영상 패킷을 분할한다. 분산 트랜스코더는 클라우드 환경을 이용하여 분할된 영상 패킷들을 분산 디코드 및 인코드 처리한다. 스트림 합성기는 트랜스코딩이 완료된 비디오 스트림과 패킷 분석기에서 획득하였던 오디오 스트림을 합성하는 기능을 한다. 제시하는 방안을 적용하여 클라우드 기반 영상 트랜스 코딩 시스템을 구현하였으며, 구현된 시스템은 대용량의 UHD 영상을 빠른 속도로 트랜스코딩이 가능하다.

  • PDF