• 제목/요약/키워드: Big data storage

검색결과 207건 처리시간 0.025초

홀로그래픽 데이터 저장장치를 위한 4-레벨 오류정정 변조부호 (4-level Error Correcting Modulation Codes for Holographic Data Storage System)

  • 이재훈;이재진
    • 한국통신학회논문지
    • /
    • 제39A권10호
    • /
    • pp.610-612
    • /
    • 2014
  • 멀티레벨 홀로그래픽 데이터 스토리지 시스템은 픽셀당 1비트 이상을 저장할 수 있기 때문에 용량에서 큰 이점을 갖는다. 만약 부호율이 2/3인 변조부호라면 2/3(symbol/pixel)은 4/3(bit/pixel)이고, 이것은 1pixel에 약 1.3개 bit를 담을 수 있다. 본 논문에서는 멀티레벨 홀로그래픽 데이터 저장장치에서 한 픽셀이 4-레벨을 가지는 경우, 최소 유클리디안 거리가 3과 4인 변조부호를 각각 제안하였다. 제안한 변조부호는 랜덤한 경우보다 훨씬 더 좋은 성능을 보였고, 거리가 클수록, 성능이 더 좋아지는 것을 보였다.

Comparison of Distributed and Parallel NGS Data Analysis Methods based on Cloud Computing

  • Kang, Hyungil;Kim, Sangsoo
    • International Journal of Contents
    • /
    • 제14권1호
    • /
    • pp.34-38
    • /
    • 2018
  • With the rapid growth of genomic data, new requirements have emerged that are difficult to handle with big data storage and analysis techniques. Regardless of the size of an organization performing genomic data analysis, it is becoming increasingly difficult for an institution to build a computing environment for storing and analyzing genomic data. Recently, cloud computing has emerged as a computing environment that meets these new requirements. In this paper, we analyze and compare existing distributed and parallel NGS (Next Generation Sequencing) analysis based on cloud computing environment for future research.

Study on Data Processing of the IOT Sensor Network Based on a Hadoop Cloud Platform and a TWLGA Scheduling Algorithm

  • Li, Guoyu;Yang, Kang
    • Journal of Information Processing Systems
    • /
    • 제17권6호
    • /
    • pp.1035-1043
    • /
    • 2021
  • An Internet of Things (IOT) sensor network is an effective solution for monitoring environmental conditions. However, IOT sensor networks generate massive data such that the abilities of massive data storage, processing, and query become technical challenges. To solve the problem, a Hadoop cloud platform is proposed. Using the time and workload genetic algorithm (TWLGA), the data processing platform enables the work of one node to be shared with other nodes, which not only raises efficiency of one single node but also provides the compatibility support to reduce the possible risk of software and hardware. In this experiment, a Hadoop cluster platform with TWLGA scheduling algorithm is developed, and the performance of the platform is tested. The results show that the Hadoop cloud platform is suitable for big data processing requirements of IOT sensor networks.

중소제조기업을 위한 IoT기반의 자율이동모듈을 활용한 스마트 창고관리 시스템 개발 (Smart Warehouse Management System Utilizing IoT-based Autonomous Mobile Robot for SME Manufacturing Factory)

  • 김정아;정종필
    • 한국인터넷방송통신학회논문지
    • /
    • 제18권5호
    • /
    • pp.237-244
    • /
    • 2018
  • 중소기업 제조공장의 스마트팩토리 수준이 현재에는 기초 수준으로 창고를 관리하기 위해 재고 입출입에 따른 정확한 재고량을 파악하는 시스템이 부족하다. 또한 근로자 수작업과 경험에 의한 생산방식으로 데이터 손실로 정확한 자재를 관리하기 어려운 상황이다. 이를 해결하기 위해 근로자의 재고 파악을 위한 수작업을 최소화하며 자동화를 향상시키기 위해 재고량 자동 수집을 진행한다. 본 논문에서는 IoT기반의 자율이동모듈을 이용한 스마트 창고관리 시스템으로 자율이동모듈이 창고를 이동하면서 재고 보관함의 데이터를 수집한다. 이는 해당 보관함의 자재들 파악하기 위해 카메라 모듈이 비전처리 방식 통해 재고보관함의 네임텍을 인지한다. 인지한 문자화 처리 결과가 일치할 때 센서에 의해 측정된 데이터가 서버로 전달되고 데이터를 처리하여 데이터베이스에 저장한다. 저장된 데이터는 관리자용 웹 기반 모니터링 환경에서 실시간 재고량을 파악할 수 있다. 이를 통해 수작업을 줄이고 자동화된 재고관리시스템의 효과를 기대한다.

저장시스템의 응답 시간 개선을 위한 효율적인 이중 큐 전략 (An Efficient Dual Queue Strategy for Improving Storage System Response Times)

  • 이현섭
    • 사물인터넷융복합논문지
    • /
    • 제10권3호
    • /
    • pp.19-24
    • /
    • 2024
  • 최근 빅데이터, 클라우드 컴퓨팅, 인공지능 등 대용량 데이터 처리 기술의 발전에 따라 데이터센터와 엔터프라이즈 환경에서 고성능 저장장치에 대한 요구가 증가하고 있다. 특히 저장장치의 빠른 데이터 응답 속도는 전체 시스템 성능을 좌우하는 핵심 요소이다. 이에 NVMe(Non-Volatile Memory Express) 인터페이스 기반 SSD(Solid State Drive)가 주목받고 있으나, 다수 호스트의 대량 데이터 입출력 요청을 동시에 처리하는 과정에서 새로운 병목 현상이 발생하고 있다. SSD는 일반적으로 호스트 요청을 내부 큐에 순차적으로 쌓아 처리하는 방식을 취한다. 이때 긴 전송 길이 요청이 먼저 처리되면 짧은 요청들이 장기간 대기하여 평균 응답 시간이 증가한다. 이 문제를 해결하기 위해 데이터 전송 시간제한과 데이터 분할 전송 방법이 제안되었으나 근본적인 해결책이 되지 못했다. 본 논문에서는 저장장치 내부 데이터 처리 스케줄링 전략인 DQBS(Dual Queue Based Scheduling Scheme)를 제안한다. 이 방식은 이중 큐 기반의 스케줄링 전략으로 하나의 큐에서는 요청 순서를, 다른 큐에서는 전송 길이를 기준으로 데이터 전송 순서를 관리한다. 그리고 요청 시간과 전송 길이를 종합적으로 고려하여 효율적인 데이터 전송 순서를 결정한다. 이를 통해 대기 시간이 긴 요청과 짧은 요청을 균형있게 처리할 수 있어 전체 평균 응답 시간을 단축시킬 수 있다. 실제 시뮬레이션 결과, 제안 기법은 기존 순차 처리 방식 대비 월등히 향상된 성능을 보였다. 본 연구는 고성능 SSD 환경에서 데이터 전송 효율을 극대화하는 스케줄링 기법을 제시하여, 차세대 고성능 저장 시스템의 발전에 기여할 수 있을 것으로 기대된다.

이기종 네트워크 장치를 사용하는 시스템의 효율적인 관리를 위한 로그 수집 방법 (Log Collection Method for Efficient Management of Systems using Heterogeneous Network Devices)

  • 양재호;김영곤
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권3호
    • /
    • pp.119-125
    • /
    • 2023
  • IT 인프라 운영이 고도화하면서 시스템을 관리하는 방식이 널리 보급되어 있으며, 최근에는 Syslog를 활용한 개선방법들이 연구되고 있다. 그러나 이러한 방법으로 수집한 로그 데이터를 활용하여 시스템 관제를 할 경우 다양한 형식으로 추출되는 로그를 전문 인력이 분석해야 하는 어려움이 있다. 본 논문은 엣지 컴퓨팅을 활용하여 Syslog 데이터를 분산 수집하고 중복 데이터를 전처리하여 중앙 데이터베이스에 적재하는 시스템을 구축 방법을 제시하고자 한다. 또한, 데이터사전을 구성하여 실시간으로 데이터를 분류하고 카운팅하는 기능을 제공하며, 데이터사전에 등록된 데이터에 대해서는 중앙 데이터베이스로의 전송을 제한하는 시스템을 구현한다. 이를 통해 데이터 사전의 정의어 패턴을 유지하며, 중복 데이터와 시간 중복을 제어하여 중앙 데이터베이스에 정제된 데이터를 적재함으로써 빅데이터 분석을 위한 기초 자료를 확보할 수 있다. 시뮬레이션결과 제안된 알고리즘과 프로시저를 구체적인 예시와 함께 설명하고, syslog 데이터를 활용하여 그 성능을 검증하였다. syslog 데이터는 실제 로그 데이터에서 추출한 예시를 포함하고 있으며 이를 통해 로그 데이터로부터 필요한 정보를 정확하게 추출하였고, 분류 및 적재 과정에서 정상적인 처리가 이루어지는지를 확인하였다. 이러한 시스템은 엣지 환경에서 로그 데이터를 효율적으로 수집하고 관리하기 위한 솔루션으로 활용하여 기술의 확산 측면에서도 효과를 기대할 수 있다.

빅 데이터 가시화 기술을 적용한 공공데이터 콘텐츠 구현 - Map가시화 기법 (Implementation of public data contents using Big data Visualization technology - Map visualization technique)

  • 박선희;김정호;유현배
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권7호
    • /
    • pp.1427-1434
    • /
    • 2017
  • 4차 산업화의 가속화로 인하여 우리 주변의 데이터가 급속도로 증가하였다. 이에, 데이터를 수집하는 것 이상으로 데이터 분석을 통해 얻어진 데이터의 성질과 의미를 보다 손쉽게 파악하고 데이터의 가치판단에 유연하게 적용 할 수 있어야 한다. 가시화 표현기술은 현재 많은 분야에서 관심을 받고 있다. 가시화는 데이터 분석 결과를 보다 쉽게 이해할 수 있도록 그래프, 차트 등으로 사용자가 보다 쉽게 데이터의 정보를 파악할 수 있어, 즉각적인 판단이 가능하게 하여 빠른 의사결정을 할 수 있도록 한다. 그중에서도 사용자들의 활용 가치가 높은 공공데이터를 활용한 가시화에 대한 관심도가 높다. 이에 본 논문에서는 가시화를 표현 할 수 있는 다양한 소프트웨어들 중에서 R 라이브러리와 R Studio를 활용하여 전국 자전거 보관소 설치 장소의 공공데이터를 가시화 하는 콘텐츠를 구현하였다.

빅 데이터 분석 기반 농 식품 위해인자 신속관리 방법 (Rapid Management Mechanism Against Harmful Materials of Agri-Food Based on Big Data Analysis)

  • 박현;강성수;정훈;김세한
    • 한국통신학회논문지
    • /
    • 제40권6호
    • /
    • pp.1166-1174
    • /
    • 2015
  • 단순 바코드 또는 포장 내용물 단위의 이력추적, 농 식품의 저장 창고나 배송차량의 일부 정보 추적, 직감에 의한 원격 환경 조정 등을 통해 농 식품의 위해인자를 차단하려는 노력들이 있었다. 그러나 이러한 시도는 선택적인 정보수집 및 불충분한 정보량, 현실과 수집 시점 간 시간차에 따른 정보 왜곡의 문제점 및 각 유통 기업의 자체 독립적인 정보망으로 인하여 생산지로부터 소비자까지의 총체적인 위해인자 차단이 어렵다. 본 논문에서는 농 식품의 생산지뿐만 아니라 전주기상의 주요 유통 거점, 소비지까지 정형, 반 정형, 비정형의 다양하고 대규모의 농 식품 유통 정보를 이용하여, 위해인자 발생의 실시간 상황이나 예측, 추적을 통하여, 위해인자 파급 차단과 예방을 위한 농 식품의 위해인자 신속 관리 방법을 제안한다. 제안방법은 빅 데이터 클러스터 기반, 실시간으로 정보를 수집하고, 위해인자 상황인지, 위해인자 발생 예측, 위해인자 발생지 추적 분석을 통해 위해인자를 차단하고 파급을 예측하며, 그 결과를 가시화하여 신속하게 위해인자를 관리 할 수 있도록 한다.

Trend of Technology in Video Surveillance System

  • Song, Jaemin;Park, Arum;Lee, Sae Bom
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.57-64
    • /
    • 2020
  • 영상보안은 카메라, 전송장치, 저장 및 재생장치 등으로 구성되며 범죄예방, 재난 감시 등에 사용되고 있다. 최근 매우 다양한 분야로 파급되고 있으며, 자동으로 사람 및 사물의 특징적인 객체를 인식하거나 추적할 수 있는 지능형 영상보안 시스템으로 발전하고 있다. 본 연구는 홈과 공공부문, 민간부문으로 구분하여 최신 기술을 적용한 영상보안 서비스 사례들을 조사하고 비즈니스 관점에서 어떠한 이점을 가져다주는지 조사·연구하고자 하였다. 본 연구에서 소개한 사례들을 살펴봄으로써 뛰어난 CCTV와의 호환, 여러 개의 영상감시, CCTV 촬영 화면 모션 감지, 자동 분석을 통한 알람 제공 등 영상보안 서비스가 지능적으로 발전하고 있다는 것을 확인할 수 있었다.

Connected Data Architecture 개념의 확장을 통한 AI 서비스 초안 설계 (Draft Design of AI Services through Concept Extension of Connected Data Architecture)

  • 차병래;박선;오수열;김종원
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.30-36
    • /
    • 2018
  • DataLake 프레임워크와 같은 단일 도메인 모델은 비즈니스 시스템의 규모 확장과 대량의 다양한 데이터들이 생성되는 빅데이터 환경, 그리고 데이터를 보다 스마트하게 처리하여 효율성 및 활용도를 높일 수 있는 방법으로 주목 받고 있다. 특히, 논리적인 단일 도메인 모델은 컴퓨팅 리소스의 유한함과 공유 경제에 의한 물리적으로 분할된 멀티 사이트의 데이터 처리를 위한 네트워크, 스토리지, 그리고 컴퓨팅 자원의 효율적 운영이 매우 중요하다. 기존의 Data Lake 프레임워크의 장점들을 기반으로 다양한 영역의 멀티 사이트들을 통합 및 데이터의 라이프 사이클을 관리하기 위한 DataLake 프레임워크의 Connected Data Architecture 개념과 기능들의 확장을 통한 다양한 응용 영역에 활용 가능한 CDA 기반 AI 서비스의 초안 설계 및 시나리오를 제안하고자 한다.