• 제목/요약/키워드: 메모리 요구량

검색결과 269건 처리시간 0.028초

하둡 기반 빅 데이터 기법을 이용한 웹 서비스 데이터 처리 설계 및 구현 (Design and Implementation of an Efficient Web Services Data Processing Using Hadoop-Based Big Data Processing Technique)

  • 김현주
    • 한국산학기술학회논문지
    • /
    • 제16권1호
    • /
    • pp.726-734
    • /
    • 2015
  • 데이터를 구조화하여 사용하는 관계형 데이터베이스가 현재까지 데이터 관리에 가장 많이 사용되고 있다. 그러나 관계형 데이터베이스는 데이터가 증가되면 데이터를 저장하거나 조회할 때 읽기, 쓰기 연산 수행에 제약 조건이 발생되어 서비스가 느려지는 현상이 나타난다. 또 새로운 업무가 추가되면 데이터베이스 내 데이터는 증가되고 결국 이를 해결하기 위해 하드웨어의 병렬 구성, CPU, 메모리, 네트워크 등 추가적인 인프라 구성을 필요로 하게 된다. 본 논문에서는 관계형 데이터베이스의 데이터 증가로 느려지는 웹 정보서비스 개선을 위해 기존 관계형 데이터베이스의 데이터를 하둡 HDFS로 전송하고 이를 일원화하여 데이터를 재구성한 후 사용자에게 하둡 데이터 처리로 대량의 데이터를 빠르고 안전하게 추출하는 모델을 구현한다. 본 시스템 적용을 위해 웹 기반 민원시스템과 비정형 데이터 처리인 이미지 파일 저장에 본 제안시스템을 적용하였다. 적용결과 관계형 데이터베이스 시스템보다 제안시스템 데이터 처리가 0.4초 더 빠른 결과를 얻을 수 있었고 기존 관계형 데이터베이스와 같은 대량의 데이터를 처리를 빅 데이터 기법인 하둡 데이터 처리로도 웹 정보서비스를 지원이 가능하였다. 또한 하둡은 오픈소스로 제공되어 소프트웨어 구매 비용을 줄여주는 장점이 있으며 기존 관계형 데이터베이스의 데이터 증가로 효율적인 대용량 데이터 처리를 요구하는 조직에게 도움을 줄 수 있을 것이다.

고속 블록 터보 코드 복호 알고리즘 및 하드웨어 구조 설계 (A High Speed Block Turbo Code Decoding Algorithm and Hardware Architecture Design)

  • 유경철;신형식;정윤호;김근회;김재석
    • 대한전자공학회논문지SD
    • /
    • 제41권7호
    • /
    • pp.97-103
    • /
    • 2004
  • 본 논문에서는 고속 블록 터보 코드 복호 알고리즘을 제안하고 이를 하드웨어로 검증하였다. 멀티미디어 무선 데이터 통신시스템은 높은 에러 정정 능력을 가진 채널 부호 방식을 요구한다. 블록 터보 코드는 블록 코드의 특성으로 인하여 다양한 코드율과 패킷 사이즈를 지원할 수 있으며, 터보 코드의 연판정 반복 기법으로 높은 성능을 보인다 하지만, 반복 기법과 외부정보 연산의 복잡한 구조로 때문에 복호 시간이 긴 단점을 갖고 있다. 이러한 긴 복호 시간의 문제점을 해결하기 위하여 제안된 복호 알고리즘은 외부정보 연산단계에서 이를 해결하였다. 외부정보 연산을 할 때 채널 정보를 이용하여 채널 정보 상태에 대한 임계치를 정한 후, 채널 정보가 좋은 비트에 대해서 외부 정보 연산 과정을 생략하는 대신 높은 신뢰도의 값을 할당함으로써 외부정보 연산이 감소되는 고속 복호기를 구현하였다. 채널 상태를 나타내는 임계치를 복호기의 입력인 신뢰도(Log Likelihood Ratio, LLR)가 가우시안 분포를 이루게 된다는 점에 착안하여 평균과 표준편차의 선형 조합으로써 결정하였다. 제안된 알고리즘을 Verilog-HDL을 이용하여 설계한 결과 기존 블록 터보 코드 복호 알고리즘에 비하여 약 30%의 외부정보 연산량과 복호시간이 감소되었고, 약 20K logic gate와 32Kbit의 메모리를 포함하였다.

효율적인 온톨로지 검색과 추론을 위한 인덱스 (Index for Efficient Ontology Retrieval and Inference)

  • 송승재;김인성;전종훈
    • 한국전자거래학회지
    • /
    • 제18권2호
    • /
    • pp.153-173
    • /
    • 2013
  • 근래에 들어와서 각광받고 있는 시맨틱 웹과 관련기술의 부상으로 온톨로지에 대한 관심이 증대되었으며, 그중에서도 고난이도의 추론을 요구하는 의미기반 시맨틱 검색을 위해서 온톨로지를 효율적으로 저장하고 검색하는 다양한 기법들이 활발히 연구되어왔다. W3C에서의 표준권고안은 RDFS, OWL을 활용하도록 하고 있다. 하지만 메모리 기반으로 구현되어 있는 에디터나 추론엔진들, 온톨로지의 원형을 그대로 유지하여 저장하는 트리플 저장소를 이용하여 대용량 온톨로지를 처리하기에는 성능상의 한계가 있다. 따라서 이를 해결하기 위해 관계형 데이터베이스 엔진을 이용하여, 온톨로지를 저장하고 효율적으로 활용하기 위한 다양한 방식의 추론엔진과 질의처리 알고리즘들이 제안되었으나, 온톨로지 프로퍼티의 다섯 가지 핵심특성에 따른 추론 결과를 완전하게 획득하지는 못하고 있는 실정이다. 본 논문에서는 하이퍼 큐브 인덱스(Hyper Cube Index)를 제안함으로서 관계형 데이터베이스에 저장한 온톨로지를 효율적으로 검색할 수 있는 환경을 제공하는 것은 물론, 온톨로지 프로퍼티의 핵심특성을 빠짐없이 투영하여 숨겨진 추론 결과를 획득할 수 있는 방안을 제시한다.

무선 센서 네트워크에서 에너지 효율적인 감시·정찰 응용의 클러스터링 알고리즘 연구 (Energy Efficient Clustering Algorithm for Surveillance and Reconnaissance Applications in Wireless Sensor Networks)

  • 공준익;이재호;강지헌;엄두섭
    • 한국통신학회논문지
    • /
    • 제37C권11호
    • /
    • pp.1170-1181
    • /
    • 2012
  • 다양한 응용에서 사용되고 있는 무선 센서 네트워크(WSN)는 저가의 센서 노드를 구성하기 위해 배터리, 메모리 크기, MCU, RF transceiver 등과 같은 하드웨어에서 제약을 갖고 있다. 특히, 센서 노드의 제한된 에너지는 네트워크 수명과 직접적인 관련이 있기 때문에 네트워크 수명을 연장하기 위한 효율적인 알고리즘이 요구된다. 군 환경에서 침입자를 탐지하기 위한 감시 정찰 응용은 이벤트 구동형(event-driven) 전송 모델로써, 이벤트 발생 빈도가 드물고(rare), 폭발적(bursty), 지역적(local)으로 발생하는 특징이 있다. 이와 같은 응용에서는 Data Aggregation의 장점이 있는 클러스터링 알고리즘을 이용하는 것이 각 노드가 개별적으로 데이터를 전송하는 것 보다 데이터 전송량을 줄여 에너지 효율을 높일 수 있다. 하지만 기존의 클러스터링 알고리즘은 감시 정찰 응용의 이벤트 발생에 대한 특징을 고려하고 있지 않기 때문에 여러 문제가 발생한다. 본 논문에서는 이러한 문제를 개선한 감시 정찰 응용에서의 에너지 효율적인 클러스터링 알고리즘을 제안한다. 이 알고리즘은 타깃을 탐지한 노드들이 각각 Cluster Head Election Window (CHEW)를 생성하여 지역적 경쟁 방식으로 클러스터를 구성하고, 타깃의 이동성을 고려하였다. 시뮬레이션 결과에서는 타깃의 이동에 따라 클러스터가 형성되는 자취를 분석하고, 에너지 효율이 증가되는 것을 증명하였다.

SOM 기반의 계층적 군집 방법을 이용한 계산 효율적 비디오 객체 분할 (Computation ally Efficient Video Object Segmentation using SOM-Based Hierarchical Clustering)

  • 정찬호;김경환
    • 대한전자공학회논문지SP
    • /
    • 제43권4호
    • /
    • pp.74-86
    • /
    • 2006
  • 본 논문에서는 계산 효율적이고 노이즈에 강건한 비디오 객체 분할 알고리즘을 제안한다. 움직임 분할과 색 분할을 효율적으로 결합한 시공간 분할 방법의 구현을 위해 SOM 기반의 계층적 군집 방법을 도입하여 특징 벡터들의 군집 관점에서 분할 과정을 해석함으로써 기존의 객체 분할 방법에서 정확한 분할 결과를 얻기 위해서 요구되어지는 많은 연산량과 노이즈에 의한 시스템의 성능 저하 문제를 최소화한다. 움직임 분할 과정에서는 움직임 추정 에러에 의한 영향을 최소화하기 위해서 MRF 기반의 MAP 추정 방법을 이용하여 계산한 움직임 벡터의 신뢰도를 이용한다. 또한 움직임 분할의 성능 향상을 위해서 움직임 신뢰도 히스토그램을 이용한 노이즈 제거 과정을 거칠 뿐만 아니라 자동으로 장면 내에 존재하는 객체의 수를 구하기 위해서 군집 유효성 지표를 이용한다. 객체 추적의 성능 향상을 위해 교차 투영 기법을 이용하며, 분할 결과의 시간적 일관성 유지를 위해 동적 메모리를 이용한다. 다양한 특성을 가지는 비디오 시퀀스들을 이용한 실험을 통해 제안하는 방법이 계산 효율적이고 노이즈에 강건하게 비디오 객체 분할을 수행함은 물론 기존의 구현 방법에 비해 정확한 분할 결과를 얻을 수 있음을 확인하였다.

모바일 환경을 위해 에지맵 보간과 개선된 고속 Back Projection 기법을 이용한 Super Resolution 알고리즘 (Super Resolution Algorithm Based on Edge Map Interpolation and Improved Fast Back Projection Method in Mobile Devices)

  • 이두희;박대현;김윤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제1권2호
    • /
    • pp.103-108
    • /
    • 2012
  • 최근 고성능 모바일기기의 보급과 멀티미디어 콘텐츠의 활용이 커짐에 따라 저해상도 영상을 고해상도로 재구성하는 초해상도(super resolution) 기법이 중요하게 대두되고 있다. 모바일기기에서는 초해상도를 사용하기 위해서는 연산량과 메모리 등의 제한적인 자원의 사용을 고려한 초해상도 알고리즘이 요구된다. 본 논문에서는 모바일기기에 적용하기 위해 단일영상을 통한 빠른 초해상도 기법을 제안한다. 제안한 알고리즘은 색채 왜곡을 방지하기 위해 RGB 컬러 도메인에서 HSV 컬러 도메인으로 변경하여 인간의 시각인지 특성이 가장 뚜렷한 밝기정보인 V만 처리한다. 먼저 잡음제거 및 속도향상을 고려하여 개선된 고속 back projection에 의해 영상을 확대 재구성한다. 이와 함께 2차 미분을 사용하는 LoG (laplacian of gaussian) 필터링을 이용하여 신뢰할 수 있는 에지 맵을 추출한다. 최종적으로 에지 정보와 개선된 back projection 결과를 이용하여 고해상도 영상을 재구성한다. 제안한 알고리즘을 사용하여 복원한 영상은 부자연스러운 인공물을 효과적으로 제거하고, blur현상을 최소화하여 에지 정보를 보정하고 강조해준다. 실험결과를 통해 제안하는 알고리즘이 기존의 보간법이나 전통적인 back projection 결과보다 주관적인 화질이 우수하고, 객관적으로 우수한 성능을 나타냄을 입증한다.

JAVA를 이용한 위성영상처리/분석 시스템 개발 : GeoPixel Ver. 1.0 (Development of a Remotely Sensed Image Processing/Analysis System : GeoPixel Ver. 1.0)

  • 안충현;신대혁
    • 대한원격탐사학회지
    • /
    • 제13권1호
    • /
    • pp.13-30
    • /
    • 1997
  • 초 미세 분광 분해능 센서, 고 공간 분해능 센서로 대표되는 최근의 위성 센서의 실용화 로, 향후 획득되는 위성 영상은 최소 수백 MB/scene 정도의 막대한 양이 될 것으로 예상된다. 또 한, 인터넷 및 초고속 정보망을 이용한 각종 정보의 활발한 교환은 보다 능동적인 형태의 위성영 상의 가공, 분석, 부가가치 정보 생산이 가능한 서비스 시스템의 개발을 요구한다. 본 연구에서는 향후 예상되는 위성 센서의 개발 방향과 이를 처리하기 위하여 고려되어야 할 미래지향적인 개념 인, 객체 파이프를 통한 자료의 입출력, 다중 쓰레드를 활용한 자료 처리 구조에 대하여 분석하 고, 인터넷 언어인 자바를 이용하여 개발 중에 있는, 위성 영상 처리 및 분석 시스템(GeoPixel 1.0)에 대하여 설명한다. 이 시스템은 인터넷 상에서 사용이 가능하며, 사용자 플랫폼에 독립적으 로, 상당 부분이 위성자료 분석 모듈들이 구현되어 있다. 대용량 위성 영상 처리를 위하여 본 연 구에서 개발된 다중쓰레딩, 객체 파이프와 같은 새로운 자료 처리 개념을 이용한 시스템의 개발 로 보다 효율적인 컴퓨터 자원(CPU 시간과 메모리)의 활용과 처리 속도면에서의 향상이 기대된 다.

저계수 행렬 근사 및 CP 분해 기법을 이용한 CNN 압축 (Compression of CNN Using Low-Rank Approximation and CP Decomposition Methods)

  • 문현철;문기화;김재곤
    • 방송공학회논문지
    • /
    • 제26권2호
    • /
    • pp.125-131
    • /
    • 2021
  • 최근 CNN(Convolutional Neural Network)은 영상 분류, 객체 인식, 화질 개선 등 다양한 비전 분야에서 우수한 성능을 보여주고 있다. 그러나 많은 메모리와 계산량이 요구되어 모바일 또는 IoT(Internet of Things) 장치와 같은 저전력 디바이스에 적용하기에는 제한이 따른다. 이에, CNN 모델의 임무 성능을 유지하면서 네트워크 모델을 압축하는 연구가 진행되고 있다. 본 논문에서는 행렬 분해 기술인 저계수 행렬 근사(Low-rank approximation)와 CP(Canonical Polyadic) 분해 기법을 결합한 CNN 모델 압축 기법을 제안한다. 제안기법은 하나의 행렬 분해 기법만을 적용하는 기존의 기법과 달리 CNN의 계층 유형에 따라 두 가지 분해 기법을 선택적으로 적용하여 압축 성능을 높인다. 제안기법의 성능 검증을 위하여 영상 분류 CNN 모델인 VGG-16, ResNet50, 그리고 MobileNetV2 모델을 압축하였고, 계층 유형에 따라 두 가지의 분해 기법을 선택적으로 적용함으로써 저계수 행렬 근사 기법만 적용한 경우 보다 1.5 ~ 12.1 배의 동일한 압축률에서 분류 성능이 향상됨을 확인하였다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.