• 제목/요약/키워드: 메모리효율

검색결과 1,787건 처리시간 0.027초

다중 윈도우 조인을 위한 튜플의 도착 순서에 기반한 효과적인 부하 감소 기법 (Effective Load Shedding for Multi-Way windowed Joins Based on the Arrival Order of Tuples on Data Streams)

  • 권태형;이기용;손진현;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권1호
    • /
    • pp.1-11
    • /
    • 2010
  • 최근 다중 데이터 스트림에 대한 연속 질의 처리에 관한 연구가 활발하게 진행되고 있다. 데이터 스트림에서 튜플들의 도착 속도가 폭증하여 시스템의 메모리 용량을 초과하는 경우, 일부 튜플을 버림으로써 시스템이 과부하 상태가 되지 않도록 하는 기법을 부하 감소(load shedding)라 한다. 본 논문에서는 다중 데이터 스트림에 대한 다중 윈도우 조인을 위한 효과적인 부하 감소 기법을 제안한다. 기존의 부하 감소 기법들은 버릴 튜플을 선택하기 위해 튜플들의 조인 키 값을 이용하여 각 튜플이 생성할 조인 결자 개수(생산성)를 예측하고, 생산성이 최소가 되는 튜플을 버린다. 그러나 이러한 방법들은 조인 키 값이 다시 나타나지 않거나, 조인 키 값의 분포가 일정하게 유지되지 않는 경우 튜플들의 생산성을 올바르게 예측하기 어렵다. 본 논문은 이러한 경우를 위해 튜플들의 조인 키 값 대신, 튜플의 데이터 스트림에 대한 도착 순서를 사용하여 튜플들의 생산성을 예측하는 방법을 사용한다. 제안하는 방법은 조인 키 값으로 튜플들의 생산성을 예측하가 어려운 상황에서 튜플의 도착 순서를 통해 각 튜플의 생산성을 효과적으로 예측할 수 있도록 해준다. 다양한 실험과 분석을 통해 제안하는 새로운 부하 감소 기법이 기존 기법에 비해 더욱 효과적이고 효율적으로 부하를 감소시킬 수 있음을 보인다.

최적화된 영역 분할을 이용한 패킷 분류 알고리즘 (Optimum Range Cutting for Packet Classification)

  • 김형기;박경혜;임혜숙
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권6호
    • /
    • pp.497-509
    • /
    • 2008
  • 현재 패킷 분류에 대한 다양한 알고리즘들이 연구되어 오고 있다 그 중 HiCuts와 HyperCuts와 같은 디시젼(decision) 트리에 기초한 패킷 분류 알고리즘은 룰의 각 필드가 가지는 영역에 따른 기하학적 구조를 이용한 방법으로 잘 알려져 있다. 그러나 이 알고리즘들은 분할(cutting)을 수행할 필드(Field)를 선택하거나 디시젼 트리의 각 노드에서 컷(cut)의 수를 결정해야 하는 등의 비교적 복잡한 작업을 요구하므로 현실적으로 구현하기 어려운 점을 가진다. 또한 각 룰이 차지하는 영역의 특성을 고려하지 않고 일정한 크기의 영역으로 커팅이 이루어지므로 효과적인 커팅을 하지 못하는 단점이 있다. 본 논문에서는 새로운 영역 분할을 사용한 효과적인 패킷 분류 알고리즘을 제안한다. 제안하는 알고리즘은 먼저 프리픽스를 가지는 두 필드를 이용하여 각 룰이 차지하는 영역들을 찾아내 이들을 이용해 영역분할을 수행한다. 따라서 제안된 알고리즘은 보다 효율적인 디시젼 트리를 구성한다. 즉, 디시젼 트리의 각 노드에서는 HiCuts이나 HyperCuts와 같은 복잡한 작업없이 최적화된 커팅을 수행할 수 있다. 클래스 벤치에서 제공된 데이타베이스에 대하여 시뮬레이션을 수행한 결과, 제안된 알고리즘은 평균 검색 속도에서 기존의 알고리즘들보다 훨씬 향상되었고 메모리 요구량에서는 기존의 커팅 알고리즘과 비교하여 대략 $3{\sim}300$배까지 크게 줄어드는 효과를 보였다.

센서 네트워크에서의 안전한 그룹통신을 위한 상호 인증 기법 (Mutual Authentication Mechanism for Secure Group Communications in Sensor Network)

  • 고혜영;도인실;채기준
    • 정보처리학회논문지C
    • /
    • 제17C권6호
    • /
    • pp.441-450
    • /
    • 2010
  • 센서 네트워크는 유무선 네트워크 환경에 다양한 센서를 설치하고 이를 통해 데이터를 감지하며 감지된 데이터를 응용서비스 서버와 연동하는 기술로 최근 다양한 연구가 이루어지고 있다. 그러나 이러한 센서 네트워크는 센서 노드 자체의 제약점 때문에 메모리와 처리 능력, 에너지 수명에 제한을 가지며 그럼으로써 센서 네트워크 자체에 보안상의 취약점이 존재한다. 그러므로 센서 네트워크의 기술에 있어서 보안에 관한 연구가 매우 중요하며 센서의 계산 능력 또한 고려되어야 할 부분이다. 본 논문에서는 위와 같은 특징을 반영하여 일반 센서 노드들과 충분한 저장 공간과 계산 능력을 갖는 노드인 클러스터 헤더가 있는 이종의 센서로 네트워크를 구성하고 키 관리 기법 중 하나인 PCGR(Predistribution and local Collaboration-based Group Rekeying) 기법을 기반으로 하여 안전한 그룹 통신을 위한 그룹키 갱신 방법을 제안한다. 제안된 방법에서는 센서 노드 측에서 클러스터 헤더로부터 받은 새로운 키 정보를 인증하도록 하여 오염된 키 정보로 인해 네트워크의 안전성이 위협받는 상황을 최소화함으로써 보안성을 향상시킬 수 있도록 하였다. 즉, 그룹키를 갱신할 때, 클러스터 헤더는 노드가 보내주는 노드의 부분 정보를 검증함으로써 노드의 무결성을 확인하고 그룹키를 갱신하며 갱신된 그룹키는 다시 노드들에게 보내져서 노드들에 의해 재검증됨으로써 클러스터 헤더가 공격받았는지 아닌지에 대한 여부를 검사한 후 안전하게 그룹키를 갱신할 수 있도록 한다. QualNet 시뮬레이터를 이용한 실험을 통해 제안한 기법이 네트워크의 보안성을 높임은 물론 오버헤드 및 에너지 소모량이 기존의 그룹키 관리 기법보다 효율적임을 보인다.

하둡 기반 빅 데이터 기법을 이용한 웹 서비스 데이터 처리 설계 및 구현 (Design and Implementation of an Efficient Web Services Data Processing Using Hadoop-Based Big Data Processing Technique)

  • 김현주
    • 한국산학기술학회논문지
    • /
    • 제16권1호
    • /
    • pp.726-734
    • /
    • 2015
  • 데이터를 구조화하여 사용하는 관계형 데이터베이스가 현재까지 데이터 관리에 가장 많이 사용되고 있다. 그러나 관계형 데이터베이스는 데이터가 증가되면 데이터를 저장하거나 조회할 때 읽기, 쓰기 연산 수행에 제약 조건이 발생되어 서비스가 느려지는 현상이 나타난다. 또 새로운 업무가 추가되면 데이터베이스 내 데이터는 증가되고 결국 이를 해결하기 위해 하드웨어의 병렬 구성, CPU, 메모리, 네트워크 등 추가적인 인프라 구성을 필요로 하게 된다. 본 논문에서는 관계형 데이터베이스의 데이터 증가로 느려지는 웹 정보서비스 개선을 위해 기존 관계형 데이터베이스의 데이터를 하둡 HDFS로 전송하고 이를 일원화하여 데이터를 재구성한 후 사용자에게 하둡 데이터 처리로 대량의 데이터를 빠르고 안전하게 추출하는 모델을 구현한다. 본 시스템 적용을 위해 웹 기반 민원시스템과 비정형 데이터 처리인 이미지 파일 저장에 본 제안시스템을 적용하였다. 적용결과 관계형 데이터베이스 시스템보다 제안시스템 데이터 처리가 0.4초 더 빠른 결과를 얻을 수 있었고 기존 관계형 데이터베이스와 같은 대량의 데이터를 처리를 빅 데이터 기법인 하둡 데이터 처리로도 웹 정보서비스를 지원이 가능하였다. 또한 하둡은 오픈소스로 제공되어 소프트웨어 구매 비용을 줄여주는 장점이 있으며 기존 관계형 데이터베이스의 데이터 증가로 효율적인 대용량 데이터 처리를 요구하는 조직에게 도움을 줄 수 있을 것이다.

고속의 최장 IP 주소 프리픽스 검색을 위한 비트-맵 트라이 (A Bit-Map Trie for the High-Speed Longest Prefix Search of IP Addresses)

  • 오승현;안종석
    • 한국정보과학회논문지:정보통신
    • /
    • 제30권2호
    • /
    • pp.282-292
    • /
    • 2003
  • 본 논문은 IPv4와 IPv6을 지원하는 라우터에서 기가비트의 속도로 포워딩 검색을 수행하는 효율적인 포워딩 테이블 구조를 제안한다. 포워딩 검색은 최장 프리픽스 일치검색, LPM(Longest Prefix Matching)의 복잡도가 포워딩 테이블 및 주소크기에 따라 증가하여 라우터 성능의 병목지점으로 알려져 있다. 포워딩 검색의 고속화를 위해 본 논문에서는 빈번한 메모리 접근을 최소화할 수 있는 BMT(Bit-Map Trie) 자료구조를 소개한다. BMT 포워딩 검색은 필요한 모든 검색연산이 캐쉬에 저장된 소형 인덱스 테이블에서만 발생한다. 포워딩 테이블의 트라이로부터 소형 인덱스 테이블을 구축하기 위해서 BMT는 차일드(child) 노드 포인터와 포워딩 테이블 엔트리에 대한 포인터를 각각 한 비트로 표현하는 비트-맵을 구성한다. 또한 IPv6와 같이 주소길이가 증가하면 트라이의 깊이가 깊어져서 전통적인 트라이 검색속도가 느려지는 문제점을 해결하기 위해서 BMT에서는 검색을 시작할 적절한 트라이의 레벨을 결정하는 이진검색 알고리즘을 사용한다. 실험 결과 BMT는 IPv4 백본 라우팅 테이블을 펜티엄-II 프로세서의 L2 캐쉬 크기인 512KB 보다 작게 압축하였으며, 최대 250ns/패킷의 검색속도를 제공하여 기존의 알려진 가장 빠른 최장 검색 알고리즘의 성능과 같은 속도를 실현하였다.

링 구조 다중프로세서 시스템에서 링 대역폭 확장을 위한 효율적인 방안 (Efficient Schemes for Scaling Ring Bandwidth in Ring-based Multiprocessor System)

  • 장병순;정성우;장성태;전주식
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권2호
    • /
    • pp.177-187
    • /
    • 2000
  • 최근 몇 년간 클리스터링 기반 다중 프로세서 시스템에서의 상호 연결망으로서의 버스의 제약을 극복하기 위한 단방향 지점간 링크를 이용한 링 구조가 제안되었다. 하지만 계속되는 프로세서의 고속화와 지역 버스 및 메모리의 고성능화로 인해 지점간 링크의 현재 표준 대역폭으로는 시스템 확장성에 한계를 보이며 이에 따라 대역폭 확장에 대한 연구가 필요하다. 본 논문에서는 클리스터링 기반 다중프로세서 시스템으로 개발된 PANDA 시스템을 기본 모델로 채택한다. 최근 대중화된 프로세서 및 지역 버스의 사양을 반영한 모의실험을 통해 현재의 지점간 링크가 전체 시스템 성능에 병목이 됨을 보여주고 두 배 이상의 대역폭 확장이 필요함을 보인다. 상호 연결망의 대역폭을 확장하기 위해, 두 배 증가된 대역폭을 지닌 새로운 링크를 개발하는 것은 과다한 설계비용과 개발시간이 요구된다. 이에 대한 대안으로 본 논문에서는 상용화되어있어 쉽게 적용 가능한 기존 IEEE 표준 대역폭을 가진 링크를 이용해 이중으로 링을 구성하는 몇 가지 방법 단순 이중 링, 트랜잭션 분리 이중 링, 방향 분리 이중 링 - 을 제시하고 모의실험을 통해 두 배 대역폭 단일 링과 더불어 각각의 방식에 대한 장단점을 분석한다.

  • PDF

잘피 서식지 모니터링을 위한 딥러닝 기반의 드론 영상 의미론적 분할 (Semantic Segmentation of Drone Imagery Using Deep Learning for Seagrass Habitat Monitoring)

  • 전의익;김성학;김병섭;박경현;최옥인
    • 대한원격탐사학회지
    • /
    • 제36권2_1호
    • /
    • pp.199-215
    • /
    • 2020
  • 잘피는 연안해역에 서식하는 해양수생관속식물로 해양생태계의 중요한 역할을 하고 있어, 주기적인 잘피 서식지의 모니터링이 이루어지고 있다. 최근 효율적인 잘피 서식지의 모니터링을 위해 고해상도의 영상 획득이 가능한 드론의 활용도가 높아지고 있다. 그리고 의미론적 분할에 있어 합성곱 신경망 기반의 딥러닝이 뛰어난 성능을 보임에 따라, 원격탐사 분야에 이를 적용한 연구가 활발하게 이루어지고 있다. 그러나 다양한 딥러닝 모델, 영상, 그리고 하이퍼파라미터에 의해 의미론적 분할의 정확도가 다르게 나타나고, 영상의 정규화와 타일과 배치 크기에서도 정형화되어 있지 않은 상태이다. 이에 따라 본 연구에서는 우수한 성능을 보여주는 딥러닝 모델을 이용하여 드론의 광학 영상에서 잘피 서식지를 분할하였다. 그리고 학습 자료의 정규화 및 타일의 크기를 중점으로 결과를 비교 및 분석하였다. 먼저 정규화와 타일, 배치 크기에 따른 결과 비교를 위해 흑백 영상을 만들고 흑백 영상을 Z-score 정규화 및 Min-Max 정규화 방법으로 변환한 영상을 사용하였다. 그리고 타일 크기를 특정 간격으로 증가시키면서 배치 크기는 메모리 크기를 최대한 사용할 수 있도록 하였다. 그 결과, Z-score 정규화가 적용된 영상이 다른 영상보다 IoU가 0.26 ~ 0.4 정도 높게 나타났다. 또한, 타일과 배치 크기에 따라 최대 0.09까지 차이가 나타나는 것을 확인하였다. 딥러닝을 이용한 의미론적 분할에 있어 정규화, 타일의 배치 크기의 변화에 따른 결과가 다르게 나타났다. 그러므로 실험을 통해 이들 요소에 대한 적합한 결정 과정이 있어야 함을 알 수 있었다.

다중 GPU 기반의 고속 삼차원 역전사 기법 (Fast Multi-GPU based 3D Backprojection Method)

  • 이병훈;이호;계희원;신영길
    • 한국멀티미디어학회논문지
    • /
    • 제12권2호
    • /
    • pp.209-218
    • /
    • 2009
  • 삼차원 역전사(3D backprojection) 기법은 수백 장의 이차원 투영영상을 가지고 대상물의 공간적인 위치 파악이 가능한 단층 영상(tomography)을 생성하기 위해 사용되는 재구성 기법이다. 재구성 기법은 단층 영상을 구성하는 결과볼륨의 모든 화소로부터 각 화소 위치에 기여할 값을 이차원 투영영상에서 계산하여 얻어오기 때문에 결과볼륨이 커지거나 투영영상의 수가 증가하게 되면 전체 계산량은 상당히 증가하게 된다. 이러한 문제를 해결하기 위해 최근 범용 그래픽스 하드웨어(graphics processing unit: GPU) 기반의 고속 삼차원 재구성 기법이 연구되었으며 상당한 성능 향상을 가져왔다. 본 논문에서는 기존의 단일 GPU 기반의 삼차원 재구성 기법을 다중 GPU기반으로 확장할 때 입력되는 투영영상 크기와 결과볼륨의 크기에 따라서 효율적으로 동작될 수 있는 두 가지 병렬 처리 구현 기법에 대해 제시하고 비교 분석한다. 제안한 병렬 처리 구현 기법은 투영영상을 입력 데이터로 간주하여 각 GPU가 모든 투영영상에 대해서 출력 데이터인 결과볼륨을 분할하여 생성하는 결과볼륨 분할생성 기법과 각 GPU가 투영영상을 분산적재하여 할당받은 입력 데이터에 대한 결과볼륨을 출력한 후 각각의 출력 결과를 CPU에서 합하는 투영영상 분산적재 기법이다. 실험 결과, 결과볼륨의 크기가 GPU에 모두 할당할 수 있는 크기인 경우에는 결과볼륨 분할생성 기법이 더 좋은 성능을 보였고, 결과볼륨의 크기가 GPU 메모리보다 큰 경우에는 투영영상 분산적재 기법이 더 유리하였다.

  • PDF

이미지 와핑을 이용한 실시간 그림자 생성 기법 (Real-Time Shadow Generation using Image Warping)

  • 강병권;임인성
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권5호
    • /
    • pp.245-256
    • /
    • 2002
  • 컴퓨터 그래픽스에서 그림자는 장면의 사실성을 높이기 위하여 매우 중요한 요소이다. 전경을 렌더링 할 때 그림자의 모양이나 위치를 정확하게 나타내는 것도 중요하지만, 실제 세계에서 흔히 볼 수 있는 면적을 가지는 광원에 의한 부드러운 그림자를 효과적으로 표현하는 것도 중요하다. 그러나 현존하는 대부분의 그림자 생성 기법들은 사실적인 그림자를 사실적인 실시간으로 생성해 내기에 어려움이 많다. 기존에 제안된 영상 기반 렌더링 기법을 이용하면 실시간으로 그림자를 생성해 내는데 유용하게 사용될 수가 있다. 하지만 이러한 방법에서는 일반적으로 그림자 지도의 크기가 지나치게 방대해지기 때문에, 텍스춰 메모리에 올리기에 무리가 따르게 되므로, 효율적인 압축기법이 필요하다는 단점이 있다. 이러한 그림자 지도의 크기와 압축의 부담으로 인해, 다양한 물체의 움직임을 표현하거나, 부드러운 그림자로의 확장에 어려움이 있을 수 있다. 이러한 점을 해결하고자, 본 논문에서는 영상 기반 렌더링 기법을 적용한 방법에 이미지 와핑 기법을 응용하여 그림자 지도의 크기를 대폭 줄일 수 있는 방법을 제안하고자 한다. 이 방법에서는 물체가 움직이는 범위와 상관없이 매우 적은 개수의 그림자 지도만으로 그림자를 만들어 낼 수 있기 때문에, 부드러운 그림자를 만들기 위한 방법으로 쉽게 적용할 수 있다. 이 논문에서 개발한 기법은 3차원 게임이나 가상 현실 등 관련 분야에서 사실적인 영상을 실시간으로 생성해 내는 데 유용하게 쓰일 수 있을 것이다.

효율적인 분산 VOD 서버를 위한 Channel Bonding 기반 M-VIA 및 인터벌 캐쉬의 활용 (Utilizing Channel Bonding-based M-n and Interval Cache on a Distributed VOD Server)

  • 정상화;오수철;윤원주;김현필;최영인
    • 정보처리학회논문지A
    • /
    • 제12A권7호
    • /
    • pp.627-636
    • /
    • 2005
  • 본 논문에서는 분산 VOD 서버의 내부 통신망에 발생하는 부하를 줄이기 위해 channel bonding 기반 M-VIA 및 인터벌 캐쉬를 적용하는 방법을 제안한다. 분산 VOD 서버의 각 노드는 클러스터상에 분산 저장된 비디오 데이터를 서버 내부 통신망을 사용하여 전송받아 사용자에게 제공한다. 이 때, 대량의 비디오 데이터가 서버 내부 통신망을 통하여 전송됨으로 서버 내부 통신망에 부하가 증가한다. 본 논문에서는 서버 내부 통신망의 부하를 감소시키기 위해서 두 가지 기법을 적용하였다. 첫째, channel bonding을 지원하는 M-VIA를 개발하여 Gigabit Ethernet기반 서버 내부 통신망에 적용하였다. M-VIA는 TCP/IP의 통신 오버헤드를 제거한 사용자 수준 통신 프로토콜로 통신에 소요되는 시간을 감소시켜준다. 이러한 M-VIA에 복수개의 네트워크 카드를 사용하여 통신이 가능하게 하는 channel bonding 기법을 적용함으로써 서버 내부 통신망 자체의 대역폭을 증가시켰다. 두번째, 인터벌 캐쉬 기법을 적용하여 원격 서버 노드에서 전송 받은 비디오 데이터를 지역 노드의 메인 메모리에 캐쉬함으로써, 서버 내부 통신망에 발생하는 통신량을 감소시켰다. 실험을 통하여 분산 VOD 서버의 성능을 측정하였으며, TCP/IP에 기반하고 인터벌 캐쉬를 지원하지 않는 기존의 분산 VOD 서버와 성능을 비교하였다. 실험결과, channel bonding 기반 M-VIA의 적용으로 약$20\%$의 성능 향상, 그리고 인터벌 캐쉬 기법을 적용하여 추가로 약 $10\%$의 성능 향상이 생겨 총 $30\%$의 성능 향상을 얻을 수 있었다.