• 제목/요약/키워드: 실시간 분산병렬처리

검색결과 55건 처리시간 0.025초

목표물의 고속 탐지 및 인식을 위한 효율적인 신경망 구조 (Effcient Neural Network Architecture for Fat Target Detection and Recognition)

  • 원용관;백용창;이정수
    • 한국정보처리학회논문지
    • /
    • 제4권10호
    • /
    • pp.2461-2469
    • /
    • 1997
  • 목표물 탐지 및 인식은 신경망의 적용이 활발한 하나의 분야로서, 일반적인 형태인식 문제들의 요구 사항에 추가적으로 translation invariance와 실시간 처리를 요구한다. 본 논문에서는 이러한 요구 사항을 만족하는 새로운 신경망의 구조를 소개하고, 이의 효과적인 학습 방법을 설명한다. 제안된 신경망은 특징 추출 단계와 형태 인식 단계가 연속(Cascade)된 가중치 공유 신경망(Shared-weight Neural Network)을 기본으로하여 이를 확장한 형태이다. 이 신경망의 특징 추출 단계는 입력에 가중치 창(weight kernel)으로 코릴레이션 형태의 연산을 수행하며, 신경망 전체를 하나의 2차원 비선형 코릴레이션 필터로 볼 수 있다. 따라서, 신경망의 최종 출력은 목표물 위치에 첨예(peak)값을 갖는 코릴레이션 평면이다. 이 신경망이 갖는 구조는 병렬 또는 분산 처리 컴퓨터로의 구현에 매우 적합하며, 이러한 사실은 실시간 처리가 중요한 요인이 되는 문제에 적용할 수 있음을 의미한다. 목표물과 비목표물간의 숫자상 불균형으로 인하여 초래되는 오경보(false alarm) 발생의 문제를 극복하기 위한 새로운 학습 방법도 소개한다. 성능 검증을 위하여 제안된 신경망을 주차장내에서 이동하는 특정 차량의 탐지 및 인식 문제에 적용하였다. 그 결과 오경보 발생이 없었으며, 중형급 컴퓨터를 이용하여 약 190Km로 이동하는 차량의 추적이 가능한 정도의 빠른 처리 결과를 보여 주었다.

  • PDF

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

웹 서비스를 이용한 바이오 서열 정보 데이터베이스 및 통합 검색 시스템 개발 (Development of Integrated Retrieval System of the Biology Sequence Database Using Web Service)

  • 이수정;용환승
    • 정보처리학회논문지D
    • /
    • 제11D권4호
    • /
    • pp.755-764
    • /
    • 2004
  • 최근, 바이오 관련 장비, 기술들이 발전함에 따라, 바이오 관린 데이터나 그것을 제공하는 호스트들이 급속하게 증가하고 있나. 또한, 이러한 데이터들은 개발 커뮤니티들의 수만큼, 분산되고 이질적인 면을 가시고 있어서, 바이오 관련 데이터베이스의 통합과 연동기능의 세공이 중요한 문제가 되고 있다. 그러나, 현재까지 진행되고 있는 많은 통합 연구 시스템의 대부분이 링크기반, 데이터웨어하우징 구축 기반으로 하고 있어서, 데이터 스키마나 데이터의 변경시, 실시간 업데이트와 같은 문제점을 보인다. 이러한 비효율적인 면을 개선시키고자, 플랫폼. 스키마의 변화에 구애 받지 않고 서비스를 가능하게 하는 웹 서비스 기술을 이용한 통합 시스템이 제안되고 있다. 본 논문에서도 이러한 흐름에 맞추어, 웹 서비스를 이용한 바이오 서열 데이터의 데이터베이스와, 통합 검색 시스템을 개발하였다 개발된 시스템은 BSML을 포함한 다양한 포맷의 데이터로 서열정보를 제공하며, 또한 외부 데이터베이스의 검색을 병렬로 처리하여, 검색 성능을 향상시키도록 하였다.

도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발 (Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis)

  • 정인택;정규수
    • 한국산학기술학회논문지
    • /
    • 제19권3호
    • /
    • pp.669-678
    • /
    • 2018
  • 본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

Hadoop기반의 공개의료정보 빅 데이터 분석을 통한 한국여성암 검진 요인분석 서비스 (Analysis of Factors for Korean Women's Cancer Screening through Hadoop-Based Public Medical Information Big Data Analysis)

  • 박민희;조영복;김소영;박종배;박종혁
    • 한국정보통신학회논문지
    • /
    • 제22권10호
    • /
    • pp.1277-1286
    • /
    • 2018
  • 본 논문에서는 공개의료정보 빅데이터 분석을 위해 클라우드 환경에서 아파치 하둡 기반의 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하고 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함했다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 빅데이터 분석을 위해 빈도분석과 카이제곱검정을 수행하고 유의 수준 0.05를 기준으로 단변량 로지스틱 회귀분석과 모델별 의미 있는 변수들의 다변량 로지스틱 회귀분석을 시행 하였다. (p<0.05) 의미 있는 변수들을 모델별로 나누어 다변량 로지스틱 회귀 분석한 결과 Model 3으로 갈수록 적합도가 높아졌다.