• 제목/요약/키워드: 대량 연산

검색결과 79건 처리시간 0.023초

하둡 기반 빅 데이터 기법을 이용한 웹 서비스 데이터 처리 설계 및 구현 (Design and Implementation of an Efficient Web Services Data Processing Using Hadoop-Based Big Data Processing Technique)

  • 김현주
    • 한국산학기술학회논문지
    • /
    • 제16권1호
    • /
    • pp.726-734
    • /
    • 2015
  • 데이터를 구조화하여 사용하는 관계형 데이터베이스가 현재까지 데이터 관리에 가장 많이 사용되고 있다. 그러나 관계형 데이터베이스는 데이터가 증가되면 데이터를 저장하거나 조회할 때 읽기, 쓰기 연산 수행에 제약 조건이 발생되어 서비스가 느려지는 현상이 나타난다. 또 새로운 업무가 추가되면 데이터베이스 내 데이터는 증가되고 결국 이를 해결하기 위해 하드웨어의 병렬 구성, CPU, 메모리, 네트워크 등 추가적인 인프라 구성을 필요로 하게 된다. 본 논문에서는 관계형 데이터베이스의 데이터 증가로 느려지는 웹 정보서비스 개선을 위해 기존 관계형 데이터베이스의 데이터를 하둡 HDFS로 전송하고 이를 일원화하여 데이터를 재구성한 후 사용자에게 하둡 데이터 처리로 대량의 데이터를 빠르고 안전하게 추출하는 모델을 구현한다. 본 시스템 적용을 위해 웹 기반 민원시스템과 비정형 데이터 처리인 이미지 파일 저장에 본 제안시스템을 적용하였다. 적용결과 관계형 데이터베이스 시스템보다 제안시스템 데이터 처리가 0.4초 더 빠른 결과를 얻을 수 있었고 기존 관계형 데이터베이스와 같은 대량의 데이터를 처리를 빅 데이터 기법인 하둡 데이터 처리로도 웹 정보서비스를 지원이 가능하였다. 또한 하둡은 오픈소스로 제공되어 소프트웨어 구매 비용을 줄여주는 장점이 있으며 기존 관계형 데이터베이스의 데이터 증가로 효율적인 대용량 데이터 처리를 요구하는 조직에게 도움을 줄 수 있을 것이다.

센서 네트워크와 그리드 네트워크와의 연동을 위한 u-Healthcare 센서그리드 게이트웨이 설계 및 구현 (Design and Implementation of u-Healthcare SensorGrid Gateway for connecting Sensor Network and Grid Network)

  • 오세진;이채우
    • 전자공학회논문지CI
    • /
    • 제45권4호
    • /
    • pp.64-72
    • /
    • 2008
  • 현재 많은 연구자들이 저비용, 저 전력을 필요로 하는 센서 네트워크를 활용하여 사람의 건강 상태를 실시간으로 모니터링 할 수 있는 u-Healthcare(ubiquitous Healthcare) 시스템을 구축하는데 심혈을 기울이고 있다. u-Healthcare 시스템은 센서 네트워크로부터 수집된 대량의 생체신호를 신속히 처리 분석하여 의료진에게 전달함으로써 시간과 장소에 관계없이 환자에게 적절한 의료 서비스를 제공할 수 있다. 기존의 u-Healthcare 시스템을 통해 환자의 건강상태 모니터링이 가능하지만 수집된 생체 신호를 신속히 분석하여 의학적으로 의미 있는 결과를 도출하는 것은 아직 어려운 상황이다. 본 논문에서는 대량의 생체신호를 고속으로 연산할 수 있는 그리드 컴퓨팅 기술을 센서 네트워크와 결합하여 환자의 생체신호를 측정하여 의학적으로 의미 있는 결과를 도출하고자 한다. 서로 다른 프로토콜을 사용하는 두 네트워크의 연동을 위해 게이트웨이가 필요하며, 게이트웨이에는 효과적인 u-Healthcare서비스 제공을 위해 센서 네트워크의 효율적 관리 및 제어, 생체신호 실시간 모니터링, 그리드 네트워크와 연계된 통신 서비스 등의 기능이 포함되어야 한다. 본 논문에서는 진보된 u-Healthcare 시스템을 구축하기 위하여 센서 네트워크와 그리드 네트워크를 유연하게 연동할 수 있는 센서그리드 게이트웨이를 설계하고 구현된 결과를 제시한다.

대용량 공간 데이터를 위한 병렬 처리 기법 (A Parallel Processing Technique for Large Spatial Data)

  • 박승현;오병우
    • Spatial Information Research
    • /
    • 제23권2호
    • /
    • pp.1-9
    • /
    • 2015
  • 그래픽 처리 장치(GPU)는 내부에 대량의 산술 논리 연산 장치(ALU)를 보유하고 있다. 대량의 ALU는 병렬 처리를 위해 이용될 수 있으므로, GPU는 효율적인 데이터 처리를 제공한다. 공간 데이터를 지도상에 표현하기 위하여 지리학적 좌표가 필요하다. 좌표들은 측지경도와 측지위도의 형태로 저장된다. 데카르트 좌표계로 구성된 지도를 표현하기 위하여 측지경도와 측지위도는 국제 횡단 메르카토르 좌표계(UTM)로 전환돼야 한다. 좌표계 변환 과정과 변환된 좌표를 화면상에 표현하기 위한 렌더링 과정은 복잡한 부동 소수점 계산이 필요하다. 본 논문에서는 성능 향상을 위해 GPU를 활용한 좌표변환 과정과 렌더링 과정을 병렬적으로 처리하는 기법을 제안한다. 대용량 공간 데이터는 파일로 디스크 내에 저장된다. 대용량 공간 데이터를 효율적으로 처리하기 위하여 공간 데이터 파일들을 하나의 대용량 파일로 병합하고 Memory Mapped File 기법을 활용하여 파일에 접근하는 기법을 제안한다. 본 논문에서는 TIGER/Line 데이터를 활용하여 747,302,971개의 점으로 구성된 공간 데이터의 좌표 변환 및 렌더링 처리 과정을 GPU를 활용하여 병렬로 수행하는 연구를 진행한다. CPU를 이용하여 좌표변환 과정 결과와 렌더링 처리 과정 결과를 비교하여 속도 향상 정도에 대한 결과를 제시한다.

DeNERT: Named Entity Recognition Model using DQN and BERT

  • Yang, Sung-Min;Jeong, Ok-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.29-35
    • /
    • 2020
  • 본 논문에서는 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 최근 자연어처리 분야는 방대한 양의 말뭉치로 사전 학습된 언어 표현 모델을 활용하는 연구가 활발하다. 특히 자연어처리 분야 중 하나인 개체명인식은 대부분 지도학습 방식을 사용하는데, 충분히 많은 양의 학습 데이터 세트와 학습 연산량이 필요하다는 단점이 있다. 강화학습은 초기 데이터 없이 시행착오 경험을 통해 학습하는 방식으로 다른 기계학습 방법론보다 조금 더 사람이 학습하는 과정에 가까운 알고리즘으로 아직 자연어처리 분야에는 많이 적용되지 않은 분야이다. 아타리 게임이나 알파고 등 시뮬레이션 가능한 게임 환경에서 많이 사용된다. BERT는 대량의 말뭉치와 연산량으로 학습된 구글에서 개발한 범용 언어 모델이다. 최근 자연어 처리 연구 분야에서 높은 성능을 보이고 있는 언어 모델이며 많은 자연어처리 하위분야에서도 높은 정확도를 나타낸다. 본 논문에서는 이러한 DQN, BERT 두가지 딥러닝 모델을 이용한 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 제안하는 모델은 범용 언어 모델의 장점인 언어 표현력을 기반으로 강화학습 모델의 학습 환경을 만드는 방법으로 학습된다. 이러한 방식으로 학습된 DeNERT 모델은 적은 양의 학습 데이터세트로 더욱 빠른 추론시간과 높은 성능을 갖는 모델이다. 마지막으로 제안하는 모델의 개체명 인식 성능평가를 위해 실험을 통해서 검증한다.

성능 기반 태스크 할당을 이용한 웹 기반 병렬처리 시스템의 설계 (Design of Web-based Parallel Processing System using Performance-based Task Allocation)

  • 한연희;박찬열;정영식;황종선
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권3호
    • /
    • pp.264-276
    • /
    • 2000
  • 최근 인터넷 환경에서의 기술 향상으로 인하여 다양한 정보를 공유하고, 네트워크로 연결된 여러 시스템 자원을 이용하는 것이 용이하게 되었다. 특히, 자바의 애플릿(applet)을 이용한 코드 이동(code migration) 기술은 인터넷의 웹 환경에서 프로그램의 분산을 용이하게 하며, 그 애플릿을 수행하는 브라우저는 이동된 코드의 신뢰성을 보장해준다. 본 논문은 웹 환경에서 이동 가능 코드를 분산시키고, 대량의 연산수행을 지닌 작업을 분배하여 병렬적으로 수행시킨 뒤, 그 결과를 취합하는 웹 기반 병렬 시스템의 설계 및 구현에 관하여 기술한다. 또한, 이 시스템에 참여하는 이질적인 다수의 호스트들은 인터넷이라는 환경에서 지리적으로 떨어져 연결되어 있으므로 성능의 차이 및 가변성을 예상하기 힘들다. 그러므로, 그들 간의 성능 차이를 고려한 태스크 할당 알고리즘 및 심각한 가변성에 대한 적응력이 요구된다. 이 논문에서는 시스템의 구현에 사용될 적응성 향상 기법을 제시하고, 시스템의 작업 처리 성능 및 제안하는 알고리즘들의 효율을 나타내는 성능 평가 결과를 제시한다.

  • PDF

아파치 스파크 기반 검색엔진의 설계 및 구현 (Design and Implementation of a Search Engine based on Apache Spark)

  • 박기성;최재현;김종배;박제원
    • 한국정보통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.17-28
    • /
    • 2017
  • 최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

신경회로망을 이용한 수직형 롤러 분쇄기의 최적설계 (Optimization of Vertical Roller Mill by Using Artificial Neural Networks)

  • 이동우;조석수
    • 대한기계학회논문집A
    • /
    • 제34권7호
    • /
    • pp.813-820
    • /
    • 2010
  • 포틀랜드 시멘트용 분쇄기는 독일과 일본 등 선진국에서 도입된 고가의 대형 기계이다. 따라서 이에 대한 체계적 정비 및 보수가 원활히 진행되어야 포틀랜드 시멘트의 생산설비에 대한 안정성을 확보할 수 있다. 한편 국내에 도입된 수직형 롤러 분쇄기는 포틀랜드 시멘트의 원료인 석회석의 시간당 생산량이 5.5MN이나 되는 세계 최대 규모의 분쇄기로서 설계 수명이 $4{\times}10^{7%}$사이클 정도이나 대략 $4{\times}10^6\;{\sim}\;8{\times}10^6$ 사이클 정도에서 파괴되고 있어 계획 예방 정비에 대한 어려움이 있으며, 수직형 롤러 분쇄기의 보수비용을 절감하기 위하여 롤러 분쇄기에 대한 효과적인 재설계가 필요한 실정이다. 따라서 본 연구에서는 확률론적인 절차가 내재되어 있어 불확실성을 다룰 수 있고, 대량의 복잡한 비선형적인 관계도 단순화의 과정 없이 연관 관계를 자체 조직화할 수 있는 인간의 뇌와 가장 유사한 병렬연산모델인 신경회로망을 수직형 롤러 분쇄기에 적용하여 최적설계를 수행하였다.

De novo 시퀀스 어셈블리의 overlap 단계의 최근 연구 실험 분석 (Experimental Analysis of Recent Works on the Overlap Phase of De Novo Sequence Assembly)

  • 임지혁;김선;박근수
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.200-210
    • /
    • 2018
  • 여러 DNA 리드 시퀀스가 주어졌을 때, de novo 시퀀스 어셈블리는 레퍼런스 시퀀스 없이 하나의 시퀀스를 재조립한다. 재조립을 위해 de novo 시퀀스 어셈블리는 리드 사이의 모든 겹침을 계산하는 overlap 단계가 필요하다. Overlap 단계는 전체 연산 중 비용이 가장 많이 들기 때문에 어셈블리의 계산 성능을 좌우한다. 여러 분야에서 overlap 단계를 위한 연구가 많이 발표되고 있는데, 그 중 가장 최신의 세 연구 결과는 Readjoiner, SOF, Lim-Park 알고리즘이다. 최근 염기 분석기술의 큰 발전으로 DNA 리드 데이터 셋을 기존보다 저비용으로 대량 생산하는 것이 가능해져 DNA 리드 데이터 셋을 생성하는 여러 플랫폼들이 개발되었다. 각 플랫폼마다 생성하는 데이터 셋의 통계적 특성이 다르기 때문에 overlap 단계의 성능 평가 시 다양한 통계적 특성의 데이터 셋이 반영되어야 한다. 본 논문은 여러 통계적 특성을 가진 DNA 리드 데이터 셋을 이용하여 위의 세 알고리즘의 성능을 비교 분석한다.

실시간 통합제어를 위한 스마트 제조시스템의 새로운 최적화 알고리즘 설계 (Novel Optimal Controlling Algorithm for Real-time Integrated-control Smart Manufacturing System)

  • 이주연;김인영;정태경
    • 한국산업정보학회논문지
    • /
    • 제21권2호
    • /
    • pp.1-10
    • /
    • 2016
  • 본 논문에서는 스마트팩토리의 대량 제조 산업 중심의 실시간 통합제어 시스템과 리소스 메니지먼트를 위한 알고리즘과 수치 해석을 고려한다. 사이버 물리 시스템(CPS)상에서 전송되어지는 다양한 데이터들이 실시간으로 제어되어야 각각의 주소체계를 가진 단말과 플랫폼, 서비스로 묶여 진정한 스마트제조업이 실현될 것으로 기대하며, 기존의 연구결과로부터 새롭게 제안되어지는 최적화운용 알고리즘을 반영하여 패러미터별 증명과 자코비 연산에 의한 수치해석을 덧붙이게 된다. 최적의 운용 알고리즘을 센싱데이터에 의하여 결정을 하게 되고 이를 통한 CPS상에서 전송되는 현상을 구체적으로 제시한다. 또한 실험을 통해서 기존의 연구결과와 비교 검토함으로서 제시된 실시간 통합제어 시스템의 우수성을 검증하였다.

접근물체 선별 알고리즘 계산 효율성 향상 연구 (A study on the Computational Efficiency Improvement for the Conjunction Screening Algorithm)

  • 김형진;김해동;성재동
    • 한국항공우주학회지
    • /
    • 제40권9호
    • /
    • pp.818-826
    • /
    • 2012
  • 본 논문에서는 우주파편 충돌위험 분석 과정에 1차적으로 필요한 접근물체 선별 알고리즘의 계산 효율성 향상 방법을 제시하였다. 첫 번째 방법은 높은 연산 능력을 바탕으로 대량의 데이터를 빠르게 처리할 수 있는 GPU(Graphics Processing Unit)를 이용하는 것이고, 두 번째 방법은 접근 가능성이 없는 물체들을 최소 근접거리 계산 과정에서 제외하여 계산 수행 시간을 단축할 수 있는 원/근지점 필터(Apogee/Perigee filter)를 이용하는 것이며, 세 번째 방법은 앞서 언급한 두 가지 방법을 결합하여 이용하는 것이다. GPU만 적용하였을 경우 평균 34 배 정도 계산 효율성이 향상되었고, 원/근지점 필터만 적용하였을 때는 평균 3 배 정도 계산 효율성이 향상되었다. 마지막으로 GPU와 원/근지점 필터를 함께 적용하였을 때는 약 163 배 정도 계산 효율성이 향상됨을 확인할 수 있었다.