• 제목/요약/키워드: Parallel computing model

검색결과 170건 처리시간 0.025초

U.K. 지구시스템모델 UM의 리눅스 클러스터 설치와 성능 평가 (An Installation and Model Assessment of the UM, U.K. Earth System Model, in a Linux Cluster)

  • 윤대옥;송형규;박성수
    • 한국지구과학회지
    • /
    • 제43권6호
    • /
    • pp.691-711
    • /
    • 2022
  • 지구 대기에 영향을 주는 거의 모든 인간활동과 자연현상을 수치적으로 담아내는 지구시스템모델은 기후 위기의 시대에 활용될 가장 진보한 과학적 도구이다. 특히 우리나라 기상청이 도입한 지구시스템모델인 Unified Model (UM)은 지구 대기 연구의 과학적 도구로써 매우 활용성이 높다. 하지만 UM은 수치 적분과 자료 저장에 방대한 자원이 필요하여 개별 연구자들은 최근까지도 기상청 슈퍼컴퓨터에만 UM을 가동하는 상황이다. 외부와 차단된 기상청 슈퍼컴퓨터만을 이용하여 모델 연구를 수행하는 것은 UM을 이용한 모형 개선과 수치 실험의 원활한 수행에 있어 효율성이 떨어진다. 본 연구는 이러한 한계점을 극복할 수 있도록 개별 연구자가 보유한 고성능 병렬 컴퓨터(리눅스 클러스터) 에서 최신 버전 UM을 원활하게 설치하여 활용할 수 있도록 UM 시스템 환경 구축 과정과 UM 모델 설치 과정을 구체적으로 제시하였다. 또한 UM이 성공적으로 설치된 리눅스 클러스터 상에서 N96L85과 N48L70의 두 가지 모형 해상도에 대하여 UM 가동 성능을 평가하였다. 256코어를 사용하였을 때, 수평으로 1.875° ×1.25° (위도×경도)와 수직으로 약 85 km까지 85층 해상도를 가진 N96L85 해상도에 대한 UM의 AMIP과 CMIP 타입 한 달 적분 실험은 각각 169분과 205분이 소요되었다. 저해상도인 3.75° ×2.5° 와 70층 N48L70 해상도에 대해 AMIP 한달 적분은 252코어를 사용하여 33분이 소요되는 적분 성능을 보였다. 또한 적분을 위해 사용된 코어의 개수에 비례하여 적분 성능이 향상되었다. 성능 평가 외에 29년 간의 장기 적분을 수행하여 과거 지상 2-m 온도와 강수 강도를 ERA5 재분석자료와 비교하였고, 해상도에 따른 차이도 정성적으로 살펴보았다. 재분석자료와 비교할 때, 공간 분포가 유사하였고, 해상도와 대기-해양 접합에 따라 모의 결과에서 차이가 나타났다. 본 연구를 통해 슈퍼컴퓨터가 아닌 개별 연구자의 고성능 리눅스 클러스터 상에서도 UM이 성공적으로 구동됨을 확인하였다.

점진적 EM 알고리즘에 의한 잠재토픽모델의 학습 속도 향상 (Accelerated Loarning of Latent Topic Models by Incremental EM Algorithm)

  • 장정호;이종우;엄재홍
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권12호
    • /
    • pp.1045-1055
    • /
    • 2007
  • 잠재토픽모델(latent topic model)은 데이타에 내재된 특징적 패턴이나 데이타 정의 자질들 간의 상호 관련성을 확률적으로 모델링하고 자동 추출하는 모델로서 최근 텍스트 문서로부터의 의미 자질 자동 추출, 이미지를 비롯한 멀티미디어 데이타 분석, 생물정보학 분야 등에서 많이 응용되고 있다. 이러한 잠재토픽모델의 대규모 데이타에 대한 적용 시 그 효과 증대를 위한 중요한 이슈 중의 하나는 모델의 효율적 학습에 관한 것이다. 본 논문에서는 대표적 잠재토픽모델 중의 하나인 PLSA (probabilistic latent semantic analysis) 기법을 대상으로 점진적 EM 알고리즘을 활용한, 기본 EM 알고리즘 기반의 기존 학습에 대한 학습속도 증진 기법을 제안한다. 점진적 EM 알고리즘은 토픽 추론 시 전체 데이타에 대한 일괄적 E-step 대신에 일부 데이타에 대한 일련의 부분적 E-step을 수행하는 특징이 있으며 이전 데이터 일부에 대한 학습 결과를 바로 다음 데이타 학습에 반영함으로써 모델 학습의 가속화를 기대할 수 있다. 또한 이론적인 측면에서 지역해로의 수렴성이 보장되고 기존 알고리즘의 큰 수정 없이 구현이 용이하다는 장점이 있다. 논문에서는 해당 알고리즘의 기본적인 응용과 더불어 실제 적용과정 상에서의 가능한 데이터 분할법들을 제시하고 모델 학습 속도 개선 면에서의 성능을 실험적으로 비교 분석한다. 실세계 뉴스 문서 데이타에 대한 실험을 통해, 제안하는 기법이 기존 PLSA 학습 기법에 비해 유의미한 수준에서 학습 속도 증진을 달성할 수 있음을 보이며 추가적으로 모델의 병렬 학습 기법과의 조합을 통한 실험 결과를 간략히 제시한다.

병렬화된 오일러 코드를 이용한 3차원 날개의 천음속 플러터 해석 (Transonic Wing Flutter Analysis Using a Parallel Euler Solver)

  • 권혁준;박수형;김경석;김종윤;이인;권장혁
    • 한국항공우주학회지
    • /
    • 제33권10호
    • /
    • pp.10-16
    • /
    • 2005
  • 본 연구에서는 3차원 시간 정확도를 가진 오일러 공탄성 해석 기법을 개발하였다. 유체-구조를 연계 시 발생할 수 있는 지연(lagging) 오차를 감소시키기 위해서 2차의 staggered 알고리즘을 적용하였다. 비정상 공력 해석과정에서 시간 정확도와 계산 시간을 줄이기 위해 사용된 병렬화된 다중격자기법(parallelized multi-grid method)과 DADI 기법을 기반으로 된 이중시간전진기법(dual-time stepping method)을 사용하였다. 오일러 공탄성 코드의 검증을 위해서 AGARD 445.6 날개 모델의 공탄성 해석을 수행하였다. 해석 결과는 실험값 및 다른 참고문헌의 해석 결과와 비교하였으며, 본 연구의 해석 결과가 다른 참고 문헌의 해석 결과들과 비교하여 상대적으로 실험값에 근접하였다.

사이버공간에서의 효과중심작전 적용방안 연구 (A study on the Application of Effects-based Operation in Cyberspace)

  • 장원구;이경호
    • 인터넷정보학회논문지
    • /
    • 제21권1호
    • /
    • pp.221-230
    • /
    • 2020
  • 전쟁 수행간 유발되는 불필요한 노력과 무의미한 희생을 줄이는 동시에 전략적인 공격으로 적 지도부의 의지에 닿을 수 있는 효과중심작전은 항공력이외의 군사력에 적용이 어려운 이유로 폐기되었다. 하지만 철저히 논리적이고 계산될 수 있는 사이버공간은 효과중심작전 수행에 적합하다고 할 수 있다. 본 논문에서는 이러한 사이버 공간에서 효과중심작전을 수행할 수 있는 방안을 연구하였다. 과거의 전쟁사례에서 드러난 효과중심작전의 한계를 극복하고 물리공간과 사이버공간의 경계가 점차 없어지는 사이버전장공간에서 효과중심작전 수행을 위한 토대를 마련하였으며 과거 사이버공격사례를 분석하여 효과중심작전을 수행할 수 있는 군사전략을 수립함으로써 사이버공간에서 효과중심작전이 수행 가능함을 증명하였다.

비가우시안 잡음 채널을 갖는 무선 센서 네트워크의 준 최적화 결정 융합에 관한 연구 (Suboptimal Decision Fusion in Wireless Sensor Networks under Non-Gaussian Noise Channels)

  • 박진태;구인수;김기선
    • 인터넷정보학회논문지
    • /
    • 제8권4호
    • /
    • pp.1-9
    • /
    • 2007
  • 본 논문에서는 무선 센서 네트워크에서 비 가우시안 채널 환경에서, 결정 융합 검출 규칙에 관한 연구를 수행하였다. 결정 융합에 대한 잡음 분포의 테일 특성이 갖는 영향을 고려하기 위하여 exponentially-tailed 분포를 사용하였다. 페이딩과 잡음 채널로 구성된 병렬 결정 융합 모델로부터 우도비율 기반 융합 규칙을 Neyman-Pearson 평가 하에서 최적화 규칙으로 고려하였으며, 이 최적화 규칙으로부터 높은 신호대 잡음비와 낮은 신호대 잡음비 근사를 통하여 몇 가지 준 최적화 규칙들을 구하였다. 또한 최소한의 사전 정보를 가지고 강인한 검파 성능을 제공하기 위하여 리미터 형태의 간략화 된 준 최적화 검출 규칙을 제안하였다. 모의실험을 통하여 결정 융합 규칙들의 성능을 비교 분석 하였으며 실험 결과들로부터 제안된 리미터 형태의 결정 융합 규칙의 강인성을 입증하였다.

  • PDF

경량화된 딥러닝 구조를 이용한 실시간 초고해상도 영상 생성 기술 (Deep Learning-based Real-Time Super-Resolution Architecture Design)

  • 안세현;강석주
    • 방송공학회논문지
    • /
    • 제26권2호
    • /
    • pp.167-174
    • /
    • 2021
  • 초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

다중 사출설비 환경에서 후가공 공정의 통합운영을 위한 컨베이어 구조 설계에 관한 연구 (Design of Conveyor Structure for Integrated Post-Process in Multi-Injection Molding Machine Environments)

  • 김기범
    • 한국산학기술학회논문지
    • /
    • 제21권5호
    • /
    • pp.22-27
    • /
    • 2020
  • 본 연구는 다수의 사출기가 병렬로 배치된 사출공장의 생산 환경에서 생산성 및 물류효율을 동시에 개선할 수 있는 방법론을 다루고자 한다. 일반적으로 사출공장의 저층부에 위치한 사출기에는 사상 등의 후가공 공정이 연속 배치되어 있고, 후가공을 담당하는 작업자 1~2명이 항시 배치되어 있다. 사출기 앞은 후가공 및 이후 공정으로의 물류 이송작업으로 인해 생산성 저하는 물론이고, 매우 복잡한 물류 흐름이 형성되어 있다. 이에 본 연구에서는 사출기마다 배치되어 있는 후가공 공정을 통합 운영하고, 통합된 후가공 공정에 사출품을 자동 이송하기 위한 컨베이어 구조를 설계하기 위한 방법론을 제안한다. 이를 위해 통합 후가공 공정으로의 투입 컨베이어 구조와 대수를 선정하기 위한 모델 및 각 사출기와 컨베이어를 연결하기 위해 최적의 조합을 찾기 위한 모델을 다룬다. 제안 방법론은 공정의 통합과 물류 방식의 재설계를 통해 생산성을 개선함과 동시에 물류 효율을 높일 수 있는 총합생산성 개선모델이다. 마지막으로 본 연구에서 제안한 방법론을 가전제품 외관에 사용되는 사출품을 생산하는 사출공장을 대상으로 적용하여, 실제 생산 환경에의 적용가능성을 확인함과 동시에 생산성 및 물류효율이 40% 이상 개선됨을 검증하였다.

GPU를 이용한 이방성 탄성 거꿀 참반사 보정의 계산가속 (Acceleration of Anisotropic Elastic Reverse-time Migration with GPUs)

  • 최형욱;설순지;변중무
    • 지구물리와물리탐사
    • /
    • 제18권2호
    • /
    • pp.74-84
    • /
    • 2015
  • 탄성 거꿀 참반사 보정(elastic reverse-time migration)을 통해 물리적으로 의미가 있는 영상을 얻기 위해서는 탄성 파동방정식(elastic wave equation)을 통해 재구성된 벡터 파동장(reconstructed vector wavefield)으로부터 P파와 S파를 분리하는 파분리 알고리듬이 필요하다. 그리고 이방성을 고려한 탄성 거꿀 참반사 보정으로의 확장을 위해서는 이방성을 고려한 탄성 모델링 알고리듬 뿐만 아니라 이방성을 고려한 파분리가 필요하다. 이방성 탄성매질에서의 파분리는 등방성 탄성매질에서 주로 이용하는 Helmholtz decomposition과는 달리 탄성매질의 수직 속도 및 이방성 계수에 따라 계산된 유사미분필터(pseudo-derivative filter)를 이용한다. 이 필터는 적용에 많은 계산이 필요하기 때문에 이 연구를 통해 많은 양의 병렬계산을 효율적으로 수행할 수 있는 GPU (Graphic Processing Unit)를 이용하여 이방성 파분리를 수행하는 알고리듬을 개발하였다. 또한 GPU를 이용해 파분리를 수행하는 알고리듬을 포함하고 MPI (Message-Passing Interface)를 이용하는 효율성 높은 이방성 탄성 거꿀 참반사 보정 알고리듬을 개발하였다. 개발된 알고리듬의 검증을 위해 Marmousi-II 탄성모델을 기초로 수직 횡등방성(vertically transversely isotropy; VTI) 탄성모델을 구축하여 수치모형 실험을 수행해 다성분 합성탄성파탐사자료를 생성하였다. 이 합성탄성파 자료에 개발된 이방성 탄성 거꿀 참반사 보정 알고리듬을 적용하여 GPU와 MPI를 효과적으로 이용한 계산속도 향상과 이방성 파분리에 의한 영상결과의 정확도 향상을 보여주었다.

Hadoop기반의 공개의료정보 빅 데이터 분석을 통한 한국여성암 검진 요인분석 서비스 (Analysis of Factors for Korean Women's Cancer Screening through Hadoop-Based Public Medical Information Big Data Analysis)

  • 박민희;조영복;김소영;박종배;박종혁
    • 한국정보통신학회논문지
    • /
    • 제22권10호
    • /
    • pp.1277-1286
    • /
    • 2018
  • 본 논문에서는 공개의료정보 빅데이터 분석을 위해 클라우드 환경에서 아파치 하둡 기반의 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하고 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함했다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 빅데이터 분석을 위해 빈도분석과 카이제곱검정을 수행하고 유의 수준 0.05를 기준으로 단변량 로지스틱 회귀분석과 모델별 의미 있는 변수들의 다변량 로지스틱 회귀분석을 시행 하였다. (p<0.05) 의미 있는 변수들을 모델별로 나누어 다변량 로지스틱 회귀 분석한 결과 Model 3으로 갈수록 적합도가 높아졌다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.