• 제목/요약/키워드: distributed programming

검색결과 288건 처리시간 0.025초

Lessons from constructing and operating the national ecological observatory network

  • Christopher McKay
    • Journal of Ecology and Environment
    • /
    • 제47권4호
    • /
    • pp.187-192
    • /
    • 2023
  • The United States (US) National Science Foundation's (NSF's) National Ecological Observatory Network (NEON) is a continental-scale observation facility, constructed and operated by Battelle, that collects long-term ecological data to better understand and forecast how US ecosystems are changing. All data and samples are collected using standardized methods at 81 field sites across the US and are freely and openly available through the NEON data portal, application programming interface (API), and the NEON Biorepository. NSF led a decade-long design process with the research community, including numerous workshops to inform the key features of NEON, culminating in a formal final design review with an expert panel in 2009. The NEON construction phase began in 2012 and was completed in May 2019, when the observatory began the full operations phase. Full operations are defined as all 81 NEON sites completely built and fully operational, with data being collected using instrumented and observational methods. The intent of the NSF is for NEON operations to continue over a 30-year period. Each challenge encountered, problem solved, and risk realized on NEON offers up lessons learned for constructing and operating distributed ecological data collection infrastructure and data networks. NEON's construction phase included offices, labs, towers, aquatic instrumentation, terrestrial sampling plots, permits, development and testing of the instrumentation and associated cyberinfrastructure, and the development of community-supported collection plans. Although colocation of some sites with existing research sites and use of mostly "off the shelf" instrumentation was part of the design, successful completion of the construction phase required the development of new technologies and software for collecting and processing the hundreds of samples and 5.6 billion data records a day produced across NEON. Continued operation of NEON involves reexamining the decisions made in the past and using the input of the scientific community to evolve, upgrade, and improve data collection and resiliency at the field sites. Successes to date include improvements in flexibility and resilience for aquatic infrastructure designs, improved engagement with the scientific community that uses NEON data, and enhanced methods to deal with obsolescence of the instrumentation and infrastructure across the observatory.

A Study on Efficient Executions of MPI Parallel Programs in Memory-Centric Computer Architecture

  • Lee, Je-Man;Lee, Seung-Chul;Shin, Dongha
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.1-11
    • /
    • 2020
  • 본 논문에서는 프로세서 중심 컴퓨터 구조에서 개발된 MPI 병렬 프로그램을 수정하지 않고 메모리 중심 컴퓨터 구조에서 더 효율적으로 수행시키는 기술을 제안한다. 본 연구에서 제안하는 기술은 메모리 중심 컴퓨터 구조가 가지는 빠른 대용량 공유 메모리 특징을 이용하여 MPI 표준 라이브러리 함수가 수행하는 네트워크 통신을 통한 느린 데이터 전달을 공유 메모리를 통한 빠른 데이터 전달로 대체하여 효율성을 얻는다. 본 연구에서 제안한 기술은 두 개의 프로그램에 구현되었다. 첫 번째 프로그램은 MC-MPI-LIB라고 불리는 수정된 MPI 라이브러리인데 이는 기존 MPI 표준 라이브러리 함수의 의미를 유지하면서 메모리 중심 컴퓨터 구조에서 더 효율적으로 수행한다. 두 번째 프로그램은 MC-MPI-SIM이라고 불리는 시뮬레이션 프로그램인데 이는 프로세서 중심 컴퓨터 구조 상에서 메모리 중심 컴퓨터 구조의 수행을 시뮬레이션한다. 본 논문에서 제안한 기술은 도커 가상화 상에서 구현된 분산 시스템 환경에서 개발하고 시험하였다. 다수의 MPI 병렬 프로그램을 이용하여 제안한 기술의 성능을 측정한 결과 메모리 중심 컴퓨터 구조에서 더 높은 성능으로 수행 가능함을 보였으며, 특히 통신 오버헤드 비율이 높은 MPI 병렬 프로그램의 경우 매우 높은 성능으로 수행 가능하다는 점을 확인하였다.

반응적 에이전트 프레임워크를 위한 패턴 언어 (A Pattern Language for the Reactive Agent Framework)

  • 박성운;정재민;박수용
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권3호
    • /
    • pp.317-331
    • /
    • 2004
  • 최근 몇 년간 소프트웨어 에이전트가 소프트웨어 공학의 새로운 추상화 단위로서 연구되고 있다 자율성, 적응성, 협력성 등의 속성을 갖는 에이전트는 특히 분산 시스템, 오픈 시스템, 복잡한 시스템 등의 영역에서 시스템을 구성하는 새로운 추상화 단위로서 이해되고 있다. 그러나 에이전트에 관한 개념과 특성에 관한 연구가 꾸준히 진행되고 있음에도 불구하고, 에이전트 패러다임을 위한 프로그래밍 언어의 실용화는 요원한 상태이다. 이는 에이전트가 갖는 속성이 문제 영역별로 매우 다양해서 이러한 모든 속성을 공통으로 만족시키는 구현 방법에 대한 공통된 의견이 도출되지 못하고 있기 때문이다. 이러한 현실에서 프로그래밍 언어보다 한 단계 상위 계층에 존재하는 프레임워크를 통한 에이전트 개발은 보다 현실적인 대안으로 받아들여지고 있다. 그러나 에이전트 프레임워크를 개발하기 위한 많은 기술들은 개발자간에 공유되고 있지 않아서 동일한 시행착오를 반복하는 경우가 많다. 본 논문에서는 이러한 문제의 해결책으로 객체지향 기술에서 주로 사용되는 패턴 언어를 사용함으로써, 에이전트 프레임워크 개발의 경험과 지식을 개발자간에 공유하고자 한다. 본 논문은 반응적 에이전트 프레임워크의 개발을 위한 패턴 언어를 제안하고 ATAM(1)에 기반 한 검증의 절차를 거쳤다. 이러한 간접 경험의 증가는 반복해서 발생하는 시행착오를 감소시킴으로써 개발자들이 보다 본질적인 문제에 집중할 수 있도록 도와준다. 이는 결국 고품질의 에이전트 프레임워크 개발에 기여할 것으로 기대된다.

CFE를 사용한 IDL 중간 표현 생성 (Generating Intermediate Representation of IDL Using the CFE)

  • 박찬모;송기범;홍성표;이혁;이정기;이준
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1999년도 춘계종합학술대회
    • /
    • pp.192-197
    • /
    • 1999
  • 분산 프로그램을 작성하는 프로그래머들은 시스템 통신 코드를 작성할 때 딜레마에 빠지게 된다. 코드를 직접 흑은 부분적으로 직접 작성하면 응용 프로그램의 속도는 최대화될 수 있지만, 응용 프로그램을 구현하고 유지하는데 많은 노력이 필요하게 된다. 반면에 코드를 CORBA IDL 컴파일러를 사용하여 생성하는 경우 프로그래머의 노력은 감소되지만 응용 프로그램의 수행성은 나빠진다. 그래서 우리는 CORBA IDL 컴파일러에 의해 생성된 코드를 최적화할 필요가 있다. 우리는 전형적인 프로그래밍 언어에서 사용되고 있는 기법들을 IDL 컴파일을 하는데 도입한다 우리는 IDL 컴파일의 단계를 세단계로 분리한다. 첫 번째 단계는 전단계로 IDL의 파싱 및 스코프 관리와 AST 생성을 한다. 두 번째 단계는 최적화 단계를 구현한다. 세 번째는 이것을 타켓 언어의 코드로 생성하는 단계이다. 본 논문은 첫 번째 단계에 초점을 맞춘다. 우리는 이 단계에서 AST에서 인터페이스와 메시지 표현을 분리하여 표현한다. 이것은 최적화 단계에서 분리된 최적화를 지원한다.

  • PDF

ATM/B-ISDN 기반의 원격 의료정보 시스템을 위한 멀티미디어 데이터베이스 원격 접속기능 설계 및 구현 (A Design & Implementation of Remote Access Function for A Multimedia Database of The Tele-medical System Based on ATM/B-ISDN)

  • 김호철;김영탁
    • 한국멀티미디어학회논문지
    • /
    • 제1권1호
    • /
    • pp.98-108
    • /
    • 1998
  • 멀티미디어 원격 의료 정보 시스댐에서는 멀티미디어 형태로 저장 관리되는 환자의 의료정보를 신속하게 원격 검색할 수 있어야 한다 또한, 대용량의 멀티미디어 의료정보를 효율적으로 관리하기 위한 멸티미디어 DBMS가사용되어야하며, 분산처리 환경에서의 원격 검색 기능이 구현되어야한다. 멀티미디어 원격 의료정 보 시스템과 같이 실시간 정보 전송 및 깎 정보 형태별 연결 관리가 펼요한 경우의 DB 원격 검색올 위해서는 Native ATM Service와 같이 개별 연결설정 및 QoS(Quality of Service)를 보장하는 초고속 정보 통신망이 펼요하다. 멀티미디어 DB의 원격 검색을 위해 상용 DBMS가 제공하는 API를 이용할 경우 해당 DBMS만올 지원하는 DBMS 의존적인 멸티미디어 원격 의료 정보 시스템이 되어 병원 규모 및 특성에 맞는 DBMS의 선정 및 DB 구축이 어렵게 된다. 또한, 상용 DBMS가 제공하는 TCP/IP Socket 기반의 전송 방식으로는 전송 특성이 각기 다른 멀티미디어 데이터의 개별적인 연결관리 빛 QoS 보장이 힘툴다 그러므로 본 논문에서 는 멀티미디어 원격 의료 정보 시스템을 위한 멸티미디어 DB 원격 접속 기능 구현에서 현재 상용 DBMS가 제공하지 않는 Native ATM API를 사용 한 DBMS 원격 접속 기능 구조를 제안하고, 이를 기반으로 한 원격 검색 기능을 구현 그 성능을 분석한다.

  • PDF

빅 데이터 기반의 네트워크 패킷 분석 모델 (The Model of Network Packet Analysis based on Big Data)

  • 최보민;공종환;한명묵
    • 한국지능시스템학회논문지
    • /
    • 제23권5호
    • /
    • pp.392-399
    • /
    • 2013
  • IT 기술 발달 및 정보화 시대로 인해 우리 사회 전반에 걸쳐 많은 부분이 네트워크에 대한 의존도가 상당히 커지고 있다. 이는 다양한 정보 및 서비스 획득의 용이성을 제공해 주는 이점이 있는 반면에, 네트워크 침입자들로 하여금 더 많은 취약성의 루트를 제공할 수 있는 부정적 효과도 따르고 있다. 이는 네트워크 이용과 함께 증가한 패킷의 다양한 루트를 악용하여 네트워크의 연결된 시스템에 서비스 장애나 마비를 일으키는 악의적인 위협 및 공격 또한 함께 증가하고 있음을 의미하며 이러한 문제에 대한 해결책이 시급히 필요하다. 이에 보안 분야에서는 네트워크 패킷이나 시스템 로그 등을 수집하여 이를 분석하고 이러한 위협에 대응할 수 있는 다양한 보안 솔루션을 개발하고 있으나, 기존의 분석 방식들로는 점차 방대해져가고 있는 보안 데이터들을 처리하는데 데이터 저장 공간 부족 및 이에 따른 성능 저하와 같은 여러 문제점들이 발생하고 있다. 따라서 본 논문에서는 보안 영역 분야에서도 최근 이슈가 되고 있는 빅 데이터 기술을 적용하여 이러한 문제점들을 개선하는 모델을 제안한다. 즉, 대용량 데이터 저장 기술인 NoSQL을 통해 점차 방대해져 가는 패킷데이터를 수집하고, 분산 프로그래밍모델인 맵리듀스 기반의 K-means 클러스터링을 설계하여 네트워크 침입에 대한 특징 및 패턴을 추출 할 수 있는 분석모델을 제안하고 실험을 통하여 이에 대한 우수성을 입증하였다.

자동차 탑승자 사고에서 외상계수를 이용한 구급대원의 중증도 분류 평가 (Evaluation of the Triage by Emergency Medical Technicians by Using Trauma Score for Occupant Injuries Caused by Motor Vehicle Collisions)

  • 김상철;김병우;탁양주;이상희
    • Journal of Trauma and Injury
    • /
    • 제26권3호
    • /
    • pp.89-98
    • /
    • 2013
  • Purpose: The assessment of trauma patients in the prehospital setting is difficult, but appropriate field triage is critical to the prognosis of trauma patients. We sought to evaluate the triage given by the emergency medical technicians (EMTs) using the trauma score to patients injured in motor vehicle collisions (MVCs). Methods: From June 2012 to July 2012, questionnaires were distributed to EMTs, who had transported injured patients to the study hospital. Scene records, photos of the damaged vehicle, and ambulance run sheets were used to provide physiologic, physical, and mechanistic information about the MVC. To evaluate the appropriateness of the injury assessment by EMTs, we compared their impressions with the hospital's final diagnosis within a 3 level triage system comprising both the maximum abbreviated injury scale (MAIS) and the injury severity score (ISS). Kappa (k) was calculated to evaluate the agreement between the triage by EMTs and the triage based on hospital's final diagnosis. Results: A total of 91 patients were analyzed by 31 EMTs. The percentage of males was 57.1%, the mean age was 44.5, and the mean MAIS and ISS were 2.7 and 16.6 respectively. While EMTs correctly diagnosed patient injuries to the extremities in 35.7%, and to the neck in 32.1%, pelvic injuries were missed in 80.0%. The agreement between the triage by the EMTs and the triage based on the hospital's final diagnosis was 62.6%(k=0.366) by the MAIS and 50.5%(k=0.234) by the ISS. The kappa value was higher in EMT-I than in EMT-II. Conclusion: In MVC, the assessment of injured patients by EMT-I was more appropriate, and the 3-level triage method based on the MAIS could contribute to a more accurate triage. Prospective studies to search for appropriate methods of field triage are required for programming practical education for EMTs.

u-헬스케어기반의 수면제어 및 원격모니터링 시스템 (U-healthcare Based System for Sleeping Control and Remote Monitoring)

  • 김동호;정창원;주수종
    • 인터넷정보학회논문지
    • /
    • 제8권1호
    • /
    • pp.33-45
    • /
    • 2007
  • 본 논문에서는 개폐상태를 알릴 수 있는 스위치나 센서들을 이용하여, 수면자의 수면상태를 인식할 뿐 아니라 올바른 수면상태로 제어할 수 있는 수면제어 및 원격모니터링 시스템을 제안하였고, 이 시스템을 헬스케어 수면매트에 실제 적용한 예를 보였다. 제안한 시스템은 센서를 이용한 수면상태 감지부, 센싱데이터 검출 및 송수신부, 수면상태 제어 및 모니터링부로 구성되었다. 시스템 구축을 위해 먼저, 수면상태 감지부는 접촉 방식의 개폐형식의 스위치센서를 사용하였다. 둘째, 센싱데이터 검출 및 송수신부는 임베디드 보드를 자체 개발하였으며, 실시간 데이터 추출과 수면상태 제어 및 모니터링부와는 소켓 기반의 통신이 지원된다. 그리고 세 번째 수면상태 제어 및 모니터링부에서는 입력된 센서 ID와 센싱된 데이터를 기반으로 올바른 수면자세의 유도 및 전반적인 수행상태 정보를 모니터링 하도록 하였다. 마지막으로 이들 서비스 모듈 및 그들 간의 통신구현은 실시간 객체지향형 모델인 TMO 스키마와 이들 간의 실시간 통신을 위해 분산 미들웨어로서 TMOSM을 이용하였다.

  • PDF

실시간 위치 기반 서비스를 위한 확장 SLDS 설계 및 구현 (Design and Implementation of the Extended SLDS for Real-time Location Based Services)

  • 이승원;강홍구;홍동숙;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권2호
    • /
    • pp.47-56
    • /
    • 2005
  • 최근 이동 컴퓨팅 기술과 무선 측위 기술이 급속도로 발전하고 무선 인터넷이 보편화됨에 따라 이동체의 위치 정보를 활용하는 위치 기반 서비스(LBS: Location Based Service)가 다양한 분야에서 제공되고 있다. 위치 기반 서비스를 제공하기 위해서는 이동체의 위치 정보를 주기적으로 저장하는 위치 데이타 서버가 필요하다. 기존에는 이동체의 위치 데이타를 저장하기 위해서 GIS 서버를 사용해 왔다. 하지만 GIS 서버는 정적 데이타를 기반으로 설계되었기 때문에 이동체의 위치 데이타를 저장하는데 적합하지 않다. 따라서, 본 논문에서는 이동체의 위치 데이타를 관리하기 위해 제안된 클러스터 기반 분산 컴퓨팅 구조를 갖는 GALIS(Gracefully Aging Location Information System) 아키텍처의 서브 시스템인 SLDS(Short-term Location Data Subsystem)를 확장하여 실시간 위치 기반 서비스를 위한 확장 SLDS를 설계 및 구현하였다. 확장 SLDS는 TMO(Time-triggered Message-triggered Object) 프로그래밍 기법을 이용하여 위치 데이타 처리의 실시간성을 보장하며, 이동체 데이타를 다수의 노드에 적절히 분산시킴으로써 대용량 위치 데이타를 효율적으로 관리할 수 있다. 그리고, 메인메모리에서 위치 데이타를 관리하기 때문에 검색 및 갱신 오버헤드가 적다. 또한, 실험을 통하여 확장 SLDS는 기존에 제시된 SLDS 보다 더 효율적인 저장과 부하 분산을 수행한다는 것을 확인하였다.

  • PDF

MPI 기법을 이용한 병렬 홍수침수해석 (Parallel Flood Inundation Analysis using MPI Technique)

  • 박재홍
    • 한국수자원학회논문집
    • /
    • 제47권11호
    • /
    • pp.1051-1060
    • /
    • 2014
  • 본 연구에서는 분산 메모리환경 병렬프로그래밍 모델의 표준인 MPI (Message Passing Interface) 기법과 침수해석 모형인 DHM(Diffusion Hydrodynamic Model) 모형을 연계하여 침수모형을 병렬화하고 기존의 기법으로 복잡하고 장시간의 계산시간을 요구하였던 계산에 대해 향상된 계산 성능을 구현하고자 하였다. 개발된 모형을 다양한 침수 시나리오를 바탕으로 가상유역과 실제유역에 대하여 코어 개수별로 모의함으로써 제내지 침수에 따른 침수범위 및 침수위의 추정, 및 계산시간 단축 효과를 입증 하고 병렬기법에 대한 홍수해석 분야의 적용성을 입증하고자 하였다. 본 연구에서 개발된 모형의 검증을 위하여 2차원 가상 제내지 및 실제 침수 사례에 대하여 적용하였고, 적용결과 동일한 정확도를 기준으로 계산시간 면에서 단일 코어와 비교하여 멀티코어를 사용한 경우 약 41~48%의 개선효과가 나타나는 것을 확인하였다. 본 연구에서 개발된 병렬해석 기법을 이용한 침수해석 모형은 멀티코어를 적용하여 짧은 계산시간으로 침수심, 침수구역, 홍수파 전달속도 등이 계산 가능하여, 실제 홍수 발생 시 침수지역에서의 신속한 예측 및 대처, 홍수위험지도 구축 등에 유용하게 이용될 수 있을 것으로 기대된다.