• 제목/요약/키워드: 분산 프로그래밍

검색결과 193건 처리시간 0.031초

SparkR을 이용한 R 기반 빅데이터 분석의 분산 처리 (Distributed Processing of Big Data Analysis based on R using SparkR)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.161-166
    • /
    • 2022
  • 본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.

이형 분산 컴포넌트 플랫폼간 상호 운영성 보장에 대한 연구 (A Study on the Interoperability between heterogeneous Component Platform)

  • 장연세
    • 한국컴퓨터정보학회논문지
    • /
    • 제7권4호
    • /
    • pp.40-45
    • /
    • 2002
  • 급변하는 IT 환경에서 시스템의 재사용성을 높여 라이프타임을 증가시키고 비용을 절감하기 위한 다양한 노력들이 이루어져 왔다. 구조적 프로그래밍 기법에서는 모듈에 기반한 아키텍처를 활용하여 생산성을 향상시켰다. 그러나 모듈들은 단순히 호출 빈도를 높일 뿐, 성장이나 진화를 하지 못하는 한계 상황에 직면하게되었다. 객체지향 기법은 클래스들을 상속시키거나 메소드를 재정의 함으로써 시스템의 성장과 진화를 가능케 하여 구조적 프로그래밍 기법의 한계를 극복하였다. 최근 CORBA. COM+와 EJB/J2EE 같은 분산 처리 기술과 객체 지향 기법이 융화되어 생성된 컴포넌트 아키텍처는 고도의 재사용성이나 라이프타임의 증가뿐만 아니라 플러그-앤-플레이(Plug-&-Play)도 지원한다. 그러나 이제 컴포넌트를 구축하는데 국한된 문제가 발생하는 것이 아니라 컴포넌트 플랫폼간 연동의 문제가 제기되고 있다. 본 연구에서는 이러한 문제를 해결하기 위해 이형의 컴포넌트 플랫폼간 상호 운영성 보장 방안을 제안한다.

  • PDF

Smart Message를 응용한 애드혹 네트워크와 Mobile-IP의 연동 (Using Smart Messages for Ad-hoc Network and Mobile-IP Connection)

  • 김동욱;신복덕;하경재
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (중)
    • /
    • pp.991-994
    • /
    • 2003
  • 본 논문에서는 이동 컴퓨팅 시스템 간 분산응용 프로그래밍을 위한 Smart Message(SM) 메커니즘을 이용하여, 애드혹 네트워크와 유선망과의 유동적 연결 방법을 제안한다. 네트워크연동 아키텍처에 응용되는 기술들은 애드혹 네트워크, Mobile-IP, Smart Message 아키텍처 등이 있다. 애드혹 네트워크는 라우팅 장비 없이 각각의 무선 노드들로써 구성되는 네트워크로서 각 노드들은 각기 라우팅 기능과 호스트 기능을 수행한다. Mobile-IP는 무선노드들이 유선망과의 연결을 위한 IP의 확장 프로토콜이다. 본 논문은 애드혹 네트워크 내의 일부 이동 노드가 유선망의 에이전트에 접속 할 수 없을 시에, 해당 유선망의 에이전트에 접속할 수 있는 애드혹 네트워크에 소속된 노드를 대표 노드로 지정하여, 그 대표노드를 통해 유선망에 접속하는 방안을 제시한다. 애드혹 네트워크상의 분산 애플리케이션 개발을 위한 프로그래밍 아키텍처인 SM은 본 논문에서 제안하고자 하는 유연한 라우팅을 구현하기 위해 응용된다. 또한 대표노드를 통한 간접적 접속 방안의 장단점을 전송오버헤드, 네트워킹 비용 등의 관점에서 분석하고, 최적의 유무선 네트워크 연동에 관련된 프로토타입 구현을 위한 방향을 제시한다.

  • PDF

센서 네트워크에서 위치 측정을 위한 분산 지지 벡터 머신 (Distributed Support Vector Machines for Localization on a Sensor Newtork)

  • 문상국
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.944-946
    • /
    • 2014
  • 최근 기계학습 방법을 도입하여 센서 노드에 대한 위치를 파악하는 방법이 관심을 받고 있다. 많은 기계학습 알고리즘 중, 지지벡터머신은 프로그래밍 언어로 구현하기 간편하고, 병렬로 수행이 가능하다. 본 논문에서는 파이썬 프로그래밍 언어로 지지벡터머신을 구현하고, 5대의 라즈베리파이를 사용하여 실험적인 하둡 센서 네트워크와 5개의 노드를 가진 맵리듀스 하둡 소프트웨어 프레임워크를 구성하였다. 기존 지지벡터머신 알고리즘을 분산 처리가 가능하도록 변형하여 위치 측정을 수행하였고, 다양한 파라미터를 변경해가면서 센서 네트워크를 구성하여 효율성, 자원분배, 처리속도를 비교하였다.

  • PDF

DOVE : 가상 계산 환경을 위한 분산 객체 시스템 (DOVE : A Distributed Object System for Virtual Computing Environment)

  • 김형도;우영제;류소현;정창성
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제6권2호
    • /
    • pp.120-134
    • /
    • 2000
  • 본 논문에서는 객체 지향 분산 가상 컴퓨팅 환경인 DOVE에 대하여 기술한다. DOVE는 독립적인 분산 객체들이 메소드 호출을 통하여 서로 상호 작용하는 분산 객체 모델을 기반으로 설계되었으며, 다수의 이기종 머신들로 구성된 분산 환경을 하나의 논리적인 단일 가상 컴퓨터로 사용자에게 제공함으로써 원격지에 있는 분산 객체들이 하나의 가상 컴퓨터에 존재하는 것처럼 사용할 수 있도록 한다. 또한, 병렬성, 이기종 환경, 객체 그룹, 단일한 네임 서비스, 그리고 오류 허용 등의 지원을 통하여 병렬 프로그램 개발을 위한 투명성 있고 사용이 용이한 프로그래밍 환경을 제공한다. 병렬성은 다양한 메소드 호출, 객체 그룹을 통한 다중 메소드 호출, 다중 쓰레드 구조 그리고 여러 동기화 구조를 사용함으로써 효과적으로 지원되며, 자동화된 데이타 변환 코드 생성, IDL 컴파일러를 통한 stub와 skeleton 객체 생성 그리고 객체 관리자를 통한 객체 라이프 관리와 네임 서비스를 통하여 이기종 간 호환성 문제를 해결하였으며 투명성 있고 사용이 용이한 프로그래밍 환경을 제공한다. 자치성 있는 분산 객체와 다중 레이어 구조 그리고 분산화된 네임 서비스와 객체 관리 구조를 사용함으로써 확장성과 보수성이 향상되었으며, 비동기방식의 사건 및 예외 처리 통한 오류 탐지 및 확인 기능을 제공한다.

  • PDF

교육용 프로그래밍 언어를 활용한 학습에서 학습양식에 따른 프로젝트 완성 능력의 차이 검증 (Verification of the Difference in Project Completing Abilities Depending on a Learning Style using an Educational Programming Language)

  • 장윤재;김자미;이원규
    • 컴퓨터교육학회논문지
    • /
    • 제14권1호
    • /
    • pp.1-12
    • /
    • 2011
  • 교육용 프로그래밍 언어(이하 EPL)는 많은 연구를 통해 사고를 확장하고 창의적 문제해결능력 개발에 도움이 되는 것으로 보고되었다. EPL의 다양한 적용을 통해 교육적 효과를 검증하고 있으나, EPL의 효과적인 적용에 대한 연구는 미비한 실정이다. 따라서 본 연구는 EPL의 효과적인 적용을 위해 대학교 4학년 학습자를 대상으로 학습양식에 따른 프로젝트 완성 능력의 차이를 검증하였다. 검증 결과 첫째, 정보처리방법에 따라 프로젝트 완성 능력에 유의미한 차이가 있었고, 반성적 성찰을 선호하는 학습자의 점수가 높았다. 둘째, 학습양식에 따라서는 분산자 유형 학습자의 점수가 가장 높았다. 본 연구는 EPL을 활용한 프로그래밍 학습에서 프로젝트 완성도를 높이는데 기여할 수 있는 요소 탐색을 통해 학습자들이 구현할 아이디어에 대한 반성적 성찰 활동에 대한 지도와 구체적인 계획을 통한 구현 학습이 필요함을 제안하였다.

  • PDF

분산 실시간 객체 TMO를 위한 MicroC/OS-II 실시간 스케줄러의 설계 및 구현 (Design & Implementation of MicroC/OS-II real-time scheduler for distributed real time object TMO)

  • 박지강;서한석;김정국
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.835-837
    • /
    • 2005
  • 컴퓨터 산업의 빠른 발전과 더불어 근래에는 임베디드 시스템 분야가 빠르게 성장하고 있다. 이전에 작고 단순하던 임베디드 시스템이 산업의 발전과 사용자의 다양한 요구로 운영체제의 필요성이 높아지고 운영체제하에서 관리하는 실시간 프로세스들의 크기와 복잡도가 빠르게 증가하고 있다. 본 논문에서는 분산 실시간 객체 모델인 TMO-MicroC/OS-II의 실시간 스케줄러의 설계와 구현 방법을 기술하였다. TMO-MicroC/OS-II는 $Micrium^{TM}$에서 개발한 임베디드 OS인 MicroC/OS-II에 분산실시간 객체 모델인 TMO를 적용시킨 것이다. TMO (Time-triggered Message-triggered Object)는 시간조건에 의해 구동되는 객체 내의 실시간 스레드들의 동적 맴버들로 구성되는 프로그래밍 페러다임으로 본 논문에서는 TMO모델 적용을 위한 Deadline-driven 스케줄러 구현에 대해서 기술한다.

  • PDF

SOAP 기반의 메시지 Broker 시스템 설계 및 구현 (Designing and Implementing Message Broker System based on SOAP)

  • 김용수;주경수
    • 한국멀티미디어학회논문지
    • /
    • 제6권6호
    • /
    • pp.1071-1078
    • /
    • 2003
  • SOAP(Simple Object Access Protocol)은 분산 환경에서의 정보 교환에 사용되는 분산 컴퓨팅 프로토콜로 분산 시스템간에 메시지를 전달하는 방법, 원격 프로시저 호출/응답을 처리하는 방법을 정의하고 있다 이러한 SOAP 는 텍스트 기 반 XML을 프로토콜로 사용하고 있기 때문에 하드웨어 플렛폼, 운영체제 프로그래밍언어에 독립적으로 사용할 수 있다. 메시지 Broker 시스템은 SOAP을 이용하여 기업과 기업간의 메시지전송을 담당하게 된다. 본 논문에서 SOAP을 기반으로 한 메시지 Broker 시스템을 설계 및 구현하였다. Broker 시스템을 통한 메시지 전송으로 많은 비즈니스 파트너를 통합관리 할 수 있을 것이다.

  • PDF

자바 에이젼트를 이용한 분산컴퓨팅 환경 구현 (Implementation of Distributed Computing Environment using Java Agent)

  • 서건원;이길흥
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권2호
    • /
    • pp.199-208
    • /
    • 2002
  • 컴퓨팅 환경의 변화 때문에 최근 에이젼트 기술이 주목을 받고 있다. 네트워크에 에이젼트를 분산 배치시킴으로서 서비스의 실현이 용이한 위치에서 필요한 서비스를 신속하게 제공하게 함으로서 네트워크의 효율성을 증대시킬 필요성이 점점 커지고 있다. 본 논문에서는 자바로 프로그래밍한 에이젼트를 실제 서비스의 실현이 용이한 위치에 있는 네트워크에 배치하고, 매니져에서는 에이젼트에 접속하여 서비스코드의 URL을 에이젼트에 알려주었다. 에이젼트는 해당 URL에서 서비스코드를 다운로드받아서 실행시켜 그 결과를 매니져에게 돌려주는 분산컴퓨팅 환경을 자바로 구현해본다.

  • PDF

SGI Origin 2000/Cray T3e /IBM SP2 시스템에서 병렬 분산 VHDL 시뮬레이터의 개발 (Development of Parallel Distributed VHDL Simulator on SGI Origin 2000/Cray T3e/IBM SP2 Systems)

  • 정영식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제5권2호
    • /
    • pp.196-208
    • /
    • 1999
  • 본 논문에서는 시뮬레이션 속도 향상을 위하여 VHDL(Very high speed integrated circuit Hardware Description Language)로 기술된 디지털 회로 시뮬레이션을 위한 병렬 분산 VHDL 시뮬레이터(Parallel Distributed VHDL Simulator : PDVS)를 개발한다. 개발된 프로그램을 대규모 병렬 프로그래밍 환경에서도 수행될 수 있도록 하기 위해서 표준 통신 라이브러리인 MPI(Message Passing Interface)를 이용하여 구현된다. PDVS 의 전체적인 시스템구성도, PDVS 에 사용된 시뮬레이션 프로토콜, 전역가상시간 계산 메카니즘 및 논리적 프로세스의 내부 구성요소들간의 관계와 PDVS의 제어 흐름도를 제시한다. 그리고 본 연구에서는 병렬 분산 시뮬레이션의 병렬성 정도를 분석하기 위하여 디지털 회로의 크기 변화와 처리되는 사건수(grain size)의 변화에 따른 성능 결과를 제시한다. 이 연구에서 4배크기의 디지털 회로를 적용한 경우는 프로세서를 12개 사용할 때에 8배의 속도향상을 얻었다. 그리고 처리되는 사건의 수가 200인 경우는 프로세서를 32개 사용할 때에 12배의 속도향상을 얻었다. 또한 동일한 방법을 SGI Origin 2000, Cray T3e 및 IBM SP2에 적용함으로서 그 성능의 간접적인 비교결과도 제시한다.