• 제목/요약/키워드: 분산 방법

검색결과 5,268건 처리시간 0.031초

쿠버네티스에서 ML 워크로드를 위한 분산 인-메모리 캐싱 방법 (Distributed In-Memory Caching Method for ML Workload in Kubernetes)

  • 윤동현;송석일
    • Journal of Platform Technology
    • /
    • 제11권4호
    • /
    • pp.71-79
    • /
    • 2023
  • 이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

  • PDF

GR-tree: 무선 센서 네트워크에서 에너지 효율적인 분산 공간색인기법 (The GR-tree: An Energy-Efficient Distributed Spatial Indexing Scheme in Wireless Sensor Networks)

  • 김민수;장인성
    • Spatial Information Research
    • /
    • 제19권5호
    • /
    • pp.63-74
    • /
    • 2011
  • 최근 특정 공간영역 내에 포함되는 센서노드들만의 센싱정보를 에너지 효율적으로 수집하는 센서 네트워크 기반 공간질의처리에 대한 관심이 증가하고 있다. 이러한 센서 네트워크 기반 공간질의처리의 가장 단순한 방법은 모든 센서노드의 위치와 센싱정보를 서버로 수집한 다음, 서버에서 공간질의를 처리하는 Centralized 방법이다. 이 방법은 간단하다는 장점은 있지만, 모든 센서노드를 접근하기 위하여 소요되는 높은 무선통신 비용으로 인하여 센서노드의 에너지 효율성이 크게 떨어지는 단점을 가지고 있다. 이러한 Centralized 방법을 보완하기 위하여 센서노드에서 분산 공간 필터링을 수행하여 센서노드 간의 무선통신 횟수를 감소시키는 In-network 기반 분산 공간색인기법들이 제안되어 왔다. 그러나, 이러한 분산 공간색인기법들은 대부분 서버에서 이용되던 기존 공간색인기법들을 센서 네트워크에 단순히 적용하였기 때문에, In-network 환경에서 공간 필터링의 효과와 센서노드들 간의 무선 라우팅을 동시에 최적화하지 못하는 단점을 가지고 있다. 이에 본 논문에서는 In-network 환경에서 공간 필터링을 최적화하면서 동시에 센서노드들 간의 라우팅을 보장할 수 있는 GR-tree의 새로운 분산 공간색인기법을 제안하고자 한다. GR-tree 방법은 R-tree와 유사하게 MBR 기반의 트리를 구성하며, 센서노드들 간의 무선 라우팅 및 공간적인 인접성을 보장하면서 MBR들 간의 겹침을 최소화할 수 있는 특징을 가지고 있다. 끝으로, GR-tree와 기존 방법들의 다양한 성능 비교 실험을 통하여 제안된 방법의 효율성을 보여주고자 한다.

Pd/C 촉매 제조 방법에 따른 Pd 금속의 특성 및 촉매 활성 (Effect of Preparation Method for Pd/C Catalysts on Pd Characterization and their Catalytic Activity)

  • 김지선;홍성수;김종화;이만식
    • 공업화학
    • /
    • 제26권5호
    • /
    • pp.575-580
    • /
    • 2015
  • 본 연구는 여러 가지 방법에 의해 제조된 Pd/C 촉매의 특성을 질소흡탈착등온선, XRD, FE-TEM 및 CO-chemisorption을 이용하여 확인하였고, 제조된 촉매의 활성을 cyclohexene의 수소화 반응을 통하여 확인하여 제조방법에 따른 촉매의 특성 변화가 촉매 활성에 미치는 영향에 대하여 연구하였다. 각각의 제조방법을 통하여 제조된 Pd/C 촉매의 FE-TEM 분석결과, 이온교환법으로 제조된 촉매의 분산 정도가 매우 우수하며, 폴리올법으로 제조된 촉매의 분산 정도가 매우 낮음을 확인하였다. CO-chemisorption 분석에 의한 분산도 결과 이온교환법, 함침법 및 폴리올법으로 제조된 촉매의 Pd 분산도가 각각 17.55, 13.82% 및 1.35%로 나타나 FE-TEM 결과와 일치함을 확인하였다. 이후 cyclohexene의 수소화반응을 통하여 제조된 촉매의 활성을 확인하였고, 이온교환법으로 제조된 촉매의 cyclohexene의 전환율이 71%로 가장 높음을 확인하였다. 이는 탄소 담지체에 담지된 Pd의 분산도가 반응 활성에 영향을 미쳐 나타난 결과임을 알 수 있었다.

다이나믹 펨토셀 네트워크에서 커버리지와 데이터 부하 균형을 고려한 기지국의 파워 조절 분산 알고리즘 (A Distributed Power Control Algorithm for Data Load Balancing with Coverage in Dynamic Femtocell Networks)

  • 신동훈;최성희
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.101-106
    • /
    • 2016
  • 셀룰러 시스템을 기반으로 하는 펨토셀 네트워크는 실내 환경에서 대용량 데이터 전송을 위한 기술로 주목 받고 있다. 본 연구에서는 다수의 펨토 기지국을 배치하여 서비스를 제공하는 실내 환경에서 커버리지 문제와 데이터 전송 부하 문제를 동시에 고려하는 기지국의 파워 조절 분산 방법을 제안한다. 사용자의 데이터 사용량은 시간과 장소에 따라 지속적으로 변화하기 때문에 기지국의 데이터 전송 부하를 효과적으로 분배하는 동적 파워 조절 방법이 요구된다. 또한, 대규모 시설에 설치되어 있는 펨토셀 네트워크 시스템을 효율적으로 운영하기 위해서는 기지국의 파워 조절을 위한 분산 알고리즘이 필요하다. 본 논문에서는 기지국 사이의 데이터 전송 부하를 효과적으로 분배하는 분산 알고리즘을 제시한다. 또한, 일부 기지국에서 발행한 장애를 대응하는 방법과 새로운 기지국을 추가하는 방법을 제시한다. 모의 실험을 통해서 제안한 알고리즘의 성능을 시험하였다.

동시발생 행렬과 하둡 분산처리를 이용한 추천시스템에 관한 연구 (A Study On Recommend System Using Co-occurrence Matrix and Hadoop Distribution Processing)

  • 김창복;정재필
    • 한국항행학회논문지
    • /
    • 제18권5호
    • /
    • pp.468-475
    • /
    • 2014
  • 추천시스템은 선호 데이터가 대형화, 컴퓨터 처리능력과 추천 알고리즘 등에 의해 실시간 추천이 어려워지고 있다. 이에 따라 추천시스템은 대형 선호데이터를 분산처리 하는 방법에 대한 연구가 활발히 진행되고 있다. 본 논문은 하둡 분산처리 플랫폼과 머하웃 기계학습 라이브러리를 이용하여, 선호데이터를 분산 처리하는 방법을 연구하였다. 추천 알고리즘은 아이템 협업필터링과 유사한 동시발생 행렬을 이용하였다. 동시발생 행렬은 하둡 클러스터의 여러 노드에서 분산처리를 할 수 있으며, 기본적으로 많은 계산량이 필요하지만, 분산처리과정에서 계산량을 줄일 수 있다. 또한, 본 논문은 동시발생 행렬처리의 분산 처리과정을 4 단계에서 3 단계로 단순화하였다. 결과로서, 맵리듀스 잡을 감소할 수 있으며, 동일한 추천 파일을 생성할 수 있었다. 또한, 하둡 의사 분산모드를 이용하여 데이터를 처리하였을 때 빠른 처리속도를 보였으며, 맵 출력 데이터가 감소되었다.

탄소 나노튜브를 이용한 나노유체의 특성 비교 연구 (A Comparative Study on Characteristics of Nanofluids Using Carbon NanoTubes)

  • 안응진;박성식;김남진
    • 한국신재생에너지학회:학술대회논문집
    • /
    • 한국신재생에너지학회 2011년도 춘계학술대회 초록집
    • /
    • pp.74.1-74.1
    • /
    • 2011
  • 탄소나노튜브는 높은 전기 전도성과 열 전도성을 가지며, 이러한 특성 때문에 21세기를 주도해 나갈 수 있는 차세대 첨단 소재로서 각광을 받고 있다. 또한 최근에는 나노공학기술의 발달로 인하여 획기적으로 높은 열전도도를 나타내는 다중벽 탄소나노튜브(Multi-walled Carbon Nanotubes, MWCNTs)의 대량 생산이 가능하게 되면서 다중벽 탄소나노튜브의 높은 열전도도 특성을 이용하여 탄소나노튜브를 기본 유체 및 기능성 유체에 안정하게 분산 시킨 후 이를 이용하고자 하는 연구가 활발히 진행되고 있으며, 탄소나노튜브를 유체에 안정하게 분산시키기 위한 방법으로는 기계적 분산법, 물리적 흡착에 의한 분산법, 화학적 개질에 의한 분산법이 있다. 따라서 본 연구에서는 이들 분산 방법과 탄소나노튜브 입자의 물성치에 따른 나노유체의 특성을 알아보기 위하여 나노유체의 열전도도와 점도 특성을 비교 분석하였다. 모든 물성치는 같지만 탄소나노튜브의 길이만 다른 두 종류의 다중벽 탄소나노튜브에 각각 계면 활성제(Sodium Dodecyl Sulfate, SDS) 100 wt%와 고분자 화합물(Polyvinyl Pyrrolidone, PVP) 300 wt%를 첨가하여 나노유체를 제조하였으며, 산화처리 된 다중벽 탄소나노튜브(Oxidized Multi-Walled Carbon Nanotubes, OMWCNTs)를 증류수에 초음파 분산하여 산화나노유체를 제조하였다. 나노유체의 열전도도는 전기 전도성 유체의 비정상 열선법(Transient Hot-wire Method)을 이용하여 측정하였고, 나노유체의 점도는 회전형 디지털 점도계를 이용하여 측정하였다. 실험 결과, 상온에서 동일 혼합비의 나노유체를 비교했을 때, 산화나노유체가 SDS 100 wt%, PVP 300 wt%를 혼합한 다른 나노유체보다 높은 열전도도 특성을 보였으며 점도 특성 또한 가장 낮은 것으로 측정되었다. 특히 상온에서 0.1vol%의 산화 CM-100 나노유체는 증류수보다 열전도도가 8.34%가 증가하였고, $10^{\circ}C$의 저온에서는 상온에서 증류수와 비교하여 측정된 열전도도 값보다 0.36%가 감소한 7.98%가 증가함을 보였다. 본 연구를 통하여 얻어진 결과는 높은 열전도도를 필요로 하는 열교환기의 작동유체나 기타 활용 분야에 대한 기초 자료로써 유용한 정보를 제공할 것이라 판단된다.

  • PDF

데이터 복제 서버를 이용한 학사 관리 시스템의 부하 분산에 관한 연구 (A Study on the Distribution of Overload in Academic Affairs Management System Using Replication Server)

  • 한광록;이승원
    • 정보처리학회논문지D
    • /
    • 제8D권5호
    • /
    • pp.605-612
    • /
    • 2001
  • 본 논문에서는 학사관리 시스템의 부하 집중 현상을 처리하기 위하여 기존의 중앙 집중형 시스템을 그대로 사용하면서 추가적으로 분산환경의 복제 서버를 구축하고 이것을 이용하는 방법을 제안한다. 데이터의 수정을 요구하지 않는 일반 조회 트랜잭션이 DML 문장의 대부분을 차지하기 때문에 각 데이터의 특성에 따라 분리된 복제서버를 구성하여 복제 서버가 수정이 필요없는 조회 트랜잭션만을 담당하게 함으로써 사용자 분산과 데이터 분산을 동시에 실행하여 실제 처리 시간을 줄일 수 있도록 하였다. 또한 기존의 집중형 시스템의 자원들을 그대로 사용할 수 있기 때문에 구현상의 편리성과 경제성을 도모 할 수 있다. 일반적으로 서버의 부하부산을 위한 방법은 크게 사용자의 프로그램이 서버전단에 서버의 부하정보를 획득하여 상대적으로 적은 부하를 가진 서버를 선택할 수 있는 클라이언트단에서의 부하분산과 응용계층 스케쥴링 기법, IP 계층 스케쥴링 기법등을 사용한 서버단에서의 부하분산이다. 본 논문의 복제서버에서는 기존의 부하분산기법에서 발생하는 단점들을 제거 또는 보완하여 시스템의 부하 집중현상을 줄일 수 있다.

  • PDF

큐브리드 샤드 분산 데이터베이스에서 집계/분석 함수의 분산 처리 시스템 개발 (Distributed Processing System for Aggregate/Analytical Functions on CUBRID Shard Distributed Databases)

  • 원지섭;강석;조선화;김진호
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권8호
    • /
    • pp.537-542
    • /
    • 2015
  • 대용량의 테이블을 수평적으로 분할하여 서로 다른 데이터베이스에 저장함으로써 데이터를 분산 저장하고 처리할 수 있는 방법을 샤딩이라 한다. 샤딩된 데이터에 대한 집계 또는 분석 함수를 적용하여 전체 결과를 얻기 위해서는 여러 곳으로 분산된 데이터에 대한 지역 결과를 통합하는 과정이 필요하다. 본 논문에서는 오픈 소스 DBMS의 하나인 큐브리드(CUBRID)의 샤딩 기술을 이용하여 분산된 부분 집계함수를 통합 처리하는 모듈을 설계하고 구현하는 방법에 대해 소개한다. 이 통합 모듈을 통해 여러 곳으로 샤딩된 데이터에 대하여 집계 및 분석 함수를 이용한 분석이 가능하도록 하였고, 단일 데이터베이스를 사용한 분석 성능과의 비교를 통해 샤드 분산 데이터베이스를 사용한 집계 계산이 효율적임을 보인다.

하천 오염물질의 2차원 혼합 해석을 위한 유관추적모형의 개발 및 적용 (Development of Streamtube Routing Model for Analysis of Two-Dimensional Pollutant Mixing in Rivers)

  • 백동해;서일원
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.88-88
    • /
    • 2020
  • 수심평균 2차원 혼합모형은 하천환경에서 다양한 용존성 오염물질의 혼합현상을 모의하기 위해 널리 활용되어왔다. 2차원 혼합모형에서 분산계수는 하천의 전단 흐름에 의해 야기되는 오염물질의 퍼짐 현상을 표현하는 중요한 인자로서 작용하기 때문에 정교한 오염물질 혼합거동을 모의하기 위해서는 적합한 분산계수를 산정하는 것이 필수적이다. 분산계수를 실험적으로 산정하는 방법으로는 크게 모멘트법과 추적법으로 나뉘며, 비정상상태의 혼합거동에 대해 종방향 및 횡방향 분산계수를 동시에 산정할 수 있는 방법은 추적법 계열의 2차원 유관추적법(2D STRP)이 유일하다. 본 연구에서는 하천에 유입된 오염물질의 2차원 혼합해석을 위한 수치모형을 개발하였으며, 개발된 모형의 수치해를 바탕으로 다양한 Peclet 수의 범위에 대해 기존연구에서 제시된 2D STRP의 적용범위 및 성능을 정량적으로 분석하였다. 분석된 정보를 바탕으로 기존 2D STRP의 한계를 극복하기 위한 개선된 2차원 유관추적법(2D STRP-i)을 개발하고, 사행하천을 모형화한 실규모 하천실험시설에서 검증하였다. 기존 2D STRP의 성능평가 결과, Peclet 수가 낮은 조건일수록 농도분포의 예측 정확도가 감소하는 경향을 보였으며, 하안 경계에 도달하는 농도가 증가할수록 부정확한 결과를 초래하는 것으로 나타났다. 본 연구에서는 기존 2D STRP의 한계를 보완하여 더욱 정확한 분산계수를 산정하고자 하안 경계면 조건을 고려한 2차원 유관추적법(2D STRP-i)을 개발하였다. 2D STRP-i는 직교-곡선좌표계 기반의 2차원 이송-분산 방정식을 바탕으로 횡방향 유속분포 및 하안 경계조건을 고려할 수 있도록 개선되었다. 2D STRP-i는 공간적으로 상이한 이송효과 및 하안경계 조건을 적절히 반영함으로써 농도분포의 예측 정확도를 개선 시키는 것으로 평가되었으며, 하안경계면에서 농도가 증가하는 구간에서 기존 2D STRP의 결과와 비교하여 더욱 정확한 농도분포 및 분산계수를 제공하는 것으로 밝혀졌다.

  • PDF

원형 기반 선박 충돌 피항 모델에 기반한 정보 교환 분산알고리즘 성능 비교 분석 (Comparison and Analysis of Information Exchange Distributed Algorithm Performance Based on a Circular-Based Ship Collision Avoidance Model)

  • 김동균
    • 한국항해항만학회지
    • /
    • 제47권6호
    • /
    • pp.401-409
    • /
    • 2023
  • 본 연구에서는 선박 간 정보 교환에 기반한 분산지역탐색 알고리즘과 분산확률탐색 알고리즘의 성능을 비교, 분석하고자 한다. 분산알고리즘은 선박 간 정보 교환을 기반으로 하여 최적의 피항 경로를 탐색할 수 있는 방법이다. 분산지역탐색알고리즘은 이웃 선박 중 비용 감소가 최대가 되는 선박만이 다음 예상 위치를 바꿀 수 있도록 해당 선박이 우선권을 가진다. 분산확률탐색알고리즘은 일정 확률로 최적이 아닌 값을 탐색할 수 있도록 하여 새로운 값을 탐색할 수 있도록 한다. 선박 간 충돌 피항 실험은 원형 기반 선박 충돌 피항 모델을 활용하였다. 실험 방법은 원형에 기반하여 원의 중심에서 같은 거리에 떨어진 선박을 2척부터 50척까지 증가시키면서 분산 지역 탐색알고리즘과 분산확률탐색알고리즘을 시뮬레이션 하였다. 실험 평가 방법은 각 알고리즘의 계산 소요 시간, 항행 거리, 메시지 교환 횟수를 비교 분석하였다. 실험 결과 DSSA는 DLSA에 비해 계산시간은 25%, 항행 거리는 88%, 메시지 교환 횟수는 84%를 기록하였다.