• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.396-398
• /
• 2023

Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

• Journal of Platform Technology
• /
• 제11권4호
• /
• pp.71-79
• /
• 2023

이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제6권5호
• /
• pp.457-467
• /
• 2000

본 논문에서는 분산 메모리 구조를 갖는 병렬 컴퓨터 상에서 방대한 크기를 갖는 볼륨 데이터의 효과적인 가시화를 위한 병렬 광선 투사법을 제안한다. 데이터의 압축을 기반으로 하는 본 기법은 다른 프로세서의 메모리로부터 데이터를 읽기보다는 자신의 지역 메모리에 존재하는 압축된 데이터를 빠르게 복원함으로써 병렬 렌더링 성능을 향상시키는 것을 목표로 한다. 본 기법은 객체-순서와 영상-순서 탐색 알고리즘 모두의 정점을 이용하여 성능을 향상시켰다. 즉, 블록 단위의 최대-최소 팔진트리의 탐색과 각 픽셀의 불투명도 값을 동적으로 유지하는 실시간 사진트리를 응용함으로써 객체-공간과 영상-공간 각각의 응집성을 이용하였다. 본 논문에서 제안하는 압축 기반 병렬 볼륨 렌더링 방법은 렌더링 수행 중 발생하는 프로세서간의 통신을 최소화하도록 구현되었는데, 이러한 특징은 프로세서 사이의 상당히 높은 데이터 통신 비용을 감수하여야 하는 PC 및 워크스테이션의 클러스터와 같은 더욱 실용적인 분산 환경에서 매우 유용하다. 본 논문에서는 Cray T3E 병렬 컴퓨터 상에서 Visible Man 데이터를 이용하여 실험을 수행하였다.

• 한국정보처리학회논문지
• /
• 제4권11호
• /
• pp.2903-2913
• /
• 1997

본 논문은 공유 및 분산 메모리 구조를 가진 병렬 컴퓨터의 프로그래밍 환경을 지원하기 위하여 ParaC 언어를 설계하고 구현한 내용을 기술한다. ParaC 언어는 확장성 높은 병렬 컴퓨터의 시스템 자원을 사용자가 효과적으로 이용할 수 있도록 설계되었다. 이것은 C 언어에 공유 메모리 환경을 위한 병렬 구문과 동기화 구문, 그리고 분산 메모리 환경을 위한 원격 태스크 구문을 추가함으로써 이루어졌다. 언어의 구현을 위하여 C 언어로의 번역 방법을 기술하였으며, 이 방법을 사용한 번역기와 확장 구문을 위한 실행시간 라이브러리를 구현하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.1767-1769
• /
• 2010

본 논문은 그리드 혹은 클라우드 컴퓨팅환경과 같은 인터넷 기반의 대규모 분산 환경에서 데이터집약적인 작업의 실행에 있어서 확장성을 위해 필수적으로 고려되는 데이터 전송 부하를 분산시키는 기법을 논하고 있다. 우리는 다수의 메모리기반의 데이터 노드를 활용하여 분할기법(Partitioning)을 기반으로 데이터 전송 부하를 줄이고자 하며 다수의 데이터 노드에 실시간으로 최적의 데이터의 양을 공급하는 기법에 대한 이론적인 분석과 시뮬레이션을 통한 성능 검증을 포함하고 있다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2014년도 추계 종합학술대회 논문집
• /
• pp.35-36
• /
• 2014

이 논문에서는 다수 노드로 구성되는 클러스터 환경을 위한 인-메모리 이동객체 분산 색인기법을 제안한다. 제안하는 방법은 Spark Stream의 D-strem모델을 사용하여 처리율 저하등의 문제를 유할 할 수 있는 잠금 기반의 동시성 제어방법을 배제한다.

• 한국정보처리학회논문지
• /
• 제3권4호
• /
• pp.791-802
• /
• 1996

본 논문에서는 대규모 다중처리기 시스템에서 다중쓰레드를 지원하는 기법에 관하여 다룬다. 분산공유메로리에서의 주소번역표 관리, 블록 일관성 유지 방법, 그리고 블록 대치 정책에 대하여 쓰레드 프로그래밍 환경에 적합한 새로운 기법을 제안한다. 이 기법은 분산공유메모리에서 일반적으로 발생하는 문제점들인 거짓 공유, 불필요한 중복, 블록 바운싱, 그리고 주소 엘리어싱 등을 효율적으로 해결한다. 그리고 응용프 로그램의 투명성을 제공하고, 시스템의 확장과 구현 용이하도록 해주며, 다중쓰레드 환경을 사용자에서 제공한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.89-92
• /
• 2019

빅데이터 환경에서 대화형 분석 질의문을 수행하려는 요구사항이 늘어나면서 데이터 처리속도가 중요한 성능 지표가 되었다. 이에 Presto 는 많은 빅데이터 처리 엔진 중 메모리 기반으로 빠른 질의 처리가 가능하여 널리 사용되어 왔다. 하지만 메모리 처리 엔진인 Presto 도 디스크 기반의 저장소를 사용한 일부 경우에 성능 저하 현상이 보고되었다. 그래서 본 논문은 빅데이터 처리 성능 향상을 위해 Presto Memory Connector 를 사용하여 메모리 캐싱을 활용한 아키텍처를 제안한다. 그 과정에서 캐싱과 비 캐싱 환경에서 성능검증을 위한 데이터 처리 성능 실험을 수행하였고, 그 결과 향상된 성능을 제공할 수 있음을 확인하였다. 이를 통해 빅데이터 분산환경에서 캐싱을 활용하여 Presto 아키텍처를 설계하는데 근거를 제공하고자 한다.

• 한국진공학회:학술대회논문집
• /
• 한국진공학회 2014년도 제46회 동계 정기학술대회 초록집
• /
• pp.300.1-300.1
• /
• 2014

유기물 박막에 나노입자가 분포되어 있는 나노복합체를 이용한 전자 소자는 낮은 소비 전력, 낮은 공정 가격, 그리고 높은 기계적 휘어짐이 가능하기에 차세대 전자 소자로 많은 연구가 진행되고 있다. 친환경 소자를 지향하는 현대 기술에서 환경 친화적 코어-쉘 구조의 나노입자를 이용한 나노복합체는 차세대 전자 소자 중 비휘발성 메모리 소자 연구에서 뛰어난 소자 성능을 보여주고 있어 큰 관심을 받고 있으나 코어-쉘 나노입자를 이용한 비휘발성 메모리 소자의 쉘의 유무에 따른 전도도 특성 및 전하수송 메커니즘 연구는 아직 미미한 실정이다. 본 연구에서는, indium-tin-oxide가 코팅된 polyethylene terephthalate 기판 위에 CuInS2 (CIS)-ZnS 친환경 코어-쉘 나노입자가 poly (methylmethacrylate) (PMMA) 안에 분산된 박막을 이용한 비휘발성 메모리 소자를 제작하여 ZnS 쉘이 전기적 전도도에 미치는 영향을 관찰 하였다. CIS-ZnS 코어-쉘 나노입자에서 ZnS 쉘이 없어도 메모리 소자의 전류-전압 특성에서는 높은 전도도 (ON)와 낮은 전도도 (OFF) 상태가 존재하는 전류 쌍안정성 동작을 보이지만, ZnS 쉘의 유무에 따라 ON/OFF 비율 차이를 보여 전도도 특성이 다름을 관측 하였다. 반복된 전계적 스트레스에 의한 전도도 상태 유지 능력 측정을 수행하여 ZnS 쉘의 유무에 따른 소자의 전도도 안정성 능력을 관측하였다. 측정된 전기적 특성을 기반으로 PMMA 박막 안에 분산된 CIS-ZnS 코어-쉘 나노입자를 이용한 비휘발성 메모리 소자에서 ZnS 쉘의 따른 전도도 특성 및 전하수송 메커니즘 특성을 설명하였다.

• 한국정보처리학회논문지
• /
• 제7권10호
• /
• pp.3049-3054
• /
• 2000

본 논문에서는 분산공유메모리 다중프로세서 시스템에서 하드웨어 구성요소와 실행환경이 시스템의 전체 성능에 미치는 영향을 시뮬레이션을 통하여 분석한다. PARSEC[1,2]을 이용하여 분산공유메모리 다중프로세서 시스템을 실제 실행환경에 근접하게 모델링하고 그 모델링된 시스템상에 2D FFT를 가상 실행하는 방식의 시뮬레이션 결과, 일반적으로 성능분석을 할 때 성능요소로 고려하지 않느 군소 하드웨어 요소들이 시스템 구성에 따라 시스템의 전체 성능에 상당한 영향을 미침을 밝힌다. 또한 반복순환 구문의 오버헤드, 코드최적화 등 실행조건에 따른 성능의 변화도 정량적으로 분석한다.