• 제목/요약/키워드: 분산 메모리 환경

검색결과 118건 처리시간 0.03초

운영체계 소프트웨어

  • 강석열
    • ETRI Journal
    • /
    • 제8권2호
    • /
    • pp.83-91
    • /
    • 1986
  • 컴퓨터의 많은 응용에 따라 분산처리, 실시간처리, 고장감내처리 등에 대해 운영체계의 연구가 많이 되어왔다. 본고는 한국형 전전자교환기인 TDX-1 시스팀에서 사용된 TDXOS의 실현과 그 특성에 관해 서술하였다. TDXOS는 고실시간처리(Hard real time processing)와 분산처리, 컴퓨터의 이중화, 과부하제어, 실시간 디버거(Debugger) 들을 실현하였으며 뱅크(Bank)시스팀 형태의 메모리 관리기법이 사용되었다. 특히, 소형 마이크로프로세서(Z80) 및 어셈블리 언어에 최적의 동작 환경을 제공하도록 설계되어 실시간의 효율이 최대화되었다.

  • PDF

분산 메모리 시스템에서의 SPARQL 질의 처리 (SPARQL Query Processing in Distributed In-Memory System)

  • 작바랄 바트셀렘;이완곤;김강필;박영택
    • 정보과학회 논문지
    • /
    • 제42권9호
    • /
    • pp.1109-1116
    • /
    • 2015
  • 본 논문에서는 functional 프로그래밍과 분산 메모리 환경인 Spark를 통해 SPARQL 질의문 처리의 오버헤드를 줄일 수 있는 방법을 제안한다. 최근 몇 년간 시멘팁웹의 RDF 온톨로지 데이터는 폭발적으로 증가하고 있기 때문에, 대용량 온톨로지 데이터에 대한 질의문을 효율적으로 처리할 수 있는 방법이 주요 쟁점으로 떠오르고 있다. SPARQL 질의문 처리에 대한 기존의 연구들은 하둡의 맵리듀스 프레임워크에 초점을 맞추고 있다. 그러나 하둡은 분산 파일 처리를 기반의 작업을 수행하므로 성능 저하가 발생할 수 있다. 따라서 질의문 처리 속도를 향상 시키기 위해 본 논문에서는 분산 메모리 시스템을 통해 질의문을 처리할 수 있는 방법을 제안한다. 또한 SPARQL 질의어 사이의 Binding 값을 Propagation하기 위해서 Spark의 Join방식, Functional 프로그램의 Map, Filter 방식, Spark의 캐시 기능을 활용 하는 방식을 제안하고 있다. 본 논문의 실험 결과는 다른 기법들과 비교하여 높은 성능을 얻었다. 특히 현재 가장 빠른 성능을 보이는 SPARQL 질의 엔진인 Sempala와 유사하다는 결과를 얻었다.

클라우드 분산 파일 시스템 성능 개선 및 평가 (Performance Enhancement and Evaluation of Distributed File System for Cloud)

  • 이종혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권11호
    • /
    • pp.275-280
    • /
    • 2018
  • 클라우드 환경에서 빅데이터 적재와 이후 애플리케이션을 통한 고속 처리를 위해서는 적합한 분산 파일 시스템의 선택이 요구된다. 본 논문에서는 GlusterFS 기반 쓰기 성능 향상 방법을 제안하고 클라우드 환경에서 기존 분산 파일 시스템 중 MapRFS, CephFS, GlusterFS와 성능을 비교 평가한다. 본 논문에서 제안한 쓰기 성능 향상 방법은 동기식 스토리지 복제 방식에서 사용하는 동기화 수준을 디스크에서 메모리로 변경함으로써 응답 시간을 향상 시킨다. 실험 결과는 본 논문의 제안 방법이 적용된 분산 파일 시스템이 순차 쓰기의 경우와 랜덤 쓰기와 랜덤 읽기가 혼합된 경우에서 다른 분산 파일 시스템 대비 성능이 우수함을 보인다.

마모도 평준화를 위한 File Clustering 알고리즘 (A File Clustering Algorithm for Wear-leveling)

  • 이태화;차재혁
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권1호
    • /
    • pp.51-57
    • /
    • 2013
  • 플래시 메모리 기반의 저장 장치는 고성능, 저전력, 내구성과 경량 등의 특징을 가지고 있어 기존에 사용되고 있던 저장장치를 빠르게 대체하고 있다. 플래시 메모리 기반의 저장 장치는 기존 저장장치인 블록 저장 장치로 가상화하기 위한 계층인 FTL (Flash Translation Layer) 을 가지고 있다. 가비지 컬렉션(Garbage Collection)은 FTL의 주요한 기능으로서 플래시 메모리의 수명과 성능에 큰 영향을 끼친다. 플래시 메모리의 수명은 가비지 컬렉션에 의해 발생되는 지우기의 횟수와 마모도의 영향을 받는다. 본 논문에서는 마모도 평준화 개선을 위해 File 정보를 알 수 있는 환경에서 File Clustering 알고리즘을 제시한다. File Clustering은 같은 File에서의 요청이 또다시 같이 호출 될 것을 기대하여 같은 File로부터 온 요청을 같은 블록에 할당하는 알고리즘이다. 이를 위해 FTL의 기능 중 페이지 할당 정책을 제안하였고, 최소한의 마모도 평준화를 보장하기 위해 MIN-MAX GAP을 사용하였다. 본 논문에서 제안하는 알고리즘을 검증하기 위해 TPC 벤치마크를 이용하였고 이를 통해 마모도 평준화 하지 않은 분산보다 690%이상 값이 개선되었고, 기존에 연구되던 Hot/Cold보다도 좋은 분산을 갖는 것을 보였다.

SAN 환경에서의 공유파일 시스템을 위한 광역 버퍼관리기의 설계 및 구현 (Design and Implementation of Global Buffer Manager for SAN Shared File)

  • 이경록;김은경;정병수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (A)
    • /
    • pp.79-81
    • /
    • 2002
  • 최근에는 ATM, Fast Switched LAN, Fiber Channel과 같은 고속의 네트워크의 발달로 인해 분산 환경의 네트워크 파일 시스템에서 디스크를 접근하는 속도보다 원격지 클라이언트의 메모리를 접근하는 속도가 현저하게 증가되었다. 실제로 이와 같은 고속 네트워크 환경을 기반으로 하여 각 서버와 저장 장치를 분리하여 대용량 데이터를 관리하는 SAN(Storage Area Network)과 같은 새로운 네트워크 저장 시스템이 출연하고 있다. 본 논문에서는 이와 같은 새로운 분산 네트워크 파일 저장 시스템 환경에서 필수적으로 고려되어야 하는 광역 버퍼관리기를 설계 및 구현하였다. 본 논문에서 구현된 광역 버퍼 관리기는 크게 데이터 룩업과 버퍼리스트 관리 부분으로 나누어 구성되어 있으며, 이를 위한 적절한 자죠 구조와 시스템 내에 있는 각 호스트간의 버퍼블록정보 유지를 위한 방안 및 기존 운영체제의 커널내 버퍼 관리기와 통합하는 방안을 제시한다.

  • PDF

빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법 (In-Memory Based Incremental Processing Method for Stream Query Processing in Big Data Environments)

  • 복경수;육미선;노연우;한지은;김연우;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제16권2호
    • /
    • pp.163-173
    • /
    • 2016
  • 최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산 환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

GPU 클러스터 및 타일형 디스플레이를 이용한 볼륨 데이터의 고해상도 가시화 (Visualization of Volume Dataset using GPU Cluster and Tiled Display)

  • 이중연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1395-1398
    • /
    • 2005
  • 볼륨 렌더링은 3차원이나 그 이상의 차원의 볼륨 데이터에서 의미있는 정보를 추출해 내어 직관적으로 표출하는 가시화 기법을 말하며 의료영상, 기상학, 유체역학 등 다양한 분야에서 널리 사용되고 있다. 한편, 최근 PC 하드웨어의 급격한 발전으로 과거에는 슈퍼컴퓨터에서나 가능했던 대용량 볼륨 데이터의 가시화가 일반 PC 환경에서도 가능하게 되었다. GPU의 꼭지점 및 픽셀 쉐이더의 수치 계산에 최적화된 벡터 연산으로 빠른 볼륨 가시화를 가능하게 한 것이다. 그러나 GPU의 메모리 용량의 한계로 대용량의 볼륨 데이터를 빠르게 가시화하는 것은 지금까지 어려운 문제로 남아있다. 본 논문에서는 GPU의 텍스쳐 메모리 크기보다 큰 볼륨 데이터를 여러 개의 GPU 메모리에 분산시키고 이를 꼭지점 및 픽셀 쉐이더를 이용하여 빠르게 렌더링하여 타일형 디스플레이에서 고해상도로 가시화하는 시스템을 디자인하고 구현하고자 하였다.

  • PDF

MP3 장치용 플래시 메모리의 오류 검출을 위한 음원 비교 기법 (An Audio Comparison Technique for Verifying Flash Memories Mounted on MP3 Devices)

  • 김광중;박창현
    • 전자공학회논문지CI
    • /
    • 제47권5호
    • /
    • pp.41-49
    • /
    • 2010
  • 휴대용 정보기기와 엔터테인먼트기기 등의 사용이 대중화 되면서 플래쉬 메모리의 수요도 급격히 증가하였다. 일반적으로 플래시 메모리는 장착되는 장치에 따라 다양한 형태의 오류 패턴을 가지며, 메모리 생산자들은 최종적인 생산과정에서 실제 장착되는 기기와 동일한 환경에서 전기적/물리적 테스트를 수행한다. 이 과정을 메모리의 응용기기 실장 테스트라고 하며, 여기에서 사용되는 장비를 메모리 실장기라 한다. 현재 여러 가지 종류의 실장기들이 제작되어 메모리 생산 환경에서 사용되고 있으나 대부분이 검수자의 청각이나 시각 등의 감각에 의존하여 메모리의 오류를 판단하고 있다. MP3 실장기의 경우 음원의 재생 기능을 이용하여 메모리 오류를 판단하는데 적절한 자동 검수 기법이 존재하지 않아 검수자가 실장기에서 재생되는 음원을 직접 듣고 오류를 판단한다. 이런 과정은 실장환경의 자동화에 있어 큰 걸림돌이 되고 있으며 인력 활용 측면에서도 비효율적이다. 본 논문에서는 MP3 장치용 플래시 메모리의 효과적인 오류 검증을 위한 음원 비교 기법을 제안한다. 제안하는 방법은 원본 파일과 MP3 장치에서 재생되는 샘플값의 분산을 활용함으로써 메모리 오류 발생 여부를 판단한다.

분산처리시스템에서의 효율적인 동적부하균등화 방법 (Efficient Dynamic Load Balancing on Distributed Computer Systems)

  • 김명규;채수환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (상)
    • /
    • pp.165-168
    • /
    • 2003
  • 네트워크 시스템이 발달하면서 다양한 컴퓨터들을 연결하는 클러스터링 시스템 구축이 용이해졌다. 이러한 이기종 클러스터 환경을 구축함에 있어서 노드들간의 성능 분균형으로 인한 문제가 야기되는데 본 논문에서는 Message Passing 방식을 이용한 클러스터링을 구축함에 있어서 노드들의 자원의 정보를 이용하여 메모리의 과부하를 최대한 예방하여 작업을 메모리 여유가 있는 노드로 이주시킴으로써 시스템 안정성과 자원을 균등하게 사용할 수 있도록 제안하였다. 제안한 알고리즘을 구현하기 위해서 이기종 클러스터 환경에서 MPI를 이용하여 2차원 열에너지 전도 계산과 Matrix 곱셈 프로그램을 이용하여 제안한 알고리즘과 GSS, Send 알고리즘, Weighted Factoring알고리즘들과 상대 비교를 하였다.

  • PDF

대용량 데이터 분석을 위한 이상치 제거용 분산처리 환경 (Distributed Processing Environment for Outlier Removal to Analyze Big Data)

  • 홍예진;나은희;정용환;김양우
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
    • /
    • pp.73-74
    • /
    • 2016
  • IoT 데이터는 비정형 데이터로 가공되고 분석하였을 때 비로소 가치를 갖기에 전 세계적으로 빅데이터 기술에 관심이 집중되고 있다. IoT 데이터 중 많은 부분을 차치하는 센서 데이터는 수집이 용이하고 활용범위가 넓기 때문에 여러 분야에서 사용되고 있다. 하지만 센서가 정상적으로 작동하지 못한 경우에는 실제와는 다른 값인 이상치를 포함하여 왜곡된 결과가 도출되어 활용할 수 없는 경우가 생긴다. 따라서 본 논문에서는 정확한 결과를 도출하기 위하여 수집된 원자료의 데이터를 분석하기 전에 이상치 탐지 및 제거를 하고자 한다. 또한 점점 늘어나고 있는 대용량 데이터를 신속하게 처리하기 위하여 메모리 접근방식인 스파크를 사용한 분산처리환경에서 이상치 탐지 및 제거하는 것을 제안한다. 맵리듀스 기반의 이상치 탐지 및 제거는 총 4단계로 나누어 구현하였으며 제안한 기법의 성능 평가를 위해 총 3가지 환경에서 비교하여 실험하였다. 실험을 통해 데이터의 용량이 커질수록 분산처리환경에서 스파크를 사용하여 처리하는 방식이 가장 빠를 것 이라는 결과를 얻었다.

  • PDF