• 제목/요약/키워드: 클러스터 컴퓨터

검색결과 494건 처리시간 0.037초

클러스터 내 분별 오류 최소화를 위한 퍼지 클러스터링 (Within-Cluster-Discriminative Fuzzy Clustering)

  • 허경용;이수종
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2013년도 제48차 하계학술발표논문집 21권2호
    • /
    • pp.269-270
    • /
    • 2013
  • 퍼지 클러스터링은 유사도가 높은 데이터 포인트들이 동일한 클러스터에 포함되도록 하는 대표적인 비교사 학습 방법 중 하나이다. 이 논문에서는 클러스터링을 분류기의 전처리 단계에서 활용할 수 있도록 클러스터 내에서 분류 오류가 최소가 될 수 있도록 클러스터를 생성할 수 있는 새로운 퍼지 클러스터링 방법을 제안한다. 제안하는 클러스터링은 특징 벡터와 함께 클래스 라벨을 활용하므로 분류기와 결합하여 사용할 경우 기존 분류기와 함께 사용할 경우 보다 우수한 성능을 기대할 수 있다.

  • PDF

맵리듀스 프레임워크의 중간 데이터가 성능에 미치는 영향에 관한 연구 (A Study on the Effects of Intermediate Data on the Performance of the MapReduce Framework)

  • 김신규;엄현상;염헌영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.130-133
    • /
    • 2012
  • 맵리듀스 프레임워크는 개발의 편의성, 높은 확장성, 결함 내성 기능을 제공하며 다양한 대용량 데이터 처리에 사용되고 있다. 또한, 최근의 데이터의 폭발적 증가는 높은 확장성을 제공하는 맵리듀스 프레임워크의 도입의 필요성을 더욱 증가시키고 있다. 이 경우 하나의 단일 클러스터에서 처리할 수 있는 계산 용량을 넘어설 수 있으며, 이를 위하여 클라우드 컴퓨팅 서비스 등에서 계산자원을 빌려오게 된다. 하지만 현재의 맵리듀스 프레임워크는 단일 클러스터 환경을 가정하고 설계되었기에 여러 개의 클러스터로 이루어진 환경에서 수행시킬 경우 전체 계산자원의 이용률이 떨어져서 투입된 자원에 비해 전체적인 성능이 낮아지는 경우가 발생하게 된다. 본 연구에서는 이의 원인이 맵과 리듀스 단계 사이에 존재하는 중간결과의 전송에 있음을 밝히고, 이의 전체 맵리듀스 프레임웍의 성능에 미치는 영향에 대하여 분석해보았다.

질의의 위치와 문맥을 반영한 클러스터 기반 재순위화 (Reranking Clusters based on Query Term Position and Context)

  • 조승현;장계훈;이경순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.471-474
    • /
    • 2010
  • 질의와 질의 주변에 나오는 어휘는 의미적으로 연관되어있다는 가정하에 질의뿐만 아니라 질의 주변에 나오는 문맥 어휘들도 가중치를 높여준다면 검색에 효율을 높일 수 있을 것이다. 본 논문에서는 질의와 질의 주변에 나오는 문맥 어휘들에게 가중치를 주어 질의 어휘의 위치 가중치를 반영한 문서를 표현하고, 위치 가중치가 반영된 문서 벡터들 사이의 유사도를 계산하여 클러스터 기반 재순위화를 하여 성능을 향상시키는 방법을 제안한다. 뉴스 집합인 TREC AP 문서를 이용하여 언어모델, 위치 가중치를 이용한 언어모델, 클러스터 기반 재순위화 모델의 비교실험을 통해 유효성을 검증한다.

스마트홈 환경에서 센서 데이터 처리율 향상을 위한 기계학습 기반 캐싱 시스템 설계 (A Study on Machine Learning-Based Caching System for Improving Sensor Data Processing in Samrt Home Environment)

  • 송진수;이필원;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.82-85
    • /
    • 2021
  • 최근 초연결화를 근간으로 한 스마트 홈 구성을 위해 스마트 홈 내부에 센서를 탑재한 디바이스가 증가하고 있으며, 이를 효과적으로 사용하기 위해 빅데이터 처리 시스템이 활발하게 도입되고 있다. 그러나 기존 빅데이터 처리 시스템은 분산노드에 할당되기 전 모든 요청이 클러스터 드라이버로 향하기 때문에 동시에 많은 요청이 발생하는 경우 분할 작업을 관리하는 클러스터 드라이버에 병목현상이 발생함에 따라 네트워크를 공유하는 클러스터 전체의 성능감소로 이어진다. 특히 작은 데이터 처리를 지속적으로 요청하는 스마트 홈 디바이스에서 지연율이 더 크게 나타난다. 이에 본 논문에서는 동시간에 빈번한 요청이 발생하는 스마트 홈 환경에서 효과적인 데이터 처리를 위한 기계학습 기반 캐싱 시스템을 설계하였다.

무선 센서 네트워크에서 백업 클러스터 헤드를 이용한 라우팅 방법 (A Routing Method Using a Backup Cluster Head in Wireless Sensor Networks)

  • 이성호;배진수;조지우;정민아;김용근;정준영;김원주;김동진;이성로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.599-601
    • /
    • 2011
  • 무선 센서 네트워크를 구성하는 센서노드들이 클러스터를 구성하고 선출된 클러스터 헤드가 클러스터 내의 센서노드들로부터 데이터를 받아서 병합한 다음, 기지국으로 데이터를 전달하는 클러스터 기반 라우팅 방법이 연구되어 왔다. 이 클러스터 기반 라우팅 방법에서 클러스터 헤드에 고장이 발생한다면, 해당 클러스터의 데이터는 기지국으로 전달할 수 없어 데이터 신뢰성에 문제가 생긴다. 이러한 문제를 해결하기 위해, 본 논문에서는 고장감내를 지원하는 클러스터 기반 라우팅 방법을 제안한다. 제안한 방법은 각 클러스터마다 백업 클러스터 헤드를 지정하여 원래의 클러스터 헤드에 고장이 발생한다면 백업 클러스터 헤드가 그 역할을 대신하도록 함으로써 데이터 전달의 신뢰성을 보장한다.

클러스터 컴퓨터를 위한 단일 I/O 공간 서비스의 구현 및 성능분석 (Implementation and Performance Analysis of Single I/O Space Service for Cluster Computers)

  • 김태규;김방현;김종현
    • 정보처리학회논문지A
    • /
    • 제13A권6호
    • /
    • pp.517-524
    • /
    • 2006
  • 클러스터 컴퓨터에 있어서 I/O 중심적인 응용을 효과적으로 처리하기 위해서는 통합 I/O 하부 구조를 지원하는 단일 I/O 공간(SIOS)이 필수적으로 구현되어야 한다. SIOS 서비스는 클러스터 컴퓨터 내의 어느 노드에서든지 자신 혹은 원격 노드에 위치한 주변기기 및 하드 디스크들을 직접 액세스할 수 있도록 전역 I/O 주소 공간을 구축해준다. 본 논문에서는 리눅스 클러스터에서 프리웨어들만을 이용하여 SIOS를 구현하는 방법을 제안하였다. 이 방법은 ENBD를 이용한 디바이스 드라이버 레벨과 S/W RAID 및 NFS를 이용한 파일 시스템 레벨에서 구현되었다. 이 방법의 주요 장점은 프리웨어들만을 이용하기 때문에 구현이 용이하고 비용이 거의 들지 않는다는 것이다. 또한 본 연구에서 사용한 프리웨어들은 공개 소스이기 때문에 다른 플랫폼에서도 약간의 수정을 통하여 적용이 가능하다는 장점이 있다. 이러한 장점을 가지면서도 실험 결과에서 나타난 I/O 처리율은 커널 수준에서 별도로 개발된 디바이스 드라이버를 사용하는 CDD보다 쓰기 동작에서는 최대 5.5배, 읽기 동작에서는 2.3배정도 더 높게 나타났다.

저사양 서버를 활용한 클러스터링 기법 구현 (Clustering Scheme Development using Low-cost Server)

  • 최효현;윤상운
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.323-324
    • /
    • 2020
  • 본 논문에서는 저사양 컴퓨터를 클러스터링하여 서버의 성능 향상에 관해 서술한다. 이 시스템은 다수의 컴퓨터를 하나의 클러스터로 연결하고 쿠버네티스를 활용하여 노드 간의 부하를 관리하여 컴퓨팅 시스템의 처리량을 최대화하고, 각 작업의 수행시간을 최소화한다. 또한, 이 시스템은 수행 중인 작업의 메모리 요구량과 각 노드의 부하 상태를 파악하여 작업을 동적으로 할당한다. 본 논문에서는 광학식 문자 판독(OCR)을 동작시키며 단독 서버 상태와 노드를 연결한 클러스터링 시스템과의 처리 속도를 비교하여 저사양 컴퓨터로도 효과적인 성능의 서버 구축을 할 수 있음을 보인다.

  • PDF

이기종 클러스터 환경에서 부하공유를 위한 Enhanced Weighted Factoring 알고리즘 (Enhanced Weighted Factoring Algorithm For Load-Sharing In Heterogeneous Clustering Systems)

  • 최인복;이재동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.355-357
    • /
    • 2002
  • 최근 인터넷이 발달하면서 인터넷 상의 다양한 컴퓨터들을 연결함으로써 이기종 클러스터 환경 구축이 용이해졌다. 이러한 이기종 클러스터 환경에서 알고리즘의 이식성을 높이기 위해서는 네트워크의 특성 및 노드의 이질성에 따른 부하 불균형에 효과적으로 적응할 수 있어야 한다 본 논문에서는 이기종 클러스터 환경에서 Message Passing 방식을 이용한 고성능 클러스터 컴퓨팅 작업 시 최적의 효율을 얻을 수 있는 Enhanced-WF 알고리즘을 제시한다 Enhanced-WF 알고리즘은 부하공유를 위하여 Weighted Factoring 알고리즘을 기반으로 적응할당정책을 적용하는 동시에 네트워크 통신시간과 계산시간을 겹치게 한다. Enhanced-WF 알고리즘의 성능을 측정하기 위해 이기종 PC클러스터 환경에서 PVM을 이용한 행렬곱셈 프로그램을 이용하였다. 그 결과, Enhanced-WF 알고리즘이 이기종 클러스터 환경에서 Send, GSS, Weighted Factoring 알고리즘과 같은 기존의 부하공유 알고리즘보다 효과적임을 보였다.

  • PDF

이기종 클러스터 시스템에서 Cilk와 MPI 특성 비교 (Comparing Cilk and MPI on a heterogeneous cluster system)

  • 이규호;김준성
    • 전자공학회논문지CI
    • /
    • 제44권4호통권316호
    • /
    • pp.21-27
    • /
    • 2007
  • 최근 수년간의 급속한 기술의 발전과 대량생산 체제의 영향으로 개인용 컴퓨터와 간단한 네트워크 장비를 이용한 클러스터 시스템 구현이 용이해졌으나 개인용 컴퓨터의 교체 주기가 짧아짐에 따라 시스템 구성을 자유롭게 할 수 있는 클러스터 시스템의 이기종화를 초래하였다. 이기종 클러스터 시스템을 이용하여 구축된 병렬처리 시스템의 경우 그 성능을 효율적으로 사용하기 위해서는 각 노드의 성능을 고려한 작업 관리가 필요하다. 본 연구에서는 이기종 클러스터 시스템에서 MPI와 Cilk 병렬처리 시스템의 특성을 성능측면에서의 speedup과 활용도측면에서의 프로그램 코드의 복잡도를 정량적으로 살펴보았다. 실험에 따르면 작은 데이터를 이용하는 경우 Cilk가, 큰 데이터를 이용하거나 정규화된 데이터 교환 형태를 갖는 경우 MPI가 더 좋은 성능을 보였으며 코드 복잡도의 경우 Cilk가 간결한 프로그래밍 스타일을 제공함을 보였다.

이기종 클러스터를 위한 수정된 GSS 알고리즘 (Modified GSS Algorithm for Heterogeneous Cluster)

  • 구본근
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2002년도 추계종합학술대회
    • /
    • pp.405-408
    • /
    • 2002
  • 클러스터는 컴퓨터 네트워크로 연결되어 있는 컴퓨터들로 구성된 비용대비 효과적인 병렬 처리 환경이다. 클러스터의 특징으로는 노드의 이기종성, 로드의 다양성, 네트워크 로프의 다양성 등이다. 이러한 특징들은 병렬 프로그램의 수행 성능에 영향을 주기 때문에 클러스터를 위한 부하 분할은 병렬 프로그램의 성능에 많은 영향을 준다. 본 논문에서는 부하 분할 알고리즘인 GSS를 수정한 aGSS 알고리즘을 제안한다. 본 논문에서 제안하는 aGSS 알고리즘에서는 각 노드가 처리할 태스크의 크기를 결정할 때 각 노드의 BogoMIPS를 이용한다. 실험 결과에 의하면 제안된 aGSS 알고리즘이 이기종으로 구성된 클러스터에서 효과적으로 부하를 분할하며, 따라서 병렬 프로그램의 수행 시간을 감소시킬 수 있다.

  • PDF