• 제목/요약/키워드: Cluster computing environment

검색결과 109건 처리시간 0.026초

슈퍼컴퓨터 최적 실행 지원을 위한 하드웨어 성능 카운터 기반 프로파일링 기법의 확장성 연구 (A Study on Scalability of Profiling Method Based on Hardware Performance Counter for Optimal Execution of Supercomputer)

  • 최지은;박근철;노승우;박찬열
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권10호
    • /
    • pp.221-230
    • /
    • 2020
  • 한정된 자원을 여러 사용자에게 공유해야하는 슈퍼컴퓨터와 같은 시스템은 응용프로그램의 실행을 최적화하는 방안이 필요하다. 이를 위해 시스템 관리자가 수행할 응용프로그램에 대한 사전 정보를 파악하는 것이 유용하다. 대부분의 고성능 컴퓨팅 시스템 운영에 있어 작업을 실행할 때 사용자로부터 실행 기간, 자원 요구사항들에 대한 정보를 제공 받거나 시스템 사용 통계 값을 사용하여 필요한 정보를 생성하는 등의 프로파일링 기술을 바탕으로 시스템 활용률을 높이는데 활용하고 있다. 본 논문의 선행연구에서는 하드웨어 성능 카운터를 이용하여 소스코드에 대한 별도의 이해 없이 응용프로그램 특성분석을 실행하고, 이 결과를 바탕으로 작업 스케줄링 알고리즘을 최적화하는 기술을 개발한 바 있다. 본 논문에서는 슈퍼컴퓨터 최적 실행지원을 위한 프로파일링 테스트베드 클러스터를 구축하고 구축한 클러스터 환경에서 하드웨어 성능 카운터를 기반으로 응용프로그램의 특성을 분석하는 프로파일링 기법의 확장성을 실험하였다. 이를 통해 응용프로그램의 문제크기를 축소하거나 프로파일링에 사용되는 노드수를 최소화하여도 개발한 하드웨어 성능 카운터 기반의 프로파일링 기법이 확장성 있게 동작하여 실제 스케줄링 최적화시에 활용될 수 있음을 보이고자 한다. 실험을 통해 프로파일링에 사용되는 노드의 수를 1/4로 줄여도 전체 노드를 사용한 프로파일링 대비 응용프로그램의 실행 시간이 1.08% 증가할 뿐 스케줄링 최적화 성능은 순차실행 대비 최대 37% 향상되었다. 또한 응용프로그램의 문제크기를 축소하여 프로파일링한 결과 프로파일링 데이터 수집 단계의 시간적 비용을 1/4배 이상 낮추면서 최대 35% 성능 향상 효과를 얻었다.

추천시스템에서 구매 패턴 예측을 위한 SOM기반 고객 특성에 의한 군집 분석 (Clustering Analysis by Customer Feature based on SOM for Predicting Purchase Pattern in Recommendation System)

  • 조영성;문송철;류근호
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권2호
    • /
    • pp.193-200
    • /
    • 2014
  • 유비쿼터스 컴퓨팅이 생활의 일부가 되어가면서 정보의 양도 급속도로 늘어나고 있으며, 이로 인해 많은 데이터 속에서 정보를 찾아내는 기술이 부각되고 있다. 고객 기반의 협력적 필터링을 이용한 고객 선호도 예측 방법에서는 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법을 사용하므로 아이템에 대한 속성을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하고 있다. 그리고 비슷한 선호도를 가진 일부 아이템의 정보를 바탕으로 하기 때문에 아이템의 속성은 무시하는 경향이 있다. 본 논문에서는 전자상거래 추천에서 구매 패턴 예측을 위한 고객 특성기반 SOM 학습을 이용한 군집 방법을 제안한다. 제안 방법은 고객의 속성 정보 기반의 유사한 속성의 데이터끼리의 클러스터링을 통해 보다 빠른 시간 내에 고객 성향에 맞는 추천이 가능한 구매 패턴의 추출이 가능하다. 성능평가를 위해 현업에서 사용하는 인터넷 화장품 아이템 쇼핑몰의 데이터를 기반으로 데이터 셋을 구성하여 기존 시스템과 비교 실험을 통해 성능을 평가하여 효용성과 타당성을 입증하였다.

통합자원관리시스템을 이용한 예약 기반의 네트워크 자원 할당 테스트베드 망 (A Reservation based Network Resource Provisioning Testbed Using the Integrated Resource Management System)

  • 임헌국;문정훈;공정욱;한장수;차영욱
    • 한국통신학회논문지
    • /
    • 제36권12B호
    • /
    • pp.1450-1458
    • /
    • 2011
  • 연구망에서 융합망이란 의료, 바이오, 항공우주, e-Science 분야 등의 응용 연구자들에게 슈퍼컴퓨터, 클러스터 등의 컴퓨팅 자원을 네트워크 자원과 동시에 동적으로 제공해 줄 수 있는 환경을 의미한다. 한국을 대표하는 연구망인 KREONET은 2008년도부터 융합망 프로젝트를 통해 다음과 같은 기술을 개발하고 있다. 먼저 이기종 네트워크 환경에서 동적으로 연결 지향형 네트워크를 구성 할 수 있는 제어평면 기술을 제공하고 있으며, 그와 더불어 사용자가 원하는 시간 때에 컴퓨팅 자원 및 네트워크 자원을 예약, 할당해 줄 수 있는 통합자원관리시스템 기술을 개발하고 있다. 본 논문에서는 개발되어진 통합자원관리시스템을 이용허여 네트워크 자원의 예약 및 할당이 가능한 테스트베드 네트워크를 소개한다. 사용자로부터 제공 되어진 예약정보를 받아 GRS와 NRM 간에, NRM와 라우터 간에 각각 GNSI, GUNI 인터페이스 메시지를 통해 네트워크 자원을 예약 할당 할 수 있다. 예약 시각의 시작시점에 NRM으로부터 GUNI 인터페이스 메시지가 각 라우터에 전달되어지고 할당된 LSP (Label Switched Path) 경로를 통해 트래픽이 전송됨을 확인하였다.

도심환경에서 위치의존 질의를 위한 방송과 캐싱 기법 (Broadcasting and Caching Schemes for Location-dependent Queries in Urban Areas)

  • 정일동;유영호;이종환;김경석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권1호
    • /
    • pp.56-70
    • /
    • 2005
  • 무선 통신 기술과 휴대형 정보 장치의 발달로 등장한 이동 컴퓨팅 환경(Mobile Computing Environment)은 사용자가 랩탑이나 PDA와 같은 휴대 가능한 장비를 이용해서 사용자의 물리적인 위치나 이동에 상관없이 무선 통신을 이용해서 서버 혹은 다른 컴퓨터의 자원과 함께 작업하는 것을 말한다. 최근 이동 컴퓨팅 환경에서 보편적인 형태가 되고 있는 위치 의존 질의(Location Dependent Query)는 위치에 의존하는 데이타를 처리하는 질의이다 위치 의존 질의는 질의의 결과를 만들어 내는 중요한 척도가 위치이다. 위치 의존 질의를 효과적으로 지원하기 위해서는 이동 호스트의 캐싱 정책과 셀을 담당하는 지구국의 브로드캐스팅 정책이 중요하다. 적절한 캐싱 정책과 브로드캐스팅 정책을 정하기 위해서는 사용자의 이동과 데이타의 공간 속성을 고려해야 한다. 도심에서는 사용자가 도로를 따라서 이동하고 데이타가 도로에 인접해서 위치한다 이런 특징을 가지는 도심에서 이동 호스트의 현재 위치에서 가장 가까운 곳은 직선 거리로 가장 가까운 곳이 아니라 이동 거리가 가장 짧은 곳이다. 따라서, 이전에 행해졌던 연구에서 사용한 직선거리는 도심에 적합하지 않다. 직선 거리(Euclidean Distance)를 사용하면 이동 호스트의 이동 거리를 계산하기 위해서 피타고라스 정리를 이용해서 비슷하게 예상할 수 있지만, 실제 이동거리는 다양한 값이 나을 수 있기 때문에 적합하지 않다 본 논문에서는 도심의 특성을 반영한 브로드캐스팅/캐싱 정책을 제안한다. 본 논문에서 제안하는 이동 호스트가 도심의 위치 정보를 효과적으로 캐싱할 수 있도록 인접한 데이터를 클러스터링해서 브로드캐스팅하여 이동 호스트의 구성 시간(setup time)을 최소화하였다. 그리고, 맨하탄거리(Manhattan Distance)를 사용해서 위치 의존 질의에서 사용하는 데이타를 캐싱하고 질의를 처리하는 방법을 제안한다. 맨하탄 거리를 이용해서 캐싱하면 도로에 인접해서 위치한 데이타를 효과적으로 캐싱할 수 있다. 또한, 거리 계산 방법으로 맨하탄 거리를 사용하면 도심에서 실제 이동 거리와 비슷한 값을 알 수 있고, 직선 거리 계산식에 비해서 계산식도 간단하기 때문에 시스템 계산량도 줄일 수 있다.

클러스터링 환경에 대한 IP 스푸핑 공격 발생시 라우팅 패턴에 기반한 단계별 서비스 암호화 모델 (A step-by-step service encryption model based on routing pattern in case of IP spoofing attacks on clustering environment)

  • 백용진;정원창;홍석원;박재흥
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권6호
    • /
    • pp.580-586
    • /
    • 2017
  • 빅데이터 서비스 환경 구축과 서비스에는 클라우드 기반의 네트워크 기슬과 정보 접근의 효율성 개선을 위한 클러스터링 기술이 함께 요구된다. 이러한 클라우드 기반의 네트워크와 클러스터링 환경은 다양하고 가치있는 정보를 실시간으로 제공 할 수 있기 때문에, 불법적인 접근을 시도하는 공격자들의 집중적이 표적이 될 수 있다. 특히 IP 스푸핑을 시도하는 공격자들은 클러스터링을 구성하고 있는 상호 신뢰 호스트들의 정보를 분석하여, 클러스터 내에 존재하는 시스템으로 직접 공격을 시도할 수 있다. 그러므로 불법적인 공격에 대한 빠른 탐지와 대응이 필요하며, 기존의 단일 시스템에서 구축하여 운용하는 보안시스템 보다 강화된 보안정책이 요구된다고 할 것이다. 본 논문은 이러한 네트워크 환경에서의 불법적인 공격 발생에 능동적인 대응 및 효율적인 정보 서비스가 가능 할 수 있도록 라우팅 패턴 변화를 추적하여 탐지 정보로 활용하였다. 아울러 탐지 과정에서 발생하는 라우팅 정보에 기반한 단계별 암호화를 통하여 재설정을 위한 잦은 정보 서비스의 단절이 발생하지 않으면서 안정적인 서비스 정보의 관리가 가능하도록 하였다.

빅 데이터를 이용한 소셜 미디어 분석 기법의 활용 (Utilization of Social Media Analysis using Big Data)

  • 이병엽;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권2호
    • /
    • pp.211-219
    • /
    • 2013
  • 빅 데이터를 활용한 분석 방법은 빅 데이터를 처리 할 수 있는 기술 기반으로 발전되어 오고 있다. 많은 IT 리서치 기관들이 빅 데이터를 통한 새로운 분석의 패러다임을 예견하고 있고, 또한 IT 벤더들을 중심으로 빅 데이터 처리를 위한 표준 기술들을 제시하고 있다. 빅 데이터는 IT 기기 및 환경의 발달과도 상호연관적이고 소셜 미디어를 주측으로 기존에 예측하지 못하는 비정형화된 데이터들을 정형화 하여, 이에 따른 다양한 분석, 예측 및 최적화에 초점이 맞추어 발달 하고 있다. 과거의 분석 기법은 정형화된 데이터를 기반으로 데이터 마이닝, OLAP, 통계 분석등을 통한 의사결정 도구로서 사용되어 왔다. 하지만 최근 빅데이터를 이용한 새로운 분석의 패러다임을 통해 분석기법의 다양화, 비정형 데이터 분석 등 새로운 형태의 기반 기술발전과 다양한 형태의 데이터를 통한 새로운 분석을 통해 통찰력을 높일 수 있다. 더욱이 고성능의 컴퓨팅 환경들의 발달과 표준화된 대용량 데이터 처리 기술 발달이 향후 조금 더 다양한 형태의 분석패턴을 만들어 갈 것이다. 따라서 본 논문은 빅 데이터를 통해 분석 가능한 다양한 기법을 알아보고, 기존의 데이터 마이닝 분석 기법을 통한 소셜 미디어의 분석 형태에 대한 활용 및 분석방안을 제시 하였다.

도로 네트워크를 따른 교통사고 핫스팟의 시각화 (A Visualization of Traffic Accidents Hotspot along the Road Network)

  • 조나혜;전철민;강영옥
    • 지적과 국토정보
    • /
    • 제48권1호
    • /
    • pp.201-213
    • /
    • 2018
  • 최근 우리나라의 경우 교통사고 예방활동으로 자동차 보유에 따른 교통사고 발생건수는 지속적으로 감소하고 있지만, 서울의 경우 다른 지역에 비해 자동차 1만대 대비 사고 건수는 전국에서 광주와 함께 가장 높게 나타나고 있다. 인적 재난인 교통사고를 예방하기 위한 다양한 연구들이 진행되어 왔다. 특히 교통사고에 대한 공간적 분석을 연구한 초기 연구들은 교통사고 클러스터 지역을 확인하기 위해 행정구역 별 교통사고 건수를 집계하거나, 커널밀도 방법을 통해 밀도를 추정하여 분석하는 경우가 다수를 이루었다. 그러나 교통사고는 도로를 따라 발생하는 사건이기 때문에 도로상에서 교통사고 다발구간을 찾는 것이 더 의미가 있을 수 있다. 따라서 본 연구는 도로 네트워크를 따라 교통사고 집중 지역을 찾고자 하였다. 본 연구에서는 2가지 방법으로 교통사고를 가장 가까운 도로 네트워크에 할당한 뒤, Getis-Ord $Gi^*$에 의한 핫스팟 분석을 통해 교통사고 다발구간을 분석하였다. 하나는 10m 단위의 일정한 도로 링크를 중심으로 분석을 수행하였으며, 다른 하나는 도로구간별 단위 길이 당 평균 교통사고를 계산하여 교통사고 밀집구간을 분석하였다. 첫 번째 방법에 의한 분석 결과 교통사고가 집중되는 특정 도로 구간을 명확하게 확인할 수 있는 반면, 두 번째 방법에 의한 분석 결과 도로링크의 특성에 따라 교통사고 집중지역이 길게 나타나는 특징을 확인할 수 있었다. 두 방법에 의한 교통사고 다발구간이 다르게 나타나는 것을 알 수 있으며, 향후 해당 지역의 교통환경을 분석하고 개선하기 위해서는 보다 명확한 구간을 파악하는 것이 유의미할 수 있다.

클러스터 기반 컨테이너 환경에서 실시간 GPU 작업 모니터링 및 컨테이너 배치를 위한 노드 리스트 관리기법 (Real-Time GPU Task Monitoring and Node List Management Techniques for Container Deployment in a Cluster-Based Container Environment)

  • 강지훈;길준민
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권11호
    • /
    • pp.381-394
    • /
    • 2022
  • 최근 인터넷 기반 서비스는 데이터의 개인화 및 맞춤화로 인해 사용자의 상황이나 요구사항에 따라 즉시 처리해야 하는 실시간 AI 추론 및 데이터 분석과 같은 실시간 처리에 대한 요구사항이 증가하고 있다. 실시간 작업은 각 작업이 시작되고 결과를 반환하기까지의 데드라인이 정해져 있으며, 데드라인의 보장은 서비스의 품질과 직접적으로 연결된다. 하지만, 기존 컨테이너 시스템에서는 컨테이너에서 실행되는 작업의 데드라인을 할당하고 관리하기 위한 기능이 제공되지 않기 때문에 실시간 작업을 운용하는데 제한적이다. 또한, AI 추론 및 데이터 분석과 같은 작업은 GPU(Graphic Processing Unit)를 기본적으로 사용하는데, 일반적으로 GPU 자원은 컨테이너 사이에 성능 격리가 제공되지 않기 때문에 서로 성능 영향을 미치며, 노드의 자원 사용량만으로는 각 컨테이너의 데드라인 보장률이나 새로운 실시간 컨테이너의 배치 여부를 결정할 수 없다. 따라서, 본 논문에서는 컨테이너에서 실행되는 GPU 작업의 실시간 처리를 지원하기 위해 컨테이너의 데드라인 및 실시간 GPU 작업의 실행 상태를 추적하고 관리하기 위한 모니터링 기법과 클러스터 환경에서 실시간 GPU 작업을 실행하는 컨테이너가 데드라인을 보장할 수 있도록 적절한 노드에 배치하기 위한 노드 리스트 관리기법을 제안한다. 또한, 실험을 통해 제안하는 기법이 시스템에 매우 작은 영향을 미친다는 것을 증명한다.

U.K. 지구시스템모델 UM의 리눅스 클러스터 설치와 성능 평가 (An Installation and Model Assessment of the UM, U.K. Earth System Model, in a Linux Cluster)

  • 윤대옥;송형규;박성수
    • 한국지구과학회지
    • /
    • 제43권6호
    • /
    • pp.691-711
    • /
    • 2022
  • 지구 대기에 영향을 주는 거의 모든 인간활동과 자연현상을 수치적으로 담아내는 지구시스템모델은 기후 위기의 시대에 활용될 가장 진보한 과학적 도구이다. 특히 우리나라 기상청이 도입한 지구시스템모델인 Unified Model (UM)은 지구 대기 연구의 과학적 도구로써 매우 활용성이 높다. 하지만 UM은 수치 적분과 자료 저장에 방대한 자원이 필요하여 개별 연구자들은 최근까지도 기상청 슈퍼컴퓨터에만 UM을 가동하는 상황이다. 외부와 차단된 기상청 슈퍼컴퓨터만을 이용하여 모델 연구를 수행하는 것은 UM을 이용한 모형 개선과 수치 실험의 원활한 수행에 있어 효율성이 떨어진다. 본 연구는 이러한 한계점을 극복할 수 있도록 개별 연구자가 보유한 고성능 병렬 컴퓨터(리눅스 클러스터) 에서 최신 버전 UM을 원활하게 설치하여 활용할 수 있도록 UM 시스템 환경 구축 과정과 UM 모델 설치 과정을 구체적으로 제시하였다. 또한 UM이 성공적으로 설치된 리눅스 클러스터 상에서 N96L85과 N48L70의 두 가지 모형 해상도에 대하여 UM 가동 성능을 평가하였다. 256코어를 사용하였을 때, 수평으로 1.875° ×1.25° (위도×경도)와 수직으로 약 85 km까지 85층 해상도를 가진 N96L85 해상도에 대한 UM의 AMIP과 CMIP 타입 한 달 적분 실험은 각각 169분과 205분이 소요되었다. 저해상도인 3.75° ×2.5° 와 70층 N48L70 해상도에 대해 AMIP 한달 적분은 252코어를 사용하여 33분이 소요되는 적분 성능을 보였다. 또한 적분을 위해 사용된 코어의 개수에 비례하여 적분 성능이 향상되었다. 성능 평가 외에 29년 간의 장기 적분을 수행하여 과거 지상 2-m 온도와 강수 강도를 ERA5 재분석자료와 비교하였고, 해상도에 따른 차이도 정성적으로 살펴보았다. 재분석자료와 비교할 때, 공간 분포가 유사하였고, 해상도와 대기-해양 접합에 따라 모의 결과에서 차이가 나타났다. 본 연구를 통해 슈퍼컴퓨터가 아닌 개별 연구자의 고성능 리눅스 클러스터 상에서도 UM이 성공적으로 구동됨을 확인하였다.