• Title/Summary/Keyword: 데이터 배치

Search Result 867, Processing Time 0.035 seconds

A Study on Performance Analysis Data Collection Method Using Batch-job Scheduler onLarge-Scale Cluster System (대규모 클러스터 시스템에서 배치작업 스케줄러를 활용한 성능 분석 데이터 수집 방법 연구)

  • Jae-Kook Lee;Min-Woo Kwon;Do-Sik An;Taeyoung Hong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.37-39
    • /
    • 2023
  • 사용자 응용 프로그램의 특징을 분석하고 효율적인 시스템 운영을 통하여 사용자 프로그램 최적화를 지원하기 위하여 소프트웨어 프로파일링을 수행한다. 특히 국가 슈퍼컴퓨터인 누리온과 같이 8,400대가 넘는 계산노드로 구성된 클러스터 시스템에서 응용 프로그램의 프로파일링 데이터를 사용자의 개입없이 수집하고 데이터를 분석하는 것에는 한계가 있다. 본 연구에서는 배치작업 스케줄러를 활용하여 사용자의 개입 없이 응용 프로그램의 프로파일링 데이터를 수집하기 위한 방법을 제안한다. 그리고 제안한 방법을 누리온에서 구현하고 사용자 응용 프로그램이 실행될 때 프로파일링 데이터가 수집되는 것을 확인한다.

An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-Dedicated Distributed Computing Environments (비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한효율적인 데이터 재배치 알고리즘)

  • Ryu, Eunkyung;Son, Ingook;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.39-40
    • /
    • 2013
  • 최근 소셜 미디어의 성정과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서의 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이를 고려한 비-전용 분산 컴퓨팅 환경에 최적화된 데이터 재배치 알고리즘이 제안되었지만, 데이터 재배치 알고리즘을 수행함으로써 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과 기존 기법에 비해 데이터 재배치 블록 비율이 약 75% 감소하였다.

  • PDF

On Deployment of Resource Adapter in J2EE Connector Architecture (J2EE 커넥터 아키텍처에서의 리소스 어댑터 배치방법)

  • 채정화;김송주;유철중;장옥배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.466-468
    • /
    • 2000
  • J2EE(JavaTM 2 Platform, Enterprise Edition)의 클라이언트 애플리케이션, 웹 컴포넌트, Enterprise JavaBeans 컴포넌트와 같은 앤터프라이즈 애플리케이션은 개발된 후 컨테이너에 배치되어 실행된다. 이러한 앤터프라이즈 애플리케이션(enterprise application)은 다양한 EIS(Enterprise Information System)에 접근하여 관련된 기능과 데이터를 사용할 필요가 있다. J2EE 커넥터 아키텍처(Connector Architecture)는 J2EE 플랫폼을 다양한 EIS와 연결하기 위한 표준을 정의하는 API 이며, 각 EIS 벤더는 이러한 커넥터 아키텍처의 설계서를 따르는 EISF의 시스템 레벨 소프트웨어 드라이버인 표준 리소스 어댑터(Resource Adaptor)를 제공한다. 커넥터 아키텍처를 구현한 리소스 어댑터를 사용함으로써 특정 벤더의 J2EE 플랫폼에 종속되지 않도록 EIS를 통합할 수 있다. 본 논문에서는 이러한 J2EE 커넥터 아키텍처를 구현한 리소스 어댑터를 애플리케이션 서버를 배치하기 위하여 배치기가 수행해야 하는 배치 단계를 크게 네 단계로 구분하고, 배치구성 활동을 다섯 가지로 분류 및 정의한다,

  • PDF

Optimal Micrositing and Annual Energy Production Prediction for Wind Farm Using Long-term Wind Speed Correlation Between AWS and MERRA (AWS와 MERRA 데이터의 장기간 풍속보정을 통한 풍력터빈 최적배치 및 연간에너지생산량 예측)

  • Park, Mi Ho;Kim, Bum Suk
    • Transactions of the Korean Society of Mechanical Engineers B
    • /
    • v.40 no.4
    • /
    • pp.201-212
    • /
    • 2016
  • A Wind resource assessment and optimal micrositing of wind turbines were implemented for the development of an onshore wind farm of 30 MW capacity on Gadeok Island in Busan, Republic of Korea. The wind data measured by the automatic weather system (AWS) that was installed and operated in the candidate area were used, and a reliability investigation was conducted through a data quality check. The AWS data were measured for one year, and were corrected for the long term of 30 years by using the modern era retrospective analysis for research and application (MERRA) reanalysis data and a measure- correlate-predict (MCP) technique; the corrected data were used for the optimal micrositing of the wind turbines. The micrositing of the 3 MW wind turbines was conducted under 25 conditions, then the best-optimized layout was analyzed with a various wake model. When the optimization was complete, the estimated park efficiency and capacity factor were from 97.6 to 98.7 and from 37.9 to 38.3, respectively. Furthermore, the annual energy production (AEP), including wake losses, was estimated to be from 99,598.4 MWh to 100,732.9 MWh, and the area was confirmed as a highly economical location for development of a wind farm.

Cognitive process and cognitive load about the concept image of triangle altitude in visual image (시각적 이미지 안에서 삼각형 높이의 개념 이미지에 대한 인지적 처리과정과 인지적 부하)

  • Lee, Mi Jin;Lee, Kwangho
    • Education of Primary School Mathematics
    • /
    • v.20 no.4
    • /
    • pp.305-319
    • /
    • 2017
  • In the process of finding the triangle height, 26 students in the 6th grade were surveyed to understand the students' triangle height through the eye movement data and to investigate the cognitive load of the students. As a result, the correctness rate of the pre-test was significantly increased in the post-test, and the frequency and retention of gaze data were smaller in the post-test than in the AOI of each question. The Participants's subjective cognitive load indicated that it was more difficult to understand the concept of rotated triangles compared with upright triangles that were parallel to the ground. More frequent and more retentions in the eye-tracking data were detected in the right triangles and acute triangles by rotating configuration. Eye movement data show that eye tracking technology can provide an objective measure of students' cognitive load for feedback on instructional design.

Chunk Placement Scheme on Distributed File System Using Deduplication File System (중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법)

  • Kim, Keonwoo;Kim, Jeehong;Eom, Young Ik
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.68-70
    • /
    • 2013
  • 대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

Dynamic Disk Striping and Data Placement Methods for Video-on-Demand Servers (주문형 비디오 서버를 위한 동적 디스크 스트라이핑과 데이터 배치 방법)

  • 이재경;이경숙;배인한
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 1998.04a
    • /
    • pp.10-15
    • /
    • 1998
  • 주문형 비디오 시스템에서 저장되는 영화들의 다중 액세스를 지원하기 위해 영화들은 비디오 서버의 다수의 디스크에 걸쳐 스트라이프되고, 비디오 서버의 디스크 배열들간의 부하 불균형을 피할 뿐만 아니라 저장 공간과 장치 대역폭을 최대로 이용하기 위하여 영화의 블록들은 디스크 배열에 신중히 배치되어야 한다. 본 논문에서는 영화의 인기도를 고려한 동적 디스크 스트라이핑에 기초하는 그룹교대 라운드로빈이라는 영화 배치 방법을 제안하고, 그것의 성능을 시뮬레이션을 통하여 평가한다.

  • PDF

A study on the placement of empty taxis based on the location history data (위치이력 데이터를 이용한 공택시 배치에 관한 연구)

  • Lee, Jung-Hoon;Park, Gyung-Leen
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.10a
    • /
    • pp.195-199
    • /
    • 2008
  • 본 논문은 택시들의 승차율을 높이고 승객들의 대기시간을 최소화하기 위하여 제주 택시들의 이동이력 데이터를 기반으로 하여 공차들을 승객을 만날 가능성이 많은 지역으로 배치하는 기법을 제시한다. 이동이력 데이터에 포함된 공차 보고와 승차 보고 수 사이의 스케일 차이를 극복하기 위하여 전체수와 영역내 합에 대한 비율로 정규화하는 방법을 설명하고 장단점을 분석한다. 또 시간대별, 요일별, 주간별 택시들의 승객 대기시간에 대한 통계 데이터에 기반하여 가장 수요와 공급이 적정하게 유지되는 시간구간을 발견하고 이 구간에 대한 택시 분포와 현재의 택시 분포의 차이에 의해 수요보다 공급이 많은 곳의 택시를 재배치한다.

  • PDF

Performance Comparison of the Batch Filter Based on the Unscented Transformation and Other Batch Filters for Satellite Orbit Determination (인공위성 궤도결정을 위한 Unscented 변환 기반의 배치필터와 다른 배치필터들과의 성능비교)

  • Park, Eun-Seo;Park, Sang-Young;Choi, Kyu-Hong
    • Journal of Astronomy and Space Sciences
    • /
    • v.26 no.1
    • /
    • pp.75-88
    • /
    • 2009
  • The main purpose of the current research is to introduce the alternative algorithm of the non-recursive batch filter based on the unscented transformation in which the linearization process is unnecessary. The presented algorithm is applied to the orbit determination of a low earth orbiting satellite and compared its results with those of the well-known Bayesian batch least squares estimation and the iterative UKF smoother (IUKS). The system dynamic equations consist of the Earth's geo-potential, the atmospheric drag, solar radiation pressure and the lunar/solar gravitational perturbations. The range, azimuth and elevation angles of the satellite measured from ground stations are used for orbit determination. The characteristics of the non recursive unscented batch filter are analyzed for various aspects, including accuracy of the determined orbit, sensitivity to the initial uncertainty, measurement noise and stability performance in a realistic dynamic system and measurement model. As a result, under large non-linear conditions, the presented non-recursive batch filter yields more accurate results than the other batch filters about 5% for initial uncertainty test and 12% for measurement noise test. Moreover, the presented filter exhibits better convergence reliability than the Bayesian least squares. Hence, it is concluded that the non-recursive batch filter based on the unscented transformation is effectively applicable for highly nonlinear batch estimation problems.

Analyses of Replica Placement Schemes in Distributed File Systems (대용량 분산 파일 시스템의 복제 배치 기법 분석)

  • Choi, Dae-Soon;Kim, Jee-Hong;Eom, Young-Ik
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.373-375
    • /
    • 2012
  • 정보의 양이 늘어나고 그 크기가 커짐에 따라 많은 분야에서 대규모 분산 파일 시스템을 제안하고 사용하고 있다. 현재 제안된 분산 파일 시스템은 대부분 확장가능하며 장애에 견딜 수 있고 신뢰성이 있는 시스템을 기본으로 하여 구성되었다. 따라서 분산 파일 시스템은 장애에 효과적으로 견질 수 있고 높은 신뢰성을 보장하기 위해서 데이터의 복제를 만들어 서로 다른 스토리지에 배치한다. 본 논문에서는 대규모 분산 파일 시스템의 복제 배치 기법에 관하여 비교 분석 하였다. 먼저 분산 파일 시스템의 동작 구조를 확인하고 분산 파일 시스템에서 보편적으로 중요시 되는 특성을 파악하였다. 그리고 복제 배치 기법이 효과적인 분산 파일 시스템 구성 시 고려해야 할 것들을 부하 분산, 디스크 분산, 장애 분산으로 나누었다. 이 세 가지 요소를 기준으로 하여 분산 파일 시스템인 GFS, HDFS, Ceph, MooseFS의 복제 배치 기법을 분석하고 각각의 특성 파악하였다.