• 제목/요약/키워드: 파티션함수

검색결과 7건 처리시간 0.021초

하둡 성능 향상을 위한 VPT 개발 연구 (A Development Study of The VPT for the improvement of Hadoop performance)

  • 양일등;김성열
    • 한국정보통신학회논문지
    • /
    • 제19권9호
    • /
    • pp.2029-2036
    • /
    • 2015
  • 하둡 MR(MapReduce)는 매퍼(Mapper)의 출력을 리듀서(Reducer)의 입력으로 전달하기 위해 파티션 함수(Partition Function)을 사용한다. 파티션 함수는 키에서 해쉬 값을 계산한 후 리듀서 개수로 나머지 연산을 수행하여 대상 리듀서를 결정한다. 기존 파티션 함수는 키의 편중도에 민감하여 잡이 균등하게 배분될 수 없었다. 잡이 균등하게 배분되지 못하면 특정 리듀서들의 처리 수행 시간이 길어져 전체 분산 처리 수행 성능에 영향을 주게 된다. 이에 본 논문은 VPT(Virtual Partition Table)을 제안하고 편중도가 심한 데이터에 VPT을 적용하여 실험을 수행 하였다. 적용된 VPT는 기존 파티션 함수와 대비하여 평균 3초 정도 성능향상이 발생하였으며, 데이터 처리량이 증가할수록 성능 향상 폭이 증가할 것으로 예상된다.

파이프라인 데이터패스 합성을 위한 스케쥴링 알고리즘의 성능평가 (Estimation of scheduling algorithm's performance for the synthesis of pipelined data path)

  • 오주영;박도순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.30-32
    • /
    • 1999
  • 본 논문에서는 자원제약을 목적함수로 하여 파이프라인 실행이 가능하게 하는 데이터패스 합성을 위해 개발되어진 스케쥴링 알고리즘들의 실행시간과 실행결과를 도표를 기준으로 정렬한다. 평가의 대상이 되는 알고리즘들은 스케쥴을 위해 제안되는 함수의 계산시점, 함수의 역할과 적용방법에 의해 구분되어지는 논문 [1],[2],[3]에 대하여 수행되어지며, 충돌을 발생시키는 파티션 내에 위치하는 모빌리티를 가지는 각각의 연산에 대해 다음 파티션으로의 지연시 충돌수 변이와 각 연산의 모빌리티를 요소로 계산되는 우선 순위 함수를 정의하여 스케쥴 순열을 정렬하는 결정하는 논문[1]과 자원 할당 가능성 판단함수를 제안하고 이를 기준으로 배정가능 범위를 축소해 나가며 연산을 스케쥴하는 논문[2]와, 논문[2]의 자원할당 가능성 판단시 부과되는 시간감소를 위해 현재의 스케쥴 상황 값들을 정량화 하여 연산이 선택되도록하여 결과적 실행 시간을 감소시키는 논문[3]에 대하여 벤치마크 성능평가와 알고리즘 실행시간 결과 비교를 수행하고 향후 연구 진행 방향을 제시한다.

  • PDF

하드웨어 소프트웨어 분할을 위한 ILP 구현 (ILP implementation for hardware software partitioning)

  • 오주영;한갑수;박도순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.21-23
    • /
    • 2000
  • 본 논문에서는 통합설계에서 시간제약하의 최소비용 시스템 구현을 위한 분할의 최적해 탐색을 위한 ILP형식을 정의하고 실험에 의해 결과를 평가한다. 분할 문제는 각 노드의 하드웨어 소프트웨어 파티션 선택과 소프트웨어 실행을 위한 대상 노드의 스케쥴링 문제가 함께 고려되어야 한다. 본 논문에서는 분할 단계에서 스케쥴링을 함께 고려하는 ILP형 정의를 위해 ASAP과 ALAP 스케쥴에 의해 유도되는 모빌리티와 시간 제약 조건, 종속성 제약 조건을 형식화하고, 목적함수인 최소 시스템 설계 비용 탐색을 위한 형을 정의한다. 정의된 형에 의한 ILP 구현은 다양한 벤치마크 검증에 의해 최적의 해를 결과로 보인다.

  • PDF

배정 가능 범위 축소에 의한 스케쥴링을 위한 연산 선택 방법 (A method of operation selection in scheduling with decreasing mobilities)

  • 서영진;유희진;박도순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.665-667
    • /
    • 1998
  • 자동화 설계의 합성 과정 중에서 스케쥴링은 설계되는 하드웨어의 면적과 실행 시간을 결정하는 중요한 단계이다. 본 논문에서는 논문[8]의 방법으로 모든 연산의 배정 가능 범위를 축소하였으나 스케쥴링이 종료되지 않을 때 현재의 스케쥴링 상황을 매개변수로 표현하여 임의의 연산 배정 범위를 축소하기 위한 선택 함수를 제안한다. 제안한 방법에서는 배정 가능 범위가 가장 큰 연산의 ASAP 또는 ALAP중의 하나를 항상 선택하는데, 그러한 연산이 2개 이상인 경우에는 임의의 연산의 ASAP 또는 ALAP을 선택하여 축소하는 경우에 모든 연산의 배정 가능 범위의 변화량, 임의의 연산을 ASAP 또는 ALAP에 고정하였을 때 자원 제약과 그 연산의 종속성에 의한 다른 연산들의 이동 변화량, 그리고 각 파티션에 연산들의 배정을 균등하게 하는 정보를 사용하여 연산의 ASAP 또는 ALAP중에 하나를 선택한다. 이 알고리즘의 성능 평가는 5차 엘립틱 웨이브 필터를 벤치마크로 사용하였으며, 실험 결과는 모든 엘립틱 웨이브 필터에 대해 최적이었다.

  • PDF

퍼지 클러스터링을 이용한 확률분포함수 기반의 다중문턱값 선정법 (Selection Method of Multiple Threshold Based on Probability Distribution function Using Fuzzy Clustering)

  • 김경범;정성종
    • 한국정밀공학회지
    • /
    • 제16권5호통권98호
    • /
    • pp.48-57
    • /
    • 1999
  • Applications of thresholding technique are based on the assumption that object and background pixels in a digital image can be distinguished by their gray level values. For the segmentation of more complex images, it is necessary to resort to multiple threshold selection techniques. This paper describes a new method for multiple threshold selection of gray level images which are not clearly distinguishable from the background. The proposed method consists of three main stages. In the first stage, a probability distribution function for a gray level histogram of an image is derived. Cluster points are defined according to the probability distribution function. In the second stage, fuzzy partition matrix of the probability distribution function is generated through the fuzzy clustering process. Finally, elements of the fuzzy partition matrix are classified as clusters according to gray level values by using max-membership method. Boundary values of classified clusters are selected as multiple threshold. In order to verify the performance of the developed algorithm, automatic inspection process of ball grid array is presented.

  • PDF

기계학습 모델의 간략화 방법에 대한 연구 (A Study on Simplification of Machine Learning Model)

  • 이계성;김인국
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권4호
    • /
    • pp.147-152
    • /
    • 2016
  • 데이터에 내포되어 있는 주요 정보나 지식을 추출해 내는 기계학습 방법에서 주요 이슈의 하나는 지식 표현 방식이다. 여러 가지 구조로 표현될 수 있는 지식을 모델이라고 부른다. 모델에는 그 내부 구조에 따라 트리구조, 네트워크 구조, 리스트 구조, 규칙 등 다양한 구조로 나눈다. 구조의 차이는 단지 표현의 차이뿐만 아니라 그것이 갖는 문제해결 능력에도 차이가 있다. 본 논문에서는 모델을 간략화 시켜 오버피팅 문제를 해결하고 분류 능력을 향상시키는 방법을 제안한다. 모델을 단순화 시키는데 사용되는 파티션 유틸리티 기준함수 제시하고 휴리스틱을 이용하여 균형 잡힌 계층 구조를 생성하는 방법을 제안한다.

Improved Method for Learning Context-Free Grammar using Tabular representation

  • Jung, Soon-Ho
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.43-51
    • /
    • 2022
  • 이 논문은 문법적 추론에서 유전자 알고리즘의 진화대상으로 테이블 표현(Tabular representation: TBL)을 이용한 문맥자유 문법(Context-free grammar: CFG)을 학습하는 기존의 방법을 개선하여 더 효율적인 결과를 얻은 그 방법과 실험 결과를 제시한다. 이 논문에서 소개하는 개선된 점은 두가지로, 첫째는 적합도 함수를 긍정과 부정의 예들에 대한 학습 평가를 동시에 반영하도록 수식을 개선하고 둘째는 긍정적 학습 예들로부터 생성된 TBL들에 대응되는 파티션(partition)들을 학습 문자열의 크기별로 분류하여 부류별 진화 과정을 진행하며 그 성공률에 따라 구성 비율을 조정하여 다음세대에 생존에 연계하는 학습 방법을 적용한다. 이 개선점들은 학습 예들의 크기에 따른 TBL의 크기가 여러 개체들 사이의 교배와 일반화 단계에서 복잡성과 어려움을 해결하여 기존 방법보다도 좋은 효율을 제공한다. 이 연구는 기존 방법에서 제안된 언어들로 실험하고 그 결과는 기존 방법보다 같은 성공률을 갖는 상태에서 학습 완성의 평균 세대수가 적게 걸리는 다소 빠른 세대속도의 결과를 보여준다. 앞으로 이 방법은 확장된(extended) CYK에 시도할 수 있으며 더 나아가 좀 더 복잡한 파싱 테이블(parsing table)에도 적용할 가능성을 제시한다.