• 제목/요약/키워드: Data Locality

검색결과 237건 처리시간 0.027초

QUISIS: Interval Skip List를 활용한 질의 색인 기법 (QUISIS: A Query Index Method Using Interval Skip List)

  • 민준기
    • 정보처리학회논문지D
    • /
    • 제15D권3호
    • /
    • pp.297-304
    • /
    • 2008
  • 인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리(stream data processing)와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터는 실시간적이고 연속적으로 생성된다. 스트림 데이터 환경에서는 복수 개의 질의들이 미리 등록되고 후에 도착되는 데이터는 등록된 질의들에 의하여 평가된다. 따라서 질의 성능을 향상시키기 위하여, 스트림 데이터 처리 시스템을 위한 다양한 연속성 질의 색인 방법들이 제안되었다. 본 논문에서는 스트림 데이터를 위한 질의 색인에 대하여 다룬다. 일반적으로, 스트림 질의는 간격 조건식을 포함하고 있다. 따라서, 간격 조건식을 이용하여, 질의들을 색인화할 수 있다. 이 논문에서, 탐색 속도를 향상시키기 위하여, Interval Skip List를 수정한 효율적인 질의 색인 방법, QUISIS를 제안한다. QUISIS는 최근 데이터 값이 근 미래에 도착하는 값과 비슷하다는 지역성을 활용한다. 성능 평가를 통하여, 본 논문에서 제안하는 기법의 효율성을 보인다.

맵리듀스의 데이터 로컬리티 향상을 위한 데이터 복제기법 (Data Replication Technique for Improving Data Locality of MapReduce)

  • 이정하;유헌창;이은영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.218-220
    • /
    • 2012
  • 인터넷 활용과 웹 어플리케이션의 개발이 증가함에 따라 처리해야하는 데이터의 양도 또한 증가하고 있다. 대량의 데이터를 효과적으로 처리하기 위한 방법 중 하나로 병렬처리 프로그래밍 모델인 맵리듀스가 있다. 하둡은 맵리듀스의 오픈소스 구현으로 대량의 데이터를 병렬로 처리하는 무료 자바 소프트웨어 프레임워크이다. 분산 파일 시스템을 사용하는 하둡에서는 처리하는 데이터가 다른 노드에 위치하는 데이터 로컬리티 문제가 전체 작업 수행시간의 증가를 야기하는 문제가 있다. 본 논문에서는 하둡에서의 데이터 로컬리티 문제를 해결하기 위한 데이터 복제기법을 제안한다. 제안하는 데이터 복제기법에서는 1) 라그랑지 보간법을 사용하여 과거 접근수를 이용한 미래 접근수를 예측하고, 2) 예측된 값을 Threshold값으로 설정하고, 3) 데이터 로컬리티 문제가 발생하였을 때, 복제사본을 생성할 것인지 캐시를 생성할 것인지를 결정하여 복제 사본의 수를 최적화 한다. 실험을 통해 단순히 복제사본 수를 증가시킴으로써 데이터 로컬리티를 향상을 이루어도 작업 완료시간이 감소하는 것이 아니라는 결과를 볼 수 있었고, 오버 런치로 인한 작업 완료시간 증가를 줄이기 위해 데이터 복제사본 수 최적화의 필요성을 확인할 수 있었다.

최적화 기법을 이용한 임하호유역 대표 CN값 추정 (Regionalization of CN values at Imha Watershed with SCE-UA)

  • 전지홍;김태동;최동혁
    • 한국농공학회논문집
    • /
    • 제53권5호
    • /
    • pp.9-16
    • /
    • 2011
  • Curve Numbers (CN) for the combination of land use and hydrologic soil group were regionalized at Imha Watershed using Long-term Hydrologic Impact Assessment (L-THIA) coupled with SCE-UA. The L-THIA was calibrated during 1991-2000 and validated during 2001-2007 using monthly observed direct runoff data. The Nash-Sutcliffe (NS) coefficients for calibration and validation were 0.91 and 0.93, respectively, and showed high model efficiency. Based on the criteria of model calibration, both calibration and validation represented 'very good' fit with observe data. The spatial distribution of direct surface runoff by L-THIA represented runoff from Thiessen pologen at Subi and Sukbo rain gage station much higher than other area due to the combination of poor hydrologic condition (hydrologic soil C and D group) and locality heavy rainfall. As a results of hydrologic condition and treatment for land use type based on calibrated CNs, forest is recommended to be hydrologically modelled dived into deciduous, coniferous, and mixed forest due to the hydrological difference. The CNs for forest and upland showed the poor hydrologic condition. The steep slope of forest and alpine agricultural field make high runoff rate which is the poor hydrologic condition because CN method can not consider field slope. L-THIA linded with SCE-UA could generated a regionalized CNs for land use type with minimized time and effort, and maximized model's accuracy.

Insect community dynamics in relation to climate change in Mongolia

  • Iderzorig, Badamnyambuu;Lkhagvadorj, Khureltsetseg;Kwon, Ohseok
    • Journal of Ecology and Environment
    • /
    • 제39권1호
    • /
    • pp.111-118
    • /
    • 2016
  • In recent years, many research revealed plant-insect interactions are becoming unstable because of climate change, human activities and grazing effect. In this work, it is aimed to disclose that how climate of two different years is influencing on insect community at certain locality in Mongolia. The data on the insect community are collected, covering full flowering season from June to August in 2014 and 2015. In order to include all species of insects in Udleg Station, data was collected in three different sites. One of them was around edge of forest, another one was in ungrazed area or inside the fence that has been kept for more than 9 years and last one was in grazed area. Weather was a perceptible difference during two year's study. This climate differences significantly influenced on the insect community. In 2014, overall 305 insect species were recorded, in which 124 insect species in order of Diptera, 44 in Lepidoptera, 33 in Coleoptera, 31 in Hemiptera, and 73 in Hymenoptera were determined. But in 2015, these number of species noticeably decreased, and total 150 insect species were recorded, in which 58 in Diptera, 26 in Lepidoptera, 13 in Coleoptera, 12 in Hemiptera, and 41 in Hymenoptera were determined.

플래시 메모리 기반의 가상 메모리 시스템을 위한 중복성을 고려한 GC 기법 (Duplication-Aware Garbage Collection for Flash Memory-Based Virtual Memory Systems)

  • 지승구;신동군
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권3호
    • /
    • pp.161-171
    • /
    • 2010
  • 임베디드 시스템이 모놀리식(monolithic) 커널을 사용하면서, NAND 플래시 메모리는 가상 메모리 시스템의 스왑(swap) 공간을 위해 사용되고 있다. 플래시 메모리는 저전력 소비, 충격 내구성, 비 휘발성의 장점을 가지지만, '쓰기 전 삭제'의 특징 때문에 가비지 컬렉션(GC) 작업이 필요하다. GC 기법의 효율성은 플래시 메모리 성능에 큰 영향을 미친다. 본 논문에서는 플래시 메모리를 기반으로 하는 가상 메모리 시스템에서 메인 메모리와 플래시 메모리 사이에 중복된 데이터를 활용한 새로운 GC 기법을 제안한다. 제안된 기법은 GC 부하를 최소화하기 위해 데이터의 지역성을 고려한다. 실험 결과는 제안된 GC 기법이 이전의 기법과 비교하여 평균적으로 37%의 성능을 향상시킴을 보여준다.

경기도 지역 지방자치단체 노인복지시설의 효율성 격차 분석 (Analysis of Efficiency Gap of Local Governments' Aged Welfare Institutions in Gyeonggi-do Province)

  • 윤의영
    • 한국지역지리학회지
    • /
    • 제15권6호
    • /
    • pp.774-788
    • /
    • 2009
  • 본 연구는 경기도 지역 27개 기초자치단체의 노인복지시설의 상대적 효율성을 자료포락분석을 이용하여 측정하였다. 분석결과, 12개 자치단체의 노인복지시설이 각각의 준거집단들에 비해 비효율적인 것으로 나타났는데, 이는 경기도 내 지역 간에 노인복지서비스의 효율성 측면에서 격차가 있음을 의미한다. 노인복지시설의 효율성에 상대적으로 큰 영향을 미치는 요소는, 경기도 지역 전체를 보았을 때 산출변수 중에서는 노인복지예산(노인1인당복지비), 투입변수 중에서는 복지시설의 수인 것으로 나타났다. 그러나 각 자치단체별로는 영향력 변수가 각기 다르다.

  • PDF

Education, Industry 4.0 and Earnings: Evidence from Provincial-Level Data of Vietnam

  • TU, Anh Thuy;CHU, Phuong Thi Mai;PHAM, Truong Xuan;DO, Ngoc Minh
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제8권2호
    • /
    • pp.675-684
    • /
    • 2021
  • This paper aims to analyze factors influencing earnings of workers in Vietnam using provincial-level data from 2016 to 2018. We show the important determinants of earnings of workers of more than 15 years old including working hour, labor force, life expectancy, education, regulation measured by Provincial Competitiveness Index (PCI) and especially Industry 4.0, our major depart from literature proxies by government expenditure on science and technology, number of phone lines, and number of internet users. Working hours are a typical measurement of quantity of labor supplied. Labor force represents market size from the supply side. Life expectancy measures the health of laborers, a physical quality measure of workers. PCI stands for institutional status of the locality. Two most important factors of our interest are education, representing qualification of workers, and Industry 4.0, reflecting the new working environment of workers. By estimating a robust standard error fixed-effect model, we have evidence that all factors are significant in explaining earnings of Vietnamese workers. Education and IR4.0 play an important role in earnings of workers of Vietnam. Results also provide an estimation of Vietnam's labor supply in the context of Industry 4.0. In addition, findings contribute to explain the income discrepancy among Vietnamese provinces.

무선 센서 네트워크에서 네트워크 트래픽 감소를 위한 데이타 중심 클러스터링 알고리즘 (A Data-Centric Clustering Algorithm for Reducing Network Traffic in Wireless Sensor Networks)

  • 여명호;이미숙;박종국;이석재;유재수
    • 한국정보과학회논문지:정보통신
    • /
    • 제35권2호
    • /
    • pp.139-148
    • /
    • 2008
  • 센서 네트워크를 사용하는 응용분야에 따라 보다 고차원적인 데이타 처리를 필요로 하는 경우 모든 센서 노드의 수집 데이타를 싱크 노드로 전송한다. 수집된 데이타는 일반적으로 센서 네트워크의 환경적인 특성상 시간적으로 혹은 공간적으로 연관성을 지닌다. 이러한 연관성은 싱크 노드가 일부의 데이터만 수집하고도 모든 데이타를 복원할 수 있는 기회를 제공한다. 센서 네트워크에서는 데이타 수집을 위한 기법으로 클러스터링 기법을 널리 사용한다. 하지만 기존의 클러스터링 기법의 경우 수집한 데이타의 연관성을 고려하지 않고, 센서 노드의 지역성(locality)만을 고려하여 클러스터를 생성하기 때문에 이러한 기회를 활용하기에 비효율적이다. 본 논문에서는 수집된 데이타를 중심으로 클러스터를 생성하고, 싱크 노드로 전송되는 데이타의 크기를 획기적으로 줄일 수 있는 클러스터링 기법을 제안한다 제안하는 클러스터링 기법의 우수함을 보이기 위해 시뮬레이션을 통한 성능 평가를 수행하였으며, 그 결과 기존 기법들에 비해 네트워크 트래픽이 약 $4{\sim}40%$ 감소하고, 네트워크의 수명이 약 $20{\sim}30%$ 연장되었다.

Cold 블록 영역과 hot 블록 영역의 주기적 교환을 통한 wear-leveling 향상 기법 (A wear-leveling improving method by periodic exchanging of cold block areas and hot block areas)

  • 장시웅
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 춘계종합학술대회 A
    • /
    • pp.175-178
    • /
    • 2008
  • 플래시 메모리에서 읽기 작업은 속도도 빠르고 제약이 없으나 데이터 변경 시에는 덮어쓰기(overwrite)가 되지 않아 해당 데이터를 새로운 영역에 쓰고 이전에 존재하던 데이터는 무효 시켜야한다. 무효화시킨 데이터는 가비지컬렉션을 통해 지움 연산을 수행해야 한다. 지역 접근성을 가지는 데이터에 대해 가비지컬렉션을 통해 클리어 시킬 대상 목록을 선정할 때 cost-benefit 방법을 사용하면 성능은 좋으나 wear-leveling이 나빠지는 문제점이 있다. 본 연구에서는 wear-leveling을 개선하기 위해 플래시 메모리를 hot 데이터 그룹들과 cold 데이터 그룹들의 다수의 그룹으로 분할한 후 데이터를 배치하고 주기적으로 hot 데이터 영역과 cold 데이터 영역을 교체함으로써 wear-leveling과 성능을 개선하였다.

  • PDF

국내 통계자료를 이용한 설계기준의 하중저항계수 검증 (Calibration of Load and Resistance Factors in KCI Code Based on Domestic Data)

  • 김지상;김종호
    • 콘크리트학회논문집
    • /
    • 제23권4호
    • /
    • pp.495-501
    • /
    • 2011
  • 2007년 개정된 콘크리트구조설계기준에서 제시하고 있는 강도설계법의 하중 조합은 ACI 318-05 기준의 하중저항계수설계법(LRFD)을 참고하여 작성된 것이다. LRFD는 하중계수와 저항계수의 조합으로 이루어져 있고, 이 계수들의 선정은 대상 파괴 모드에 대하여 미리 규정된 파괴 확률 또는 신뢰도 지수의 수준에 부합하여야한다. 이 때 하중계수 및 저항계수의 결정은 대상 구조물의 지역적 및 시대적 특성을 반영할 수 있는 통계 자료에 기초한 구조 신뢰성 이론에 따라 이루어져야 한다. 그러나 현재 우리나라의 설계기준은 통계자료의 많은 부분을 외국의 연구 결과에 의존하고 있는 실정이다. 이를 개선하기 위하여 이 연구에서는 지금까지 국내에서 연구된 자료에 기초하여 현행 콘크리트 구조설계기준의 안전 수준을 분석하고 이에 따른 합리적인 목표 신뢰도 지수를 결정하였으며, 이를 바탕으로 국내 현실에 적합한 저항계수(강도감소계수)를 제안하였다. 이 연구의 결과는 향후 우리나라의 고유한 저항계수 및 하중계수를 개정할 때 유용한 자료로 활용될 수 있을 것으로 기대된다.