• 제목/요약/키워드: 데이터 지역성

검색결과 2,186건 처리시간 0.035초

데이터 값 예측기를 위한 값 지역성과 공간 지역성 혼합 (Combining Value and Spatial Locality for Value Prediction)

  • 이종찬;최재혁;김정진;최상방
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (A)
    • /
    • pp.928-930
    • /
    • 2004
  • 명령어간의 데이터 종속 관계는 동적으로 스케줄 되는 파이프라인 프로세서의 병렬 처리에 중요한 장애로 남아 있다. 마이크로프로세서의 데이터 종속에 기인한 파이프라인 대기 시간을 줄일 대표적인 두 가지 방법으로 생성 값의 지역성에 기초를 둔 데이터 값 예측과 공간 지역성에 기반으로 예측하는 주소 예측이 있다. 본 논문에서는 성능 개선을 위해 이 두 가지 기술을 독립적으로 수행하는 것 보다 혼합한 형태의 예측이 더 좋은 예측 정확성이 나타나는 것을 보인다.

물 공급량 예측을 위한 데이터 마이닝 기법 (Data Mining for Water Supply Forecasting)

  • 신강욱;김연권
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.233-235
    • /
    • 2021
  • 본 논문에서는 물 공급량 예측을 위한 다양한 알고리즘 적용에 있어서 데이터 마이닝의 효용성을 검토하고자 하였다. 물 공급분야에 있어서, 물 이용 지역의 특성에 따라 공급량과 이용 시간이 매우 상이한 특성을 나타낸다. 물 이용 지역은 주택지역, 상업지역, 산업단지지역 등 다양한 형태로 분류할 수 있고, 이에 따라 물 이용 시간의 상이함에 따른 물 공급패턴이 일정하지 않게 된다. 특히, 주택지역과 상업지역이 복합적으로 이루어진 경우, 물 이용 단위인 블록 단위에서의 물 특성이 불규칙적인 패턴을 나타낸다. 따라서, 각 블록 단위 특성에 적합한 물 이용량을 예측하여 효율적 물 공급 방안을 마련할 필요가 있다. 또한, 물 이용량 데이터 중 이상 데이타 감지와 이상 데이터 보정을 통하여 물 이용량 예측의 정확도가 향상된다. 따라서, 블록 단위의 물 이용량에 대한 원시데이타의 효율적인 데이터 마이닝 방안이 요구된다. 본 연구에서는 물 공급지역의 특성에 따른 물 공급 패턴을 분석하고, 이에 적합한 데이터 마이닝 기법을 제시하고 비교 분석하였다. 제안된 데이터 마이닝 기법은 딥러닝 예측모델을 적용하여 적합성을 검증하고, 이를 물 공급량 예측알고리즘에 폭넓게 활용될 수 있음을 확인하였다.

  • PDF

외부 루프 펼침에서 펼침 인자 증가에 따른 데이터 지역성 변화 관찰 (Observing Changes of Data Locality as Unrolling Factors Increase in Outer Loop Unrolling)

  • 우덕균;표창우
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.407-409
    • /
    • 1998
  • 루프 몸체를 복제하는 루프 펼침을 외부 루프에 대하여 적용하면, 루프 내포체의 데이터 지역성이 개선된다. 펼침 횟수 증가에 따른 루프 내포체의 데이터 지역성 변화를 예측하였고, 예측 결과를 행렬 곱셈 프로그램에 대하여 실행 시간과 개시 미스 변화를 측정하여 검증하였다. 펼침 횟수는 증가함에 따라, 초반에는 실행 시간과 캐시 미스가 급격히 감소하다 점점 감소폭이 줄어드는 기하급수적 변화를 보였다. 이 결과는 데이터 지역성 개선을 위한 외부 루프 펼침 변환을 적용 할 때, 작은 값(최대 405회)의 펼침으로 프로그램 성능 향상을 기대할 수 있음을 의미한다. 한편, 컴파일러에 의한 루프 펼침을 적용할 때, 불필요하게 많은 펼침 횟수의 펼침 효과에 대하여 분석 할 필요가 없음을 나타낸다

동아시아 지역 토양수분 산출 위성 평가 (An inter-comparison of satellite-based soil moisture over East Asia)

  • 김형록;선우우연;최민하
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.187-187
    • /
    • 2015
  • 인공위성을 이용한 토양수분의 측정은, 범지구적인 물순환 분석에 있어서, 수문학적인 인자들의 시공간적인 변화를 예측, 분석하는데 있어 가장 효율적인 방법으로 제안되어왔다. 현재 국/내 외 적으로 사용하는 토양수분 위성은 Soil Moisture and Ocean Salinity (SMOS), Advanced SCATerometer (ASCAT)이 많이 사용되고 있으며, 더불어 일본에서 최근에 발사 된 Advanced Microwave Scanning Radiomter 2 (AMSR2) 센서를 통한 토양수분도 데이터도 적극 활용 되고 있다. 각 위성은 토양수분을 산출 하는 알고리즘, 파장대 그리고 위성 통과 시간 등이 각기 다르므로, 이러한 위성의 데이터를 사용하기 위해서는 지점 데이터와의 검증이 필수적으로 필요하게 된다. 이에따라 본 연구에서는 위성 데이터와 Global Land Data Assimilation System (GLDAS)와의 비교를 통해 각 위성데이터의 동아시아 지역에서의 효용성을 평가하였다. 동아시아의 건조한 지역에서는 SMOS가 가장 좋은 토양수분 데이터 결과를 보여주었으며, 다른 많은 지역에서는 ASCAT이 우세한 결과를 보여주었다. 하지만 한반도 지역의 특정 지역에서는 AMSR2의 토양수분 값이 ASCAT을 뛰어넘는 좋은 결과를 보여주는 결과가 도출되었다. 추가적으로, SMOS의 경우 Radio Frequency Interference (RFI)의 영향으로 한반도지역 토양수분을 측정하는 것에는 많은 무리가 있음을 알 수 있었다.

  • PDF

재난재해 데이터 공유를 위한 도시재생 데이터 플랫폼 개발 (Development of Urban Regeneration Data Platform for Sharing Disaster Data)

  • 신용현;이상민;양동민
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.480-480
    • /
    • 2021
  • 본 연구에서는 도시재생지역의 재난재해 위험성 및 회복성 분석과 현황 분석을 위한 기초 데이터의 관리와 활용성 증대를 목적으로 데이터를 등록하고 다운로드 할 수 있는 공유 플랫폼을 개발하고자 하였다. 도시재생 데이터 플랫폼은 재난재해, 지역현황, 문서 항목으로 구분하여 도시재생 정보를 서비스한다. 재난재해 항목은 폭우, 폭설, 폭염, 강풍, 지진 5개 자연재해 유형과 이로 인해 추가 피해가 발생할 수 있는 화재, 붕괴, 폭발 사회재난 3개 유형으로 구성되어있으며, 총8 종류의 재난재해 유형에 대한 위험성과 회복성 분석 DB를 제공한다. 지역현황 정보에서는 유휴공간 및 지역자산정보 등 도시재생 현황분석에 필요한 행정(통계)데이터, 시설물정보 등을 제공한다. 아울러 본 연구를 통해 산출되는 논문 및 보고서 등을 문서 항목에서 서비스한다. 데이터셋 등록 시, 시스템에 설정된 재난재해 유형, 시설물 등을 선택해 카테고리를 분류하고, 이력관리를 목적으로 데이터명과 생산년월 등에 대한 필수항목을 입력해야만 등록이 가능하도록 설정하였다. 또한 GIS 기반 공간자료 등록 시에는 가시화 서비스를 위하여 공간자료의 포맷과 좌표체계, 생산년월, 생산기관 등을 필수 입력하도록 하였으며, GIS tool을 활용한 자료 분석에 어려움이 없도록 하였다. 쇠퇴지역의 재난재해 대비/대응을 위한 도시재생 데이터 플랫폼은 금년 시범운영 후, 차년에는 클라우드 서비스 기능을 탑재해 계정 권한과 장소에 제약을 받지 않고 도시재생 업무를 수행하는 모든 사용자가 재난재해 정보를 비롯한 도시재생 관련 정보를 수집·활용할 수 있는 데이터 공유의 장을 구현함으로써 도시재생지역의 효과적인 재난재해 대비/대응 체계를 마련하고자 하였다.

  • PDF

영상의 지역성과 인접 픽셀 차분 시퀀스를 이용하는 가역 데이터 임베딩 기법 (Reversible Data Embedding Algorithm Using the Locality of Image and the Adjacent Pixel Difference Sequence)

  • 정수목
    • 한국정보전자통신기술학회논문지
    • /
    • 제9권6호
    • /
    • pp.573-577
    • /
    • 2016
  • 본 논문에서는 영상의 지역성과 인접 픽셀 차분시퀀스를 이용하는 가역 데이터 임베딩 기법을 제안하였다. 자연영상에는 일반적으로 지역성이 존재한다. 영상의 지역성을 이용하여 인접한 픽셀 값을 예측하는 기법을 기존의 기법인 APD(Adjacent Pixel Difference) 기법에 적용하여 임베딩 가능한 데이터 량을 증가 시키고 다양한 레벨로 데이터 임베딩을 가능하게 하는 가역 데이터 임베딩 기법을 제안하였다. 실험결과를 통하여 제안된 기법의 우수성을 확인하였다.

맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법 (A Hot-Data Replication Scheme Based on Data Access Patterns for Enhancing Processing Speed of MapReduce)

  • 손인국;류은경;박준호;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권11호
    • /
    • pp.21-27
    • /
    • 2013
  • 최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리 프레임워크로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스 에서의 태스크 할당은 데이터의 지역성(locality)를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스 에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 지역성으로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 지역성을 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 감소하는 것을 확인하였다.

범위 질의 인덱싱을 이용한 스트림 데이터의 다중 질의처리 기법 (A Multi-dimensional Query Processing Scheme for Stream Data using Range Query Indexing)

  • 이동언;이윤석
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권2호
    • /
    • pp.69-77
    • /
    • 2009
  • 스트림 서비스 환경에서는 지속적으로 입력되는 막대한 양의 데이터에 대해 원하는 조건을 탐색하는 실시간 질의처리가 요구된다. 기존의 R-tee기반 질의처리 기술은 각 이벤트에 대해 트리 전체에 대해 동일한 탐색과정을 반복해야 하므로 이를 효율적으로 감당할 수 없었다. 한편 센서 측정값을 비롯한 대부분의 스트림 데이터는 매우 높은 지역성을 가지며 이를 활용하여 탐색 공간을 크게 줄일 수 있다. 따라서 본 연구에서는 스트림 데이터의 지역성을 활용하여 스트림 환경에 적합한 질의처리 기법을 제안하였다. 또한 이 프레임웍을 활용하여 스트림 환경에서 어플리케이션이 요구하는 다양한 질의처리 서비스를 개발할 수 있을 것으로 기대된다. 본 연구에서 구현한 프로토타입 시스템을 스트림 환경에 적용해 얻은 실험 결과를 통해, 스트림 환경에서 기존질의처리 기법보다 더 적합하고 효율이 크게 개선됨을 확인할 수 있었다.

실시간 클라이언트-서버 DBMS에서 효율적인 트랜잭션 처리를 위한 낙관적 캐쉬 일관성 유지 및 동시성 제어 (Optimistic Cache Consistency and Concurrency Control for Efficient Transaction Processing in a Real-Time Client-Server DBMS)

  • 김영성;강현철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권6호
    • /
    • pp.735-751
    • /
    • 1999
  • 클라이언트-서버 DBMS에 대한 기존의 연구는 클라이언트 데이터 캐슁이 캐쉬 일관성 유지에 드는 오버헤드에도 불구하고 시스템의 성능향상에 유용함을 보여주었다 본 논문에서는 시간적 제약을 가지는 실시간 트랜잭션을 처리하는데 있어서도 클라이언트 데이터 캐슁이 실시간 트랜잭션의 마감시간 충족률을 높이는데 유용하다는 것을 보였다. 기존실시간 데이터베이스 시스템에서 동시성 제어 기법과 실시간 트랜잭션 스케쥴링 기법을 통합한 것처럼 , 캐쉬 일관성 유지 및 동시성 제어 기법과 실시간 트랜잭션 스케쥴링 기법을 통합한 낙관적 알고리즘을 제시하고 클라이너트 데이터 캐슁을 지원하지 않는 경우와 그 성능을 비교하였다. 성능 평가 결과데이타의 지역성이 낮은 작업부하에서는 , 클라이언트 캐쉬의 이용으로 인해 마감시간을 어긴 실시간 트랜잭션의 비율 감소가 크지 않았지만(10%이하), 데이터의 지역성이 높은 작업부하에서는 그 감소폭이 컸다. HOTCOLD 작업부하의 경우 클라이언트의 수가 50, 트랜잭션의 데이터 변경률이 20% 일 때 마감시간을 어긴 실시간 트랜잭션의 비율이 약 47%감소하였다.

지역별 차별화된 지방소멸 대응 방향성 제시 (Proposal for Direction of Response to Disappearance of Differentiated Local Areas)

  • 김성진;이동은
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
    • /
    • pp.161-163
    • /
    • 2023
  • 본 논문은 K-지방소멸지수를 바탕으로 지역 성장에 초점을 두어 지방소멸 대응 방향성을 제시한다. 연령별 추계인구 데이터와 총 요소 생산성 데이터를 비교하여 청년층의 감소가 지역 성장에 미치는 영향을 보여준다. 이에 따라 연도별 청년이 가장 많이 유출되는 지역을 샘플링하여 전출 사유를 알아보고 지역별 차별화된 대응 방향성을 제시한다.

  • PDF