• 제목/요약/키워드: 데이터 관리기법

검색결과 2,325건 처리시간 0.039초

분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법 (Data Replication and Migration Scheme for Load Balancing in Distributed Memory Environments)

  • 최기태;윤상원;박재열;임종태;복경수;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.44-49
    • /
    • 2016
  • 최근 소셜 미디어의 성장과 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 급증하고 있다. 이러한 대용량의 데이터를 효율적으로 처리하기 위해 분산 메모리 처리 시스템을 사용한다. 하지만 분산 환경에서 특정 노드에 부하가 집중이 되면 노드의 성능이 저하되는 문제가 발생한다. 본 논문은 분산 메모리 환경에서 노드의 부하를 적절하게 분배하는 부하 분산 기법을 제안한다. 제안하는 기법은 노드의 부하를 관리하기 위해 핫 데이터를 여러 노드에 복제하고 노드가 추가되거나 삭제될 때 노드의 부하를 고려하여 데이터를 이주시킨다. 클라이언트는 핫 데이터의 메타데이터 정보를 유지하여 직접 노드에 접근함으로써 중앙 서버의 접근을 감소시킨다. 성능 평가를 통해 제안하는 부하 분산 관리 기법이 기존에 캐시 관리 기법에 비해 우수함을 입증한다.

데이터추론 및 클라우드 호스팅 기법을 활용한 최적 에너지 관리시스템 구현 및 성능분석 (Implementation and Performance Analysis of An Optimal Energy Management System Using Data Inference and Cloud Hosting Scheme)

  • 김경신;강문식
    • 전자공학회논문지
    • /
    • 제53권10호
    • /
    • pp.51-57
    • /
    • 2016
  • 본 논문에서는 에너지관리의 효율성 향상을 위하여 데이터 추론기법과 클라우드 호스팅 기법을 활용한 최적의 에너지 관리시스템을 제안하였다. 에너지 절약 및 효율적인 관리 기법이 에너지 생산 및 공급을 줄이기 위해서 매우 유용하다는 점에 대한 관심이 부각되고 있다. 에너지 관리시스템은 컴퓨터를 사용하여 합리적인 에너지 이용과 함께 쾌적하고 기능적인 업무 환경을 효율적으로 유지 보전하기 위한 제어 관리시스템을 의미한다. 제안 시스템은 에너지관리를 위해 다양한 설비를 제어하고, 에너지 소비 환경의 변화로부터 추론을 위한 데이터를 획득하며, 에너지를 사용하는 환경의 변화에 최적으로 적응함으로써 효율적인 에너지 관리가 가능하도록 구현되었다. 구현된 시스템의 성능을 평가하기 위해서 대상 설비에 대한 추론엔진이 작동하는 서버에서 월간 전력사용량을 고려한 실험을 실시하였고, 그 결과 우수한 성능을 보임을 확인하였다.

Optima Rainfall Intensity 기법을 이용한 실시간 강우센서 강우 산정기법 개발 (Development of Real-time Rainfall Sensor Rainfall Estimation Technique using Optima Rainfall Intensity Technique)

  • 이병현;황성진;김병식
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.429-429
    • /
    • 2019
  • 최근 들어 이상기후 등 다양한 환경적 요인으로 인해 국지적이고 집중적인 호우가 빈발하고 있으며 도로상의 교통체증과 도로재해가 사회적으로 큰 문제가 되고 있다. 이러한 문제를 해결하기 위해서는 실시간, 단기간 이동성 강우정보 기술과 도로 기상정보를 활용할 수 있는 방법에 대한 연구가 필요하다. 본 연구는 차량의 AW(AutoWiping) 기능을 위해 장착된 강우센서를 이용하여 강우정보를 생산하는 기술을 개발하고자 하였다. 강우센서는 총 4개의 채널로 이루어져있고, 초당 250개의 광신호 데이터를 수집하며, 1시간이면 약 360만 개의 데이터가 생산되게 된다. 5단계의 인공강우를 재현하여 실내 인공강우실험을 실시하고 이를 통해 강우센서 데이터와 강우량과의 상관성을 W-S-R관계식으로 정의하였다. 실내실험데이터와 비교하여 외부환경 및 데이터 생성조건이 다른 실외 데이터의 누적값을 계산하기 위해 Threshold Map 방식을 개발하였다. 강우센서에서 생산되는 대량의 데이터를 이용하여 실시간으로 정확한 강우정보를 생산하기 위해 빅 데이터 처리기법을 사용하여 계산된 실내 데이터의 Threshold를 강우강도 및 채널에 따라 평균값을 계산하고 $4{\times}5$ Threshold Map(4 = 채널, 5 = 강우정보 사상)을 생성하였고 강우센서 기반의 강우정보 생산에 적합한 빅데이터 처리기법을 선정하기 위하여 빅데이터 처리기법 중 Gradient Descent와 Optima Rainfall Intensity을 적용하여 분석하고 결과를 지상 관측강우와 비교검증을 하였다. 이 결과 Optima Rainfall Intensity의 적합도를 검증하였고 실시간으로 관측한 8개 강우사상을 대상으로 강우센서 강우를 생산하였다.

  • PDF

대용량 압축 데이터베이스를 위한 비대칭 색인 관리 기법 (Asymmetric Index Management Scheme for High-capacity Compressed Databases)

  • 변시우;장석우
    • 한국산학기술학회논문지
    • /
    • 제17권7호
    • /
    • pp.293-300
    • /
    • 2016
  • 전통적인 기존의 데이터베이스는 높은 성능을 얻기 위하여 느린 하드 디스크에서 관련된 레코드가 연속적으로 저장되어 있는 레코드 기반 모델을 활용한다. 그러나 읽기 집중적인 데이터 분석 시스템을 위해서는 컬럼 기반 압축 데이터베이스가 월등한 판독 성능으로 인하여 더 적합한 모델이 되고 있으며, 최근 플래시 메모리 SSD가 고속 분석용 시스템에 적합한 저장 매체로 선호되고 있다. 본 논문에서는 세로로 저장하는 컬럼 기반 스토리지 모델을 소개하고, 대용량 데이터웨어하우스 시스템을 위한 새로운 인덱스와 데이터 관리 기법을 제안한다. 제안된 인덱스 관리 기법은 두 개의 인덱스를 사용하는 비대칭 인덱스 이중화이며, 갱신용 마스터 인덱스와 판독용 컴팩트 인덱스를 활용하여 특히 읽기가 집중된 빅 데이터베이스에서 우수한 검색 성능을 얻는다. 그리고 본 데이터 관리 기법은 관련된 컬럼 압축과 두 개의 플래시 메모리 SSD를 이중화하여 높은 판독 성능과 처리 안정성에 도움을 준다. 고부하 워크로드 조건의 성능 평가 결과를 기반으로, 본 데이터 관리 기법이 기존 기법보다 검색 처리 및 응답 시간 측면에서 더 우수함을 보이고자 한다.

클라우드 컴퓨팅에서의 대규모 데이터를 위한 분산 병렬 처리 기법의 성능분석 (Performance Analysis of Distributed Parallel Processing Schemes for Large Data in Cloud Computing)

  • 홍승태;장재우
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2010년도 추계학술대회
    • /
    • pp.111-118
    • /
    • 2010
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 연구가 활발히 진행되고 있다. 한편, 효율적인 클라우드 컴퓨팅을 제공하기 위해서는, 막대한 양의 데이터를 수많은 서버들에 분산 처장하고 관리하기 위한 분산 데이터 처장 기법 빛 분산 병렬 처리 기법에 대한 연구가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 병렬 처리 기법에 대해 살펴보고, 이를 비교 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 대규모 데이터를 위한 분산 병렬 처리 기법에 대한 성능평가를 수행한다.

  • PDF

반능동형 센서 태그 데이터의 읽기 실패 시 회복 기법 (Recovery Technique for Fail to Read of Semi-Passive Sensor Tag Data)

  • 김수한;류우석;홍봉희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.745-749
    • /
    • 2009
  • RFID 기술을 사용하는 환경에서는 태그와 리더간에 Radio Frequency 를 이용한 무선 통신을 하기 때문에 서로간의 데이터 손실 없이 성공적인 통신을 항상 보장하기는 어렵다. 태그가 리더 영역 내에 있다 하더라도 주변 다른 전자제품의 전파 방해나 장애물의 영향으로 인해 센서 태그로부터 센싱 데이터를 읽는 도중에 데이터 손실이 발생 할 수 있다. 이러한 센서 데이터는 콜드 체인과 같은 물류환경에서 상품을 관리하기 위하여 중요하게 사용되기 때문에 센싱 데이터를 전송하는 도중에 손실된 데이터를 복구해야 한다. 본 논문에서는 반능동형 센서 태그로부터 센싱 데이터 값을 손실 하였을 때 완전한 결과 데이터로 복구하기 위한 회복 기법을 제안한다. 이를 지원하기 위해 결과 데이터 복구 기법과 Packet Size 제어 기법을 사용한다. 이 기법들은 회복 기법이 성공적인 데이터의 읽기 연산을 보장하고, 읽기 처리 속도를 빠르게 하는데 중요한 역할을 한다.

Customer Segmentation in the Insurance Industry: Present and Future

  • 염경민;유병준;이재환
    • 한국벤처창업학회:학술대회논문집
    • /
    • 한국벤처창업학회 2022년도 춘계학술대회
    • /
    • pp.153-155
    • /
    • 2022
  • 고객을 세분화하여 맞춤화된 서비스를 제공하는 것은 고객 관계 관리에 있어 중요하다. 빅데이터 분석 기법과 기계 학습 등을 활용한 분석 기법의 발전은 더욱 세밀한 고객 세분화를 가능케 했다. 하지만 새로운 분석 기법을 기업에서 효과적으로 적용하는 것은 여러 어려움이 존재한다. 본 연구는 특히 국내 보험 산업에서 데이터 분석 기법을 활용해 더욱 향상된 고객 세분화를 수행할 수 있는 방법에 대해 논의한다. 이를 위하여 실제 보험 설계사와의 심층 인터뷰를 통해 국내 보험 회사의 현상을 파악하고, 이를 기반으로 보험 산업에서 활용할 수 있는 가이드라인을 제시하고자 한다.

  • PDF

데이터 스트림 환경에서 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법 (Load balancing method of overload prediction for guaranteeing the data completeness in data stream)

  • 김영기;신숭선;백성하;이동욱;김경배;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제12권9호
    • /
    • pp.1242-1251
    • /
    • 2009
  • 유비쿼터스 환경에서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)은 수많은 센서로부터 생성되는 대량의 데이터 스트림을 처리한다. 기존의 시스템은 처리 능력 이상의 데이터 스트림이 입력되면 데이터의 일부를 제거하여 적정 부하를 유지하는 부하 제한 기법(Load Shedding)을 사용한다. 부하 제한 기법은 입력되는 데이터의 일부를 의도적으로 손실하여 데이터 완전도(Data Completeness)가 감소하기 때문에 처리 결과의 신뢰도 또한 감소한다. 따라서 본 논문에서는 시스템 처리 능력 이상의 데이터 스트림 입력 시 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법을 제안한다. 제안 기법은 데이터 손실이 예상되는 부하 시점을 미리 예측하고 예측된 부하 시점에 도달 시 부하를 분산하여 데이터 손실을 감소시킨다. 본 논문에서는 기존의 부하 제한 기법과의 비교 실험을 통해 제안 기법의 성능을 평가한다.

  • PDF

정보가전 환경에서 중복된 데이터의 효과적인 동기화 (Effective Synchronization of Replicated Data in Information Appliance Environment)

  • 강영호;장우석;노형준;정병대;손성용;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1795-1798
    • /
    • 2002
  • 정보가전 환경은 정보가전들 간의 홈 네트워크론 기반으로 한 상호 정보 교환을 통하여 사용자에게 보다 진보적인 홈 서비스를 제공한다. 정보가전 환경에서는 서로 다른 두 정보가전 내에 동일한 데이터가 중복되는 상황이 발생 가능하므로, 이러한 중복된 데이터의 일관성을 유지시켜 주기 위한 동기화 기능의 지원이 요구된다. 본 논문에서는 정보가전 환경에서 중복된 데이터의 일관성을 유지시키기 위한 효과적인 동기화 기법을 제안하였다. 제안하는 동기화 기법은 네트워크 전송량과 데이터 저장공간을 최소화함으로써 통합 데이터 관리 아키텍춰에서 좋은 성능을 발휘할 수 있다는 것이 큰 장점이다. 또한, 이 동기화 기법은 중앙집중방식의 통합 데이터 관리가 불가능한 현재의 환경과 이것이 가능하게 될 미래의 환경에 모두 적용할 수 있다.

  • PDF