• Title/Summary/Keyword: 처리비용

Search Result 4,595, Processing Time 0.031 seconds

A Join Query with Aggregation functions Using Mapreduce (집계 함수를 포함하는 조인 질의의 맵리듀스를 사용한 효율적인 처리 기법)

  • Oh, So Hyeon;Lee, Ki Yong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.132-135
    • /
    • 2015
  • 맵리듀스(MapReduce)는 분산 환경에서의 빅데이터(Big Data), 즉 대용량 데이터를 처리하는 프로그래밍 모델이다. 대용량의 데이터를 분석하기 위해서 집계 함수(Aggregation function)로 데이터를 처리할 수 있다. 본 논문에서는 맵리듀스 환경을 기반으로 SQL 쿼리에서 집계 함수를 더 적은 비용으로 수행하며 효율적으로 처리할 수 있는 두 가지 전략을 제안한다. 두 가지 전략 중 더 높은 성능을 보이는 전략을 더 효율적인 처리 방법으로 판단한다. 첫 번째 전략은 두 테이블을 Join하여 집계 함수를 처리하는 방법이다. 두 번째 전략은 집계 함수를 처리하여 Join에 참여할 튜플의 수를 최소로 줄인 후 Join을 수행하고 다시 집계 함수를 처리하는 방법이다. 두 제안 방법을 비교하기 위하여 실험을 한 결과 두 번째 전략이 더 적은 비용이 드므로 더 효율적인 처리 방법인 것으로 보인다.

Disproportional Enlargement Policy for Indices of RFID Tag Data (RFID 태그 데이터의 색인을 위한 불균형 확장 정책)

  • Kim, Gi-Hong;Ahn, Sung-Woo;Hong, Bong-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.421-424
    • /
    • 2006
  • RFID 시스템에서 태그를 부착한 객체의 위치를 추적하는 응용이 중요하며 태그 위치를 추적하기 위한 질의를 효율적으로 처리하기 위해서는 태그 궤적의 저장 및 검색을 빠르게 처리 할 수 있는 색인이 필요하다. 기존의 시공간 기반 이동체 색인과는 달리 태그 위치 색인은 태그 식별자(tid), 리더 식별자(rid), 시간(time)을 도메인으로 가진다. RFID 환경에서는 태그 위치 색인의 rid 와 tid 도메인의 크기가 크고 한쪽 도메인으로 불균등한 영역 질의의 발생이 빈번하다. 따라서, 최소 면적 확장 정책에 따른 기존의 이동체 색인의 삽입 기법을 태그 위치 색인에 그대로 적용했을 경우 질의 영역과 생성된 노드 간의 겹침이 심하게 되어 색인 검색 비용이 증가하는 문제가 발생한다. 논문에서는 R$^{\ast}$-tree 의 삽입 정책을 따르는 태그 위치 색인의 삽입 방법으로 불균형 확장 정책을 제안한다. 제안한 삽입 정책은 둘레길이에 가중치를 부여하는 방법이며 이러한 정책을 사용함으로써 불균등한 질의 영역으로 인해 발생하는 질의 영역과 노드간의 중첩을 최소화하여 검색 시 노드 접근 횟수를 줄인다. 또한 실험을 통하여 기존 삽입 방법인 최소 면적 확장 정책의 삽입 비용과 검색 비용을 비교하였으며 그 결과 불균등한 질의 영역을 가지는 RFID 환경에서 삽입 및 검색 비용을 줄여 성능을 향상시켰다.

  • PDF

Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure (가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인)

  • Park, Sang-Keun;Park, Soon-Young;Kim, Myung-Keun;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

Data Management Method of Table Unit for Efficient Load in a Spatial Data Warehouse Builder (공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법)

  • Kim, Hyung-Sun;You, Byeong-Seob;Park, Soon-Young;Lee, Jae-Dong;Bae, Hae-Young
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.79-81
    • /
    • 2005
  • 공간 데이터 웨어하우스 구축기는 운영 데이터베이스의 데이터를 추출하여, 공간 데이터 웨어하우스 서버에 적재하는 과정을 효율적으로 관리하는 시스템이다. 구축기는 적재로 인한 서버의 부하를 줄이기 위하여 적재할 데이터를 임시 저장하는데, 기존 기법은 적재할 데이터를 하나의 저장 공간에 관리한다. 따라서 서버가 특정 차원 테이블에 대한 실시간 질의처리를 위해 특정 차원 테이블의 즉시 적재를 요청할 경우, 구축기는 이를 위해 임시 저장한 모든 데이터를 검색하므로 처리비용이 증가한다. 또한, 하나의 저장공간에 적재할 데이터를 유지하여 서버에 데이터 적재 시, 저장을 위해 혼합된 데이터를 분석하는 비용이 증가한다. 본 논문에서는 공간 데이터 웨어하우스 구축기에서 추출된 데이터의 효율적인 적재를 위한 테이블 단위의 데이터 관리 기법을 제안한다. 제안 기법은 운영 데이터베이스로부터 추출한 데이터를 서버에 적재할 차원 테이블 단위로 구축기에서 각각 다른 저장 공간에 관리한다. 따라서 테이블 단위의 데이터 관리로 실시간 질의처리를 위한 특정 차원 테이블의 즉시 적재 비용이 감소하며, 테이블 단위의 병렬전송이 가능하여 전송비용이 감소한다. 또한, 서버로 전송된 데이터는 테이블 단위의 벌크 삽입이 가능하여 적재시간이 감소한다.

  • PDF

Analysis of the Economic Impact of the Change in Congestion Management in the Korean Electricity Market (송전 혼잡처리방법 변경이 시장 참여자 수익에 미치는 영향 분석)

  • Joo, Sung-Kwan;Kim, Ji-Hui;Moon, Guk-Hyun
    • Journal of the Korean Institute of Illuminating and Electrical Installation Engineers
    • /
    • v.22 no.6
    • /
    • pp.134-140
    • /
    • 2008
  • A switch in congestion management nile in an electricity market may have positive or negative impact on the surplus of a market participant. As a number of wholesale electricity markets around the world either have already adopted or plan to implement Locational Marginal Pricing (LMP) for energy and congestion management, it is necessary to study the economic impact of a change in congestion management in the Korean electricity market. However, the impact of congestion management on consumer costs and generator surplus has not been studied for the electricity market in Korea. This paper examines how a change in congestion management affects consumer costs and generator surplus in the Korean electricity market.

Economical Feasibility of the Treatment Methods of the Dredged Sediments from Contaminated Agricultural Reservoirs (농업용 저수지 준설토의 처리 공법에 따른 경제성 분석)

  • Oh, Kyoung-Hee;Cho, Young-Cheol
    • Journal of Korean Society of Environmental Engineers
    • /
    • v.35 no.10
    • /
    • pp.756-762
    • /
    • 2013
  • The economical feasibility was conducted to find the adequate method to treat the dredged sediments from agricultural reservoirs in a pilot project that had been operated to improve the quality of water and benthic environments by dredging of contaminated sediments. For benefit/cost (B/C) analysis, the net expenses were considered as the costs of project, and the benefits were calculated from the saving of waste-treatment cost through reuse of dredged sediment, the saving of construction cost of settling pond, and the values of retained water by dredging. Although the economic feasibility depended on the sites of operation, the average B/C value of the pilot project was estimated as 1.32, indicating this project is economically feasible. Depending on the treatment methods, the B/C values were in the order of the methods of coagulating sedimentation, machinery dewatering, stabilization through exothermic reaction, and soil improvement and stabilization. The machinery dewatering method is estimated as the most adequate one to treat the dredged sediments because of the minimum riskiness of secondary pollution, the recyclability, and its economic feasibility.