• Journal of Information Processing Systems
• /
• 제17권1호
• /
• pp.37-50
• /
• 2021

Query applications based on nested data, the most commonly used form of data representation on the web, especially precise query, is becoming more extensively used. MapReduce, a distributed architecture with parallel computing power, provides a good solution for big data processing. However, in practical application, query requests are usually concurrent, which causes bottlenecks in server processing. To solve this problem, this paper first combines a column storage structure and an inverted index to build index for nested data on MapReduce. On this basis, this paper puts forward an optimization strategy which combines query execution service tree and frequent sub-query trajectory to reduce the response time of frequent queries and further improve the efficiency of multi-user concurrent queries on large scale nested data. Experiments show that this method greatly improves the efficiency of nested data query.

• 한국지리정보학회지
• /
• 제23권4호
• /
• pp.1-15
• /
• 2020

도시가 확장되고 지하시설물 관련 공사가 늘어남에 따라 지하시설물 관로 네트워크를 3차원으로 분석할 수 있는 기술이 절실히 요구되고 있다. 국내에서는 2015년부터 15종의 지하정보(지하시설물, 지하구조물, 지반)를 3차원 기반 지하공간통합지도로 구축하는 사업을 진행하고 있다. 하지만 현재 3차원 지하시설물 구축은 수작업 기반으로서 구축 방법이 매우 복잡하고 지자체별 수백만 건이 넘는 대용량 데이터를 처리하기에는 시간과 비용이 많이 발생한다. 본 논문은 3차원 지하시설물 모델의 가공 및 갱신 자동화 구축 프레임워크를 제시함으로써 3차원 지하시설물 모델을 최소비용으로 신속하게 구축하는 방안을 수립하였다. 본 연구에서 개발된 지하시설물 가공 및 부분갱신 자동화 기술들은 지하공간통합지도 구축사업에 즉시 현장적용이 가능할 것으로 기대한다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제4권1호
• /
• pp.13-17
• /
• 2012

Indexing allows converting raw document collection into easily searchable representation. Web searching by Google or Yahoo provides subsecond response time which is made possible by efficient indexing of web-pages over the entire Web. Indexing process gets challenging when the scale gets bigger. Parallel techniques, such as MapReduce framework can assist in efficient large-scale indexing process. In this paper we propose PDFindexer, system for indexing scientific papers in PDF using MapReduce programming model. Unlike Web search engines, our target domain is scientific papers, which has pre-defined structure, such as title, abstract, sections, references. Our proposed system enables parsing scientific papers in PDF recreating their structure and performing efficient distributed indexing with MapReduce framework in a cluster of nodes. We provide the overview of the system, their components and interactions among them. We discuss some issues related with the design of the system and usage of MapReduce in parsing and indexing of large document collection.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
• /
• pp.676-678
• /
• 2003

Recently, in according as rapid improvement of telecommunication markets and wireless internet technology, Location- Based Services (LBS) have been discussed as new 'Killer' application. The purpose of LBS is to determine location of user through mobile handset and to offer location information service to end-user. This paper has suggested an efficient transmission scheme of maps data as one of the important content services relating to data transmission of LBS in mobile environment. The basic system consists of three parts : (1) GIS (Geographic Information System) Server for storing, processing and handling map data, (2) Middleware Server for transmitting of map data by request of client, and (3) Client for requesting map data to Server and displaying them on handset. Also, in order to transmit map data, we are to expand WKB (Well Known Binary) in conformance to Simple Feature Specification of OGC (Open GIS Consortium), and increase efficiency of data transmission by developing trans mission data format to be able to transmit lightweight data and considering data compression technology.

• JSTS:Journal of Semiconductor Technology and Science
• /
• 제15권5호
• /
• pp.511-518
• /
• 2015

As the cost-per-byte of SSDs dramatically decreases, the introduction of SSDs to Hadoop becomes an attractive choice for high performance data processing. In this paper the cost-per-performance of SSD-based Hadoop cluster (SSD-Hadoop) and HDD-based Hadoop cluster (HDD-Hadoop) are evaluated. For this, we propose a MapReduce performance model using queuing network to simulate the execution time of MapReduce job with varying cluster size. To achieve an accurate model, the execution time distribution of MapReduce job is carefully profiled. The developed model can precisely predict the execution time of MapReduce jobs with less than 7% difference for most cases. It is also found that SSD-Hadoop is 20% more cost efficient than HDD-Hadoop because SSD-Hadoop needs a smaller number of nodes than HDD-Hadoop to achieve a comparable performance, according to the results of simulation with varying the number of cluster nodes.

• Communications for Statistical Applications and Methods
• /
• 제19권4호
• /
• pp.619-628
• /
• 2012

Noise reduction is an important issue in the field of image processing because image noise lowers the quality of the original pure image. The basic difficulty is that the noise and the signal are not easily distinguished. Simple smoothing is the most basic and important procedure to effectively remove the noise; however, the weakness is that the feature area is simultaneously blurred. In this research, we use ways to measure the degree of noise with respect to the degree of image features and propose a Bayesian noise reduction method based on MAP (maximum a posteriori). Simulation results show that the proposed adaptive noise reduction algorithm using Bayesian MAP provides good performance regardless of the level of noise variance.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2006년도 춘계학술발표대회
• /
• pp.925-928
• /
• 2006

본 논문에서는 영상에 워터마크를 삽입하고 추출하는 동시에 원영상을 복원하는 리버서블 워터마킹 알고리즘을 제안한다. 제안한 알고리즘의 핵심은 워터마크가 삽입된 영상에 변하지 않는 위치정보를 전달하는 것이다. 본 논문에서는 우선 원영상을 odd image와 even image로 분리한 다음odd image에 interpolation 기법을 이용하여 resizing시키고 resizing 된 영상(odd_resize_image)에서 기수항은 그대로 두고 우수항은 기수항과 우수항의 차이값으로 채우는 방법으로 location map을 얻는다. 이 location map 에 의해 워터마크를 삽입위치를 선택하면 추출과정에서도 같은 location map을 이용할 수 있기에 워터마크 삽입위치를 정확하게 판단하여 추출할 수 있고 동시에 원본 영상을 복원할 수 있다. 본 알고리즘은 영상에 변화를 적게 주었기 때문에 높은 비가시성을 보인다. 실험 결과 $256{\times}256$ 영상에서 PSNR이 평균 53.07dB의 우수한 비가시성을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (하)
• /
• pp.1371-1374
• /
• 2001

핸드오프는 이동국이 통화 중에 이동하더라도 새로운 통화 채널을 확보하여 진행중인 호를 새로운 채널로 전환하는 과정이다. 본 논문은 IMT-2000 망에서 MSC 간 핸드오프 과정의 설계를 목적으로 한다. 이와 관련하여 IMT-2000 망 구조를 기술하고, IMT-2000 MSC 간 핸드오프 처리 방안으로 B-ISUP 메시지를 이용한 방안과 IS-41의 MAP을 이용한 방안을 비교 분석하였다. 또한, IS-41 MAP 기반의 MSC 간 핸드오프 호 처리 절차에 대해 기술하고, 핸드오프 기반의 IMT-2000 교환기 소프트웨어 블록 구조 및 기능을 설계하였다. 그리고, IMT-2000MSC간의 핸드오프 경로 구성 방안을 제시하고, IS-634와 IS-41 MAP규정을 만족하는 IMT-2000망에서의 MSC간 핸드오프를 위한 교환기 내부 소프트웨어 블록간의 호 흐름을 설계하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.75-77
• /
• 2017

최근 급격히 증가하고 있는 네트워크 로그 상에서 보안위협에 신속히 대응하기 위해 기업들은 방화벽, IDS 등의 네트워크 보안 로그를 분석하여 보안 위협을 파악한다. Snort는 이러한 보안 위협에 대응하기 위해 네트워크 로그를 수집하는 도구 중 하나이다. 그러나 보안 관제 담당자는 방대한 양의 보안 관련 로그를 분석하기 위해 많은 시간이 필요하기 때문에, 관제 결과를 보고하고 대응하기까지 시간이 지체되는 문제가 존재한다. 이러한 문제를 해결하기 위해, 본 논문에서는 Snort 로그를 이용한 실시간 네트워크 공격패턴 분석 시스템을 제안한다. 제안하는 시스템은 대용량 데이터 처리에 효과적인 MapReduce 분산 처리를 활용하여 방대한 네트워크 로그를 추출 및 분석하기 때문에 보안 위협 상황 발생 여부를 실시간으로 빠르게 인지할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.821-828
• /
• 2018

Image Enhancement is used in various applications. Among them, unsharp masking methods can improve the contrast with a simple operation. However, it has problems of noise enhancement and halo effect caused by the use of a single filter. To solve this problems, adaptive processing using multi-scale and bilinear filters is being studied. These methods are effective for improving the halo effect, but it require a lot of calculation time. In this paper, we want to simplify adaptive filtering by generating a weight map based on local brightness. This weight map enables adaptive processing that eliminates the halo effect through a single multiplication operation. Through experiments, we confirmed the suppression of the halo effect through the result image of the proposed algorithm and existing algorithm.