• Proceedings of the Korea Contents Association Conference
• /
• 2013.05a
• /
• pp.39-40
• /
• 2013

최근 소셜 미디어의 성정과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서의 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이를 고려한 비-전용 분산 컴퓨팅 환경에 최적화된 데이터 재배치 알고리즘이 제안되었지만, 데이터 재배치 알고리즘을 수행함으로써 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과 기존 기법에 비해 데이터 재배치 블록 비율이 약 75% 감소하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.79-81
• /
• 2022

MPEG-VCM(Video Coding for Machines)에서는 머신비전(machine vision) 네트워크의 백본(backbone)에서 추출된 이미지/비디오 특징 압축을 위한 표준화를 진행하고 있다. 현재 VCM 표준기술 탐색 과정에서 가장 좋은 압축 성능을 보이는 MSFC(Multi-Scale Feature compression) 기반 압축 네트워크 모델은 추출된 멀티-스케일 특징을 단일-스케일 특징으로 변환하여 특징맵으로 구성하고 이를 VVC 로 압축한다. 본 논문에서는 MSFC 기반 압축 모델에서 Min-Max 값 시그널링을 제외한 최소-최대(Min-Max) 정규화를 포함한 개선된 특징맵 생성 기법을 제시한다. 즉, 제안기법은 VCM 디코더에서의 특징맵 복원을 위한 Min-Max 값을 학습 기반으로 생성함으로써 Min-Max 시그널링의 비트 오버헤드 절감뿐만 아니라 별도의 시그널링 기제를 생략한 보다 단순한 전송 비트스트림 구성을 가능하게 한다. 실험결과 제안기법은 이미지 앵커(Anchor) 대비 BPP-mAP 성능에서 83.24% BD-rate 이득을 보이며, 이는 기존 MSFC 보다 1.74%정도 다소 떨어지지만 별도의 Min-Max 시그널링 없이도 기존의 성능을 유지할 수 있음을 보인다.

• The Journal of the Korea Contents Association
• /
• v.13 no.9
• /
• pp.20-27
• /
• 2013

In recently years, with the growth of social media and the development of mobile devices, the data have been significantly increased. MapReduce is an emerging programming model that processes large amount of data. However, since MapReduce evenly places the data in the dedicated distributed computing environment, it is not suitable to the non-dedicated distributed computing environment. The data replacement algorithms were proposed for performance optimization of MapReduce in the non-dedicated distributed computing environments. However, they spend much time for date replacement and cause the network load for unnecessary data transmission. In this paper, we propose an efficient data replacement algorithm for the performance optimization of MapReduce in the non-dedicated distributed computing environments. The proposed scheme computes the ratio of data blocks in the nodes based on the node availability model and reduces the network load by transmitting the data blocks considering the data placement. Our experimental results show that the proposed scheme outperforms the existing scheme.

• Journal of Cadastre & Land InformatiX
• /
• v.47 no.2
• /
• pp.49-60
• /
• 2017

Recently, the use of mashup that integrates real-time data with spatial data such as tiled map and satellite imagery has been increased significantly. As the use of mashup has been extended to various fields of O2O, LBS, Smart City, and Autonomous Driving, the performance of mashup has become more important. Therefore, this study aims to compare and analyze the performance of various map platforms, when large amounts of real-time data are integrated with spatial data. Specifically, we compare the performance of most popular map platforms available in Korea, such as Google Maps, OpenStreetMap, Daum Map, Naver Map, olleh Map, and VWorld. We also compare the performance using most common web browsers of Chrome, Firefox and Internet Explorer. In the performance analysis, we measured and compared the initialization time of basic map and the mashup time of real-time data for the above map platforms. From analysis results, we could find that Google Maps, OpenStreetMap, VWorld, and olleh Map platforms showed a better performance than the others.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.23 no.5
• /
• pp.385-391
• /
• 2013

Big Data is data of big size which is not processed, collected, stored, searched, analyzed by the existing database management system. The parallel genetic algorithm using the Hadoop for BigData technology is easily realized by implementing GA(Genetic Algorithm) using MapReduce in the Hadoop Distribution System. The previous study that the genetic algorithm using MapReduce is proposed suitable transforming for the GA by MapReduce. However, they did not show good performance because of frequently occurring data input and output. In this paper, we proposed the MRPGA(MapReduce Parallel Genetic Algorithm) using improvement Map and Reduce process and the parallel processing characteristic of MapReduce. The optimal solution can be found by using the topology, migration of parallel genetic algorithm and local search algorithm. The convergence speed of the proposal method is 1.5 times faster than that of the existing MapReduce SGA, and is the optimal solution can be found quickly by the number of sub-generation iteration. In addition, the MRPGA is able to improve the processing and analysis performance of Big Data technology.

• Spatial Information Research
• /
• v.20 no.5
• /
• pp.67-76
• /
• 2012

Recently the mobile DBMS (Database Management System) is popular to store and manage large data in a mobile device. Especially, the research and development about mobile storage structure and querying method for navigation map data in a mobile device have been performed. The performance of the mobile DBMS in which random data accesses are most queries if the NAND flash memory is used as storage media of the DBMS is degraded. The reason is that the performance of flash memory is good in writing sequentially but bad in writing randomly as the features of the NAND flash memory. So, new storage structure and querying policies of the mobile DBMS are needed in the mobile DBMS in which a flash memory is used as storage media. In this paper, we have studied the policy of the database page management to enhance the performance of the frequent random update and applied this policy to the navigation-specialized mobile DBMS which supports incremental map update. And also we have evaluated the performance of this policy by experiments.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.58-60
• /
• 2005

대표적인 데이터마이닝 문제중의 하나인 연관규칙 탐사에는 지금까지 Apriori 기반의 많은 알고리즘들이 개발되어 왔다. 본 논문에서는 비트맵을 이용한 Apriori 알고리즘 구현방안을 제시한다. 우선, 핵심연산인 비트맵 논리곱(Bitmap AND)과 비트 카운팅(bit-counting)을 컴퓨터 CPU의 고급 기술을 이용해서 효과적으로 구현할 수 있음을 보인다. 또한, 트랜잭션 데이터를 비트맵으로 표현함으로써, 기존 Apriori와는 달리, 비트맵 논리곱 연산을 획기적으로 줄일 수 있는 방법을 제시한다. BAR의 이러한 구현기법을 통해, Apriori 기반의 최신 구현 방법에 비해, 성능이 최대 30배 정도 향상됨을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.125-128
• /
• 2015

최근 GPS가 기본 탑재된 스마트폰이 활성화된 이후 대량의 GPS 궤적 데이터를 전자지도에 매칭하여 분석하는 요구가 대두되고 있다. 그러나 기존에 연구된 맵매칭 기법은 주로 내비게이션용 알고리즘으로 대량의 GPS궤적을 서버에서 분석하기에는 속도 및 시스템 성능의 이슈가 있다. 본 연구는 대표적인 분산 NoSQL DB인 하듐 에코시스템의 HBase를 이용한 맵매칭 시스템에 대한 연구이다. 맵매칭을 위한 전자지도를 HBase탑재하기 위한 테이블 사양을 정의하였고, HBase와 연동하여 분석하는 맵매칭 알고리즘을 제시하고 Java로 구현하여 분석하였다. 이를 통해 대량의 GPS궤적을 NoSQL 기반 방법론을 통하여 효율적으로 빅데이터를 분석하였다.

• The KIPS Transactions:PartD
• /
• v.16D no.6
• /
• pp.845-850
• /
• 2009

Use of XML data has been increased with growth of Web 2.0 environment. XML is recognized its advantages by using based technology of RSS or ATOM for transferring information from blogs and news feed. Bitmap clustering is a method to keep index in main memory based on Relational DBMS, and which performed better than the other XML indexing methods during the evaluation. Existing method generates too many clusters, and it causes deterioration of result of searching quality. This paper proposes k-Bitmap clustering method that can generate user defined k clusters to solve above-mentioned problem. The proposed method also keeps additional inverted index for searching excluded terms from representative bits of k-Bitmap. We performed evaluation and the result shows that the users can control the number of clusters. Also our method has high recall value in single term search, and it guarantees the searching result includes all related documents for its query with keeping two indices.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.30 no.1A
• /
• pp.1-9
• /
• 2005

We have studied the dispersion properties of a 40 channel x 10 Gbit/s wavelength division multiplexer(WDM) transmission link using standard single mode fiber with all EDFA amplification over 30 x 100 km spans. The dispersion map of the link was investigated by adding fiber sections with positive or negative dispersion at the transmitter, within each amplifier span, and at the receiver. Optimum combinations of these dispersive fiber lengths were attained to significantly enhance the overall transmission performance.