• International journal of advanced smart convergence
• /
• 제8권1호
• /
• pp.82-86
• /
• 2019

We aim to use public data different from the remote BEMS energy diagnostics technology and already established and then switch the conventional operation environment to a big-data-based integrated management environment to operate and build a building energy management environment of maximized efficiency. In Step 1, various network management environments of the system integrated with a big data platform and the BEMS management system are used to collect logs created in various types of data by means of the big data platform. In Step 2, the collected data are stored in the HDFS (Hadoop Distributed File System) to manage the data in real time about internal and external changes on the basis of integration analysis, for example, relations and interrelation for automatic efficient management.

• 디지털콘텐츠학회 논문지
• /
• 제14권4호
• /
• pp.447-454
• /
• 2013

수많은 CCTV에서 기록 보관되는 영상 데이터가 폭발적으로 증가하면서, 빅데이터 환경에 적합한 CCTV 영상 데이터의 처리와 응용이 큰 이슈가 되고 있다. 본 논문에서는 대규모 CCTV 영상 데이터를 하둡 기반으로 병렬처리하고, 이를 활용한 VRT(Vehicle Route Tracking) 시스템을 설계 구현한다. VRT 시스템은 대규모 차량 번호판 인식 시스템의 특성을 가지며, 구글 맵을 통해 특정 차량의 이동경로를 빠른 시간 내에 추적 가능케 한다. 그리고 VRT 시스템의 성능 평가를 위한 실험을 통하여 단일 PC와 하둡 환경에서 대규모 CCTV 영상 데이터의 번호판 인식 시간을 비교 분석한다.

• 한국컴퓨터정보학회논문지
• /
• 제19권8호
• /
• pp.73-81
• /
• 2014

본 연구에서는 활용 기술로 데이터 저장 레이어, 데이터 처리 레이어, 데이터 분석 레이어, 시각화 레이어 등의 빅 데이터 기술을 활용한 개발 방법을 제안한다, 각 단계에서 저장, 처리, 분석된 데이터는 시각화를 통하여 볼 수 있게 하였다. Hadoop을 통하여 데이터를 처리한 후 처리된 데이터를 Mahout으로 실행하여 분석 결과를 시각화 하였다. 이 과정을 통해서 금융 상품에 가입된 고객의 여러 특성을 파악하였고, 각 고객에 따른 금융 상품의 추천을 적시에 수행할 수 있었다. 본 연구에서는 빅 데이터의 배경 및 문제점을 소개하고, 빅 데이터가 새로운 비즈니스 기회를 어떻게 창출하는지 금융상품 추천 사례를 중심으로 개발 방법과 사례 연구를 논의한다.

• International journal of advanced smart convergence
• /
• 제8권2호
• /
• pp.102-108
• /
• 2019

Big data was associated with three key concepts, volume, variety, and velocity. Securities and investment services produce and store a large data of text/numbers. They have also the most data per company on the average in the US. Gartner found that the demand for big data in finance was 25%, which was the highest. Therefore securities and investment companies produce the largest data such as text/numbers, and have the highest demand. And insurance companies and credit card companies are using big data more actively than banking companies in Korea. Researches on the use of big data in securities and investment companies have been found to be insignificant. We surveyed 22 major securities and investment companies in Korea for activating big data. We can see they actively use AI for investment recommend. As for big data of securities and investment companies, we studied open API. Of the major 22 securities and investment companies, only six securities and investment companies are offering open APIs. The user OS is 100% Windows, and the language used is mainly VB, C#, MFC, and Excel provided by Windows. There is a difficulty in real-time analysis and decision making since developers cannot receive data directly using Hadoop, the big data platform. Development manuals are mainly provided on the Web, and only three companies provide as files. The development documentation for the file format is more convenient than web type. In order to activate big data in the securities and investment fields, we found that they should support Linux, and Java, Python, easy-to-view development manuals, videos such as YouTube.

• 한국기계가공학회지
• /
• 제18권6호
• /
• pp.82-90
• /
• 2019

To reduce emissions of marine pollutants, regulations are being tightened around the world. In the shipbuilding and shipping industries, various countermeasures are being put forward. As there are limits to applying countermeasures to ships already in operation, however, it is necessary for these vessels to use energy efficiently. The sensors installed on ships typically gather a very large amount of data, and thus a big data platform is needed to manage and analyze the data. In this paper, we build a big data analysis platform based on Hadoop and Spark, and we present a method to detect abnormal ship operation using the platform. We also utilize real ship operation data to discuss the data analysis experiment.

• Journal of the Korean Data and Information Science Society
• /
• 제24권5호
• /
• pp.1013-1027
• /
• 2013

대용량 데이터 분석의 필요성이 급격히 증대되면서 이를 가능케 해 주는 플랫폼인 하둡과 그 내부적인 계산 모형인 맵리듀스에 대한 관심 또한 늘고 있다. 본고에서는 R 등의 통계 프로그래밍에 익숙한 데이터 분석가가 하둡을 사용하고자 할 때 알아야 할 기본 개념들을 R과 하둡을 결합하는 몇가지 예제와 함께 소개한다.

• 한국컴퓨터정보학회논문지
• /
• 제20권8호
• /
• pp.77-83
• /
• 2015

The storage and retrieval of multimedia data is becoming increasingly important in many application areas including record management, video(CCTV) management and Internet of Things (IoT). In these applications, the files containing multimedia that need to be stored and managed is tremendous and constantly scaling. In this paper, we propose a technique to retrieve a very large number of files, in multimedia format, using the Hadoop Framework. Our strategy is based on the management of metadata that describes the characteristic of files that are stored in Hadoop Distributed File System (HDFS). The metadata schema is represented in Hbase and looked up using SQL On Hadoop (Hive, Tajo). Both the Hbase, Hive and Tajo are part of the Hadoop Ecosystem. Preliminary experiment on multimedia data files stored in HDFS shows the viability of the proposed strategy.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.50-53
• /
• 2016

Image processing techniques play an increasingly important role in many aspects of our daily life. For example, it has been shown to improve agricultural productivity in a number of ways such as plant pest detecting or fruit grading. However, massive quantities of images generated in real-time through multi-devices such as remote sensors during monitoring plant growth lead to the challenges of big data. Meanwhile, most current image processing systems are designed for small-scale and local computation, and they do not scale well to handle big data problems with their large requirements for computational resources and storage. In this paper, we have proposed an IPABigData (Image Processing Algorithm BigData) platform which provides algorithms to support large-scale image processing in agriculture based on Hadoop framework. Hadoop provides a parallel computation model MapReduce and Hadoop distributed file system (HDFS) module. It can also handle parallel pipelines, which are frequently used in image processing. In our experiment, we show that our platform outperforms traditional system in a scenario of image segmentation.

• Journal of the Korean Data and Information Science Society
• /
• 제26권5호
• /
• pp.1155-1166
• /
• 2015

기하급수적으로 증가하는 대용량 데이터를 저장, 분석하는데 기존 방식으로는 거의 불가능하여 이를 가능케 해 주는 기술이 바로 하둡이다. 최근에 R은 하둡기술을 활용하여 분산처리에 기반한 빅데이터 분석 엔진으로 활용되고 있다. 본 논문에서는 R과 하둡의 통합환경인 RHadoop을 이용하여 실제 데이터와 모의실험 데이터에서 다양한 데이터 크기에 따라 병렬 다중 회귀분석을 구현하고자 한다. 또한, 제안된 RHadoop 플랫폼의 성능을 평가하기 위해 기본 R 패키지의 lm 함수, bigmemory 상에서 유용한 biglm 패키지와 처리 속도를 비교하였다. 실험결과 RHadoop은 데이터 노드가 많을수록 병렬처리로 인해 빠른 처리속도를 보였고 또한 대용량의 데이터에 대해 다른 패키지들보다 빠른 처리속도를 보였다.

• 디지털융복합연구
• /
• 제14권9호
• /
• pp.317-323
• /
• 2016

빅데이터는 현재 기업 경쟁력의 주요 자산으로 여겨지고 있고 향후에 그 영향력은 더욱 확대될 것으로 전망된다. 그 중요성을 인식한 기업들은 이미 빅데이터를 제품 개발과 마케팅에 적극적으로 활용하고 있으며 정치, 스포츠 등 사회 전반에 걸쳐 적용분야는 점점 늘어나고 있다. 그러나 시스템 구축에 따른 노하우 부족과 고비용은 빅데이터 시스템 도입에 여전히 큰 장애가 되고 있다. 본 논문에서는 중소규모 오프라인 마켓의 POS 판매 데이터를 빅데이터 시스템 중 오픈소스인 하둡(Hadoop) 및 하이브(Hive)를 기반으로 하는 빅데이터 시스템 구현을 목표로 한다. 이러한 융복합을 통해 단순히 손익분석과 재고관리 등에 집중되었던 기존 판매 시스템을 보완하여 고객의 소비패턴과 선호도 조사, 수요에 대한 사전 예측이 가능하도록 하는 경영자의 합리적인 의사결정에 기초자료로 활용할 수 있을 것으로 기대된다.