• 디지털콘텐츠학회 논문지
• /
• 제15권4호
• /
• pp.533-545
• /
• 2014

IT기술이 발전함에 따라, 우리가 접하는 데이터의 양은 기하급수적으로 늘어나고 있다. 이처럼 방대한 데이터들을 분석하고 관리하기 위한 기술로 등장한 것이 빅데이터 분산처리시스템이다. 기존 분산처리시스템에 대한 품질평가는 정형 데이터 중심의 환경을 바탕으로 이루어져 왔다. 그러므로, 이를 비정형 데이터 분석이 핵심인 빅데이터 분산처리시스템에 그대로 적용시킬 경우, 정확한 품질평가가 이루어질 수 없다. 따라서, 빅데이터 분석 환경을 고려한 분산처리시스템의 품질평가모델에 대한 연구가 필요하다. 본 논문에서는 소프트웨어 품질에 관한 국제 표준인 ISO/IEC9126에 근거하여 빅데이터 분산처리 시스템에서 요구되는 품질평가 요소를 도출하고, 이를 측정하기 위한 메트릭을 정의함으로써 새로이 품질평가모델을 제안한다.

• Structural Monitoring and Maintenance
• /
• 제7권4호
• /
• pp.345-365
• /
• 2020

At present, many machine leaning and data mining methods are used for analyzing and predicting structural response characteristics. However, the platform that combines big data analysis methods with online and offline analysis modules has not been used in actual projects. This work is dedicated to developing a multifunctional Hadoop-Spark big data platform for bridges to monitor and evaluate the serviceability based on structural health monitoring system. It realizes rapid processing, analysis and storage of collected health monitoring data. The platform contains offline computing and online analysis modules, using Hadoop-Spark environment. Hadoop provides the overall framework and storage subsystem for big data platform, while Spark is used for online computing. Finally, the big data Hadoop-Spark platform computational performance is verified through several actual analysis tasks. Experiments show the Hadoop-Spark big data platform has good fault tolerance, scalability and online analysis performance. It can meet the daily analysis requirements of 5s/time for one bridge and 40s/time for 100 bridges.

• 디지털융복합연구
• /
• 제14권4호
• /
• pp.251-258
• /
• 2016

빅 데이터 처리는 데이터의 크기나 복잡도가 커서 기존의 전통적인 데이터 처리 기법으로는 다루기 힘든 데이터의 처리를 의미한다. 싱글보드 컴퓨터를 포함하는 스마트 기기의 보급은 데이터를 처리하는 방법에 많은 영향을 미치고 있으며 이 들을 활용하여 데이터를 처리하는 기법에 대한 연구가 진행되고 있다. 본 연구에서는 빅 데이터 처리에 필요한 분산처리 시스템을 데스크톱 기기 환경이 아니라 라즈베리파이를 활용하여 하둡 분산처리 환경을 구축하는 방안을 제시한다. 또한 제안하는 시스템의 다양한 테스트를 통한 성능 분석과 스케일링의 용이성을 통해 구축한 학습 환경 구성의 효율성을 보인다.

• 한국콘텐츠학회논문지
• /
• 제22권6호
• /
• pp.125-134
• /
• 2022

이 연구는 인문학적 관점에서 빅데이터를 활용하기 위해 현재 해결해야 할 과제는 무엇인지를 비판적으로 고찰하고자 하였다. 이를 위해 빅데이터를 활용함에 있어서 빅데이터를 수집할 때, 처리할 때, 그리고 사용할 때 발생할 수 있는 문제를 세 가지로 제시하고 논의하였다. 그 첫 번째로 데이터 자체의 문제점을 지닐 것으로 보이는 가짜 정보를 지적하고 기사형 광고와 정치 관련 가짜 뉴스를 살펴보았다. 두 번째는 빅데이터 처리과정과 그 결과의 문제점으로 알고리즘에 의한 차별을 들었다. 포털 사이트에서 엔지니어를 검색한 결과를 분석함으로써 알고리즘에 의한 차별이 존재함을 확인하였다. 마지막으로 사람과 관련한 개인 정보를 사용함에 있어서, 이에 대한 문제점을 프라이버시권, 정보자기결정권, 잊힐 권리 세 가지로 나누어 논의하였다. 이 연구는 빅데이터 시대에 인문학적 관점에서 빅데이터 활용 측면의 당면한 문제를 지적한 점과 빅데이터의 활용 과정인 수집, 처리, 사용에서 일어날 수 있는 문제점을 각각 논의한 점에서 의미가 있다고 본다.

• 디지털융복합연구
• /
• 제11권4호
• /
• pp.267-271
• /
• 2013

우리사회는 점점 더 융/복합 현상이 가속화되고, 광범위한 영역으로 확대되고 있다. 이러한 중심축에는 정보통신 기술이 자리잡고 있음은 당연한 일이다. 일례로 정보통신기술과 의료산업의 융합의 결과로 스마트 헬스케어 산업이 등장하였으며, 모든 분야에 정보통신 기술을 접목하고자 하는 노력들이 계속되고 있다. 이로 인해 우리주변에는 수많은 디지털 데이터들이 만들어지고 있다. 또 다른 한편으로는 대중화 되고 있는 스마트폰, 태블릿PC와 카메라, 게임기기등을 통하여 다양한 데이터들이 생성되고 있다. 본 연구에서는 광범위하게 발생하고 있는 빅데이터에 대한 활용 상태를 알아보고 빅데이터 플랫폼의 한 축인 처리 프로세스들에 대해 비교, 분석하였다.

• 한국산학기술학회논문지
• /
• 제17권12호
• /
• pp.716-722
• /
• 2016

급격한 IT 환경의 변화에 따라 스마트 시대의 다양한 디지털 데이터가 폭발적으로 증가하고 있다. 이에 따라 다양한 영역에서 빅데이터를 활용한 서비스와 관련 기술들이 연구 및 개발되고 있다. 스마트교육에 있어서 빅데이터의 활용도는 학생, 교사, 학부모 등의 입장에서 많은 잠재력을 지니고 있다. 본 논문에서는 빅데이터에 대해 알아보고, 교육적 활용 시나리오에 대해서 살펴본다. 또한 빅데이터를 통한 맞춤형 교육 서비스를 도출하고, 이를 활용할 수 있는 방안을 제안하고자 한다. 이를 위해 교육용 빅데이터 처리 기술을 분석하고, 빅데이터 처리를 위한 시스템을 설계하고, 교육용 빅데이터를 활용하기 위해서 필요한 교육 서비스 방안을 제시하였다. 이러한 방안이 제대로 적용될 수 있는지 시범적으로 업무과 교육을 위한 클라우드 기반에서 동작하는 테스트 플랫폼을 구현하였다. 이를 교사들이 직접 사용해 보고 나서, 업무와 교육에서의 흥미도, 즐거움, 도구 사용 느낌, 긴장감이나 걱정, 자신감 등을 토대로 설문을 실시하고, 그 결과를 분석하여 교육용 빅데이터를 사용하기 위한 기반을 마련하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.552-553
• /
• 2024

협력적 필터링은 추천시스템을 구축하는 알고리즘으로 고객별 선호도를 예측하는데 사용되고 있다. 이에 본 연구는 행복감에 영향을 주는 요인인 자존감과 생활여건을 사용하여, 협력적 필터링을 기반으로 한 예측정확도가 높은 모형을 연구하고자 한다. 이를 위해, 자존감과 생활여건에 대한 응답자 간의 유사도 가중치를 각각 계산한 후, 자존감 유사도 가중치를 적용한 모형으로 행복감을 예측하고, 자존감 유사도 가중치에 생활여건 유사도 가중치를 부여한 유사도 가중치를 적용한 모형으로 행복감을 예측하였다. 그 결과 전자의 모형이 후자의 모형보다 예측정확도가 높게 나타났다.

• 한국전자통신학회논문지
• /
• 제11권4호
• /
• pp.433-440
• /
• 2016

최근 IT분야에서 화두가 되고 있는 빅데이터 처리를 위한 시스템 환경의 구축을 위해서는 다수의 컴퓨터를 네트워크 장비를 통해 연결하여 노드를 구성하거나, 하나의 컴퓨터에 다수의 가상 호스트를 통한 클라우딩 환경을 구축하여야 한다. 그러나 이러한 빅데이터 분석 시스템을 구축하는 것은 복잡한 시스템 구성과 비용적인 측면에서 많은 제약이 따른다. 이러한 제약은 중요한 국가 경쟁력의 하나로 부각되고 있는 빅데이터 전문 인력 양성에 큰 걸림돌이 되고 있다. 이에 본 연구에서는 빅데이터 분야의 인력 양성을 위한 교육현장에서 저렴한 가격으로 실용적인 교육이 가능한 라즈베리파이 보드 기반의 교육용 빅데이터 분석 시스템을 제안하였다.

• 한국측량학회지
• /
• 제35권5호
• /
• pp.405-414
• /
• 2017

Spatial data processing often poses challenges due to the unique characteristics of spatial data and this becomes more complex in spatial big data processing. Some tools have been developed and provided to users; however, they are not common for a regular user. This paper presents a benchmark test between two notable tools of spatial big data processing: GIS Tools for Hadoop and SpatialHadoop. At the same time, a MapReduce application is introduced to be used as a baseline to evaluate the effectiveness of two tools and to derive the impact of number of maps/reduces on the performance. By using these tools and New York taxi trajectory data, we perform a spatial data processing related to filtering the drop-off locations within Manhattan area. Thereby, the performance of these tools is observed with respect to increasing of data size and changing number of worker nodes. The results of this study are as follows 1) GIS Tools for Hadoop automatically creates a Quadtree index in each spatial processing. Therefore, the performance is improved significantly. However, users should be familiar with Java to handle this tool conveniently. 2) SpatialHadoop does not automatically create a spatial index for the data. As a result, its performance is much lower than GIS Tool for Hadoop on a same spatial processing. However, SpatialHadoop achieved the best result in terms of performing a range query. 3) The performance of our MapReduce application has increased four times after changing the number of reduces from 1 to 12.

• 한국멀티미디어학회논문지
• /
• 제22권2호
• /
• pp.194-202
• /
• 2019

In the information society represented by the Fourth Industrial Revolution, various types of data and information that are difficult to see are produced, processed, and processed and circulated to enhance the value of existing goods. The IoT(Internet of Things) paradigm will change the appearance of individual life, industry, disaster, safety and public service fields. In order to implement the IoT paradigm, several elements of technology are required. It is necessary that these various elements are efficiently connected to constitute one system as a whole. It is also necessary to collect, provide, transmit, store and analyze IoT data for implementation of IoT platform. We designed and implemented a big data processing IoT platform for IoT service implementation. Proposed platform system is consist of IoT sensing/control device, IoT message protocol, unstructured data server and big data analysis components. For platform testing, fixed IoT devices were implemented as solar power generation modules and mobile IoT devices as modules for table tennis stroke data measurement. The transmission part uses the HTTP and the CoAP, which are based on the Internet. The data server is composed of Hadoop and the big data is analyzed using R. Through the emprical test using fixed and mobile IoT devices we confirmed that proposed IoT platform system normally process and operate big data.