• 디지털융복합연구
• /
• 제12권6호
• /
• pp.311-316
• /
• 2014

소셜 네트워크와 스마트폰의 대중화로 인하여 서버에 저장되어 있는 데이터를 손쉽게 사용할 수 있는 빅데이터 서비스가 증가하고 있다. 빅 데이터 처리기술은 빅 데이터 서비스에서 가장 중요한 기술 중 하나지만 보안에 대한 해결책이 미미한 상태이다. 본 논문에서는 빅 데이터 서비스에서 제공되는 분산된 대용량 데이터를 이중 해쉬를 이용하여 사용자가 손쉽게 데이터에 접근할 수 있는 다중 해쉬 체인 기반의 데이터 분산 처리 기법을 제안한다. 제안 기법은 빅 데이터를 데이터의 종류, 기능, 특성에 따라 해쉬 체인으로 묶어 데이터에 높은 처리량을 지원한다. 또한, 토큰 및 데이터 노드가 공격자에게 노출되었을 때 발생하는 보안 취약점을 해결하기 위해서 데이터의 속성 정보를 해쉬 체인의 연결 정보로 활용하여 빅 데이터의 접근 제어를 분산 처리한다.

• 전기학회논문지
• /
• 제65권7호
• /
• pp.1277-1282
• /
• 2016

The term "Big Data" has been defined to encapsulate a broad spectrum of data sources and data formats. It is often described to be unstructured data due to its properties of variety in data formats. Even though the traditional methods of structuring data in rows and columns have been reinvented into column families, key-value or completely replaced with JSON documents in document-based databases, the fact still remains that data have to be reshaped to conform to certain structure in order to persistently store the data on disc. ETL processes are key in restructuring data. However, ETL processes incur additional processing overhead and also require that data sources are maintained in predefined formats. Consequently, data in certain formats are completely ignored because designing ETL processes to cater for all possible data formats is almost impossible. Potentially, these unconsidered data sources can provide useful insights when incorporated into big data analytics. In this project, using big data solution, Apache Spark, we tapped into other sources of data stored in their raw formats such as various text files, compressed files etc and incorporated the data with persistently stored enterprise data in MongoDB for overall data analytics using MongoDB Aggregation Framework and MapReduce. This significantly differs from the traditional ETL systems in the sense that it is compactible regardless of the data formats at source.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2013년도 추계학술대회
• /
• pp.211-213
• /
• 2013

최근에 많은 기업현장에서, 빅데이터에 대한 착각과 이해가 현실화되고 있다. 빅데이터의 보존, 분석, 활용을 위한 일반적인 기술이 빠르게 증가하는 데이터의 양에 효과적으로 대응하기 위해서는 기능이 매우 제한적이다. 하지만, 인공지능이 빅데이터 분석력을 증가할 수 있는 몇 개의 가정이 존재한다. 본 연구에서는 인공지능 기술을 빅데이터 분석에 접목시키려는 노력을 보인 실무사례에 대해 연구하려고 한다. 우선 인공지능의 다양한 기술과 인공지능과 빅데이터 간의 관계에 대한 연구를 하고, 인공지능을 이용한 빅데이터 기업사례 분석을 수행하겠으며, 미래 빅데이터에 대한 역할도 언급하고자 한다.

• 한국측량학회지
• /
• 제34권2호
• /
• pp.207-215
• /
• 2016

The demand for spatial data service technologies is increasing lately with the development of realistic 3D spatial information services and ICT (Information and Communication Technology). Research is being conducted on the real-time provision of spatial data services through a variety of mobile and Web-based contents. Big data or cloud computing can be presented as alternatives to the construction of spatial data for the effective use of large volumes of data. In this paper, the process of building HLM (Hyper Live Map) using multi-source data to acquire stereo CCTV and other various data is presented and a big data service architecture design is proposed for the use of flexible and scalable cloud computing to handle big data created by users through such media as social network services and black boxes. The provision of spatial data services in real time using big data and cloud computing will enable us to implement navigation systems, vehicle augmented reality, real-time 3D spatial information, and single picture based positioning above the single GPS level using low-cost image-based position recognition technology in the future. Furthermore, Big Data and Cloud Computing are also used for data collection and provision in U-City and Smart-City environment as well, and the big data service architecture will provide users with information in real time.

• 정보교육학회논문지
• /
• 제24권2호
• /
• pp.201-214
• /
• 2020

최근 데이터 관련 법안이 개정되면서 빅데이터의 활용 분야는 점차 확장되고 있으며, 빅데이터 교육에 대한 관심이 증가하고 있다. 그러나 빅데이터를 활용하기 위해서는 높은 수준의 지식과 스킬이 필요하고, 이를 모두 교육하기에는 오랜 시간과 많은 비용이 소요된다. 이에 본 연구를 통해 산업 현장에서 사용되는 광범위한 영역의 빅데이터를 보편적 빅데이터(Universal Big Data)로 정의하고, 대학교 수준에서 보편적 빅데이터를 교육하기 위해서 중점적으로 교육해야 할 지식 영역을 산출하고자 한다. 이를 위해 빅데이터 관련 산업에 종사하는 전문인력을 구분하기 위한 기준을 마련하고, 설문 조사를 통해 빅데이터에 대한 인식을 조사했다. 조사 결과에 의하면 전문가들은 컴퓨터과학에서 의미하는 빅데이터보다 광범위한 범위의 데이터를 빅데이터로 인식하고 있었으며, 빅데이터의 가공 과정에 반드시 빅데이터 처리 프레임워크 또는 고성능 컴퓨터가 필요한 것은 아니라고 인식하고 있었다. 이는 빅데이터를 교육하기 위해서는 컴퓨터과학(공학)적 지식과 스킬보다는 빅데이터의 분석 방법과 응용 방법을 중심으로 교육해야 한다는 것을 의미한다. 분석 결과를 바탕으로 본 논문에서는 보편적 빅데이터 교육을 위한 새로운 패러다임을 제안하고자 한다.

• 지능정보연구
• /
• 제22권4호
• /
• pp.109-122
• /
• 2016

최근 빅데이터 분석은 기업과 전문가뿐만 아니라 개인이나 비전문가들도 큰 관심을 갖는 분야로 발전하였다. 그에 따라 현재 공개된 데이터 또는 직접 수집한 이터를 분석하여 마케팅, 사회적 문제 해결 등에 활용되고 있다. 국내에서도 다양한 기업들과 개인이 빅데이터 분석에 도전하고 있지만 빅데이터 공개의 제한과 수집의 어려움으로 분석 초기 단계에서부터 어려움을 겪고 있다. 본 논문에서는 빅데이터 공유를 방해하는 개인정보, 빅트래픽 등의 요소들에 대한 기존 연구와 사례들을 살펴보고 정책기반의 해결책이 아닌 시스템을 통해서 빅데이터 공유 제한 문제를 해결 할 수 있는 클라이언트-서버 모델을 이용해 빅데이터를 공개 및 사용 할 때 발생하는 문제점들을 해소하고 공유와 분석 활성화를 도울 수 있는 방안에 대해 기술한다. 클라이언트-서버 모델은 SPARK를 활용해 빠른 분석과 사용자 요청을 처리하며 Server Agent와 Client Agent로 구분해 데이터 제공자가 데이터를 공개할 때 서버 측의 프로세스와 데이터 사용자가 데이터를 사용하기 위한 클라이언트 측의 프로세스로 구분하여 설명한다. 특히, 빅데이터 공유, 분산 빅데이터 처리, 빅트래픽 문제에 초점을 맞추어 클라이언트-서버 모델의 세부 모듈을 구성하고 각 모듈의 설계 방법에 대해 제시하고자 한다. 클라이언트-서버 모델을 통해서 빅데이터 공유문제를 해결하고 자유로운 공유 환경을 구성하여 안전하게 빅데이터를 공개하고 쉽게 빅데이터를 찾는 이상적인 공유 서비스를 제공할 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
• /
• pp.327-329
• /
• 2022

본 논문에서는 AI Hub의 개방 데이터인 '유형별 두피 이미지'를 사용하여 두피 상태에 대한 신경망을 학습한다. 이 두피 상태에는 6가지 상태가 있는데, 각각의 상태들에 대한 평가를 양호(0)부터 심각(3)까지 분류하여 학습한 신경망 모델로 실제 어플리케이션으로 구현하여 사람들의 두피 사진을 찍어서 두피 상태를 진단한다. 이 과정에서 기존 개방 데이터에서 사용했던 값 비싼 두피 진단기를 사용하는 것이 아닌 값싸게 구할 수 있는 스마트폰용 현미경을 사용하여 좀 더 효율적으로 두피 상태를 진단 할 수 있는 어플리케이션을 만들었다. 몇백만 원 상당의 비싼 두피 진단기로 촬영한 사진과 비교하였을 시 평균적으로 65%의 정확도를 보여주고 있으며 데이터가 많은 유형은 77%의 정확도까지도 보여주었다.

• 디지털콘텐츠학회 논문지
• /
• 제18권1호
• /
• pp.149-158
• /
• 2017

빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.

• Nuclear Engineering and Technology
• /
• 제53권12호
• /
• pp.4189-4200
• /
• 2021

In this study, the relationship between the environmental radiation dose rate and meteorological variables was investigated with multiple regression analysis and big data of those variables. The environmental radiation dose rate and 36 different meteorological variables were measured on Ulleung Island, Republic of Korea, from 2011 to 2015. Not all meteorological variables were used in the regression analysis because the different meteorological variables significantly affect the environmental radiation dose rate during different periods, and the degree of influence changes with time. By applying the Pearson correlation analysis and stepwise selection methods to the big dataset, the major meteorological variables influencing the environmental radiation dose rate were identified, which were then used as the independent variables for the regression model. Subsequently, multiple regression models for the monthly datasets and dataset of the entire period were developed.

• International Journal of Contents
• /
• 제15권3호
• /
• pp.32-38
• /
• 2019

We usually suffer from difficulties in treating or managing Big Data generated from various digital media and/or sensors using traditional mining techniques. Additionally, there are many problems relative to the lack of memory and the burden of the learning curve, etc. in an increasing capacity of large volumes of text when new data are continuously accumulated because we ineffectively analyze total data including data previously analyzed and collected. In this paper, we propose a general-purpose classifier and its structure to solve these problems. We depart from the current feature-reduction methods and introduce a new scheme that only adopts changed elements when new features are partially accumulated in this free-style learning environment. The incremental learning module built from a gradually progressive formation learns only changed parts of data without any re-processing of current accumulations while traditional methods re-learn total data for every adding or changing of data. Additionally, users can freely merge new data with previous data throughout the resource management procedure whenever re-learning is needed. At the end of this paper, we confirm a good performance of this method in data processing based on the Big Data environment throughout an analysis because of its learning efficiency. Also, comparing this algorithm with those of NB and SVM, we can achieve an accuracy of approximately 95% in all three models. We expect that our method will be a viable substitute for high performance and accuracy relative to large computing systems for Big Data analysis using a PC cluster environment.