• 한국인터넷방송통신학회논문지
• /
• 제13권2호
• /
• pp.1-7
• /
• 2013

최근 빅 데이터 관리가 정보기술 분야의 학계와 업계에서 중요한 이슈로 떠오르고 있다. 빅 데이터 중 소프트웨어 시스템에서 필연적으로 생성되는 대표적인 유형 중 하나가 로그 데이터이다. 로그 데이터는 서비스 제공자가 더 나은 서비스를 제공하고 소프트웨어의 품질을 향상시키기 위해 필요하다. 따라서 적절한 방법으로 로그 데이터를 수집하고 이를 분석할 수 있는 인프라 환경을 구축하는 것은 매우 중요하다. 본 논문은 로그 데이터에 특화된 새로운 빅 데이터 관리 기법을 제안한다. 제안하는 기법은 다수의 클라이언트 어플리케이션에서 생성되는 로그 데이터를 네트워크를 통해 전송하고 이를 실시간으로 저장한 후 분석할 수 있는 아키텍처를 제공한다. 해당 아키텍처는 서버-클라이언트 환경에서 로그의 비동기적인 처리를 지원하여 원격 로깅임에도 불구하고 데이터 처리의 병목 현상이나 클라이언트의 성능 저하를 발생시키지 않는다. 제안하는 기법을 실제 시스템에 구현하고 실측한 결과 확장성 있는 로그 데이터 관리가 이루어짐을 확인하였다. 특히, 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 개발 프로토타입 또한 오픈소스 소프트웨어 형태로 공개하여 누구나 사용할 수 있도록 하였다.

• 한국멀티미디어학회논문지
• /
• 제19권2호
• /
• pp.386-395
• /
• 2016

In trajectory-based navigation systems, a huge amount of trajectory data is needed for efficient route explorations. However, it would be very hard to collect trajectories from all the possible start and destination combinations. To provide a practical solution to this problem, we suggest a method combining collected GPS trajectories data into additional generated trajectories with new start and destination combinations without road information. We present a trajectory combination algorithm and its implementation with Scala programming language on Spark platform for big data processing. The experimental results proved that the proposed method can effectively populate the collected trajectories into valid trajectory paths more than three hundred times.

• 한국정보통신학회논문지
• /
• 제23권12호
• /
• pp.1565-1570
• /
• 2019

빅데이터를 활용한 다양한 가능성에 대해서는 최근 수년 동안 지속적으로 이야기되어 왔다. 한편으로 개인정보보호의 중요성 또한 점차 강조되고 있는 것이 현실이다. 빅데이터의 활용성을 높이기 위해 개인과 관련된 다양한 정보들을 취합하는 과정에서 개인을 어느 정도까지 특정할 것인가 또는 빅데이터를 구축하고 활용하는 여러 기업들이 개인정보를 어느 수준까지 활용하여 개인화 서비스를 제공해야 하는가와 같은 문제들이 발생하고 있다. 본 논문에서는 개인정보의 보호와 관련하여 유럽의 GDPR과 미국 캘리포니아주의 CCPA 사례를 살펴보고 국내의 빅데이터3법 개정안에 대해 살펴보았다. 또한 개인정보의 빅데이터 활용에 있어 비식별화된 정보의 재식별 가능성에 대한 고려, 개인정보 사용 동의의 사회적 비용 측면, 민간과 정부의 빅데이터 구축과 결합에서 발생가능한 문제, 규제환경 형성에서의 정책적 시사점에 대해 논의하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.483-486
• /
• 2021

데이터의 폭발적인 증가와 함께 데이터를 통한 새로운 가치와 인사이트 도출에 주력하는 '빅데이터 시대'가 도래했다. 데이터 분석 기술의 발전에 따라 진단 및 치료 및 예방 분야에서 데이터 분석 및 활용의 중요성이 확대되고 있으며, 헬스케어 분야에서는 빅 데이터 활용이 부각되고 있다. 또한 2020년 1월 데이터 3법(개인정보 보호법, 정보 통신망법, 신용정보법)이 통과되면서 가명 정보를 통한 다양한 빅데이터 활용이 가능해졌다. 그러나 다양한 정책과 규제, 일관되지 않은 데이터 품질, 전문 인력 부재 등으로 인해 헬스케어 분야의 빅데이터 활용은 여전히 어려움을 겪고 있다. 본 연구에서는 헬스케어 분야의 빅데이터 활용 현황을 살펴보고 헬스케어 빅데이터 활용 활성화를 위한 해결과제, 해외사례, 방안 및 기대 효과를 분석한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.50-53
• /
• 2016

Image processing techniques play an increasingly important role in many aspects of our daily life. For example, it has been shown to improve agricultural productivity in a number of ways such as plant pest detecting or fruit grading. However, massive quantities of images generated in real-time through multi-devices such as remote sensors during monitoring plant growth lead to the challenges of big data. Meanwhile, most current image processing systems are designed for small-scale and local computation, and they do not scale well to handle big data problems with their large requirements for computational resources and storage. In this paper, we have proposed an IPABigData (Image Processing Algorithm BigData) platform which provides algorithms to support large-scale image processing in agriculture based on Hadoop framework. Hadoop provides a parallel computation model MapReduce and Hadoop distributed file system (HDFS) module. It can also handle parallel pipelines, which are frequently used in image processing. In our experiment, we show that our platform outperforms traditional system in a scenario of image segmentation.

• 정보보호학회논문지
• /
• 제29권6호
• /
• pp.1305-1317
• /
• 2019

공공기관 및 기업의 빅데이터 플랫폼 환경에서 데이터 보호를 위한 암호화는 필수적인 요소이나 실제 빅데이터 워크로드를 고려한 암호화 알고리즘에 대한 성능 검증 연구는 많이 진행되지 않았다. 본 논문에서는 몽고 DB(MongoDB) 환경에서 데이터와 노드를 추가하여 빅데이터의 6가지 워크로드별로 AES, ARIA, 3DES별로 성능 변화 추이를 분석하였다. 이를 통해 빅데이터 플랫폼 환경에서 각 워크로드 별 최적의 블록기반 암호 알고리즘이 무엇인지 확인하고, NoSQL 데이터베이스 벤치마크(YCSB)를 사용하여 데이터와 노드 구성환경에서 다양한 워크로드별로 테스트를 통해 MongoDB의 성능을 고려한 최적화된 아키텍처를 제안한다.

• 한국정보통신학회논문지
• /
• 제22권3호
• /
• pp.443-450
• /
• 2018

삶의 질의 향상으로 인하여 건강관리는 현대인의 주요 관심 사항이며 자연스럽게 헬스케어 시스템에 대한 요구가 증가하고 있다. 그러나 인터넷 상에는 다양한 의료 관련 정보가 존재할 뿐만 아니라 이 정보들의 신뢰성 또한 가늠하기 힘든 것이 현실이므로, 특정 사용자에게 적합한 맞춤형 웰니스 정보 제공은 어려운 것이 현실이다. 본 연구에서는 빅데이터를 텍스트 마이닝으로 분류하여 사용자 맞춤형 의료정보를 제공함으로서 단순 검색기능이 아닌 사용자에게 적합한 맞춤 서비스를 제공할 수 있는 사용자 중심의 서비스 제공 방법을 제안한다. 효율적인 빅데이터 분석을 위해 하둡 슬레이브 노드를 증가하면서 데이터 처리시간을 실험하였다. 기존 시스템보다 빅데이터 시스템을 구축하는 것이 효율적임을 확인하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제8권1호
• /
• pp.33-41
• /
• 2016

Big data management is becoming an increasingly important issue in both industry and academia of information science community today. One of the important categories of big data generated from software systems is log data. Log data is generally used for better services in various service providers and can also be used to improve system reliability. In this paper, we propose a novel big data management architecture specialized for log data. The proposed architecture provides a scalable log management system that consists of client and server side modules for efficient handling of log data. To support large and simultaneous log data from multiple clients, we adopt the Hadoop infrastructure in the server-side file system for storing and managing log data efficiently. We implement the proposed architecture to support various client environments and validate the efficiency through measurement studies. The results show that the proposed architecture performs better than the existing logging architecture by 42.8% on average. All components of the proposed architecture are implemented based on open source software and the developed prototypes are now publicly available.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 춘계학술대회
• /
• pp.188-190
• /
• 2015

현재의 빅데이터 환경은 비즈니스 목적뿐 아니라 다양한 목적을 위해 활용될 가능성이 있다. 이러한 점에서 본 연구에서는 빅데이터를 해 일반 대중들의 종교에 대한 인식 등을 분석하여, ICT 환경에서의 종교의 모습을 되돌아 보고, 나아가 종교적 측면에서의 ICT활용에 대한 방안을 제시하고자 한다.

• 한국산업융합학회 논문집
• /
• 제22권6호
• /
• pp.775-783
• /
• 2019

The big data industry market continues to grow and is expected to grow further. In this paper, based on the five-point Likert scale of college students in the process of developing big data young people, the satisfaction of instructors in big data training and improvement of job (education) ability based on AI convergence The survey was conducted on the expectations of the participants and their intention to participate in the training process for the young talents. Male students were more satisfied than students. In terms of students, students who are less than 6th semester have the highest satisfaction, but students who are less than 7th and 8th semesters are less satisfied. By department, the satisfaction level of science and statistics students was the highest, while the satisfaction level of other students was low. According to the average of college credits, the satisfaction of students under 3.5~4.0 was the highest, and the satisfaction of students below 3.0 was the lowest.