• 디지털융복합연구
• /
• 제15권4호
• /
• pp.13-25
• /
• 2017

데이터의 저장량이 이전 보다 더욱 증가하고 있는데, 이는 정부와 기업은 물론이고 일반 사용자의 적극적인 참여에 기인하고 있다. 이러한 빅데이터 시대에는 정부 및 공공기관의 역할이 중요하게 부각되는데, 이들은 공공의 목적을 이유로 일반 개인의 정보에도 접근하여 그것을 다룰 수 있기 때문이다. 이에 본 연구에서는 빅데이터에 대한 현황과 대응방안을 국가별로 조사하여 몇 가지 시사점을 도출할 수 있었다. 연구결과 먼저 빅데이터와 관련된 인력 및 기술의 확보가 우선되어야 한다는 점을 들 수 있었다. 또한 정부와 민간 사이의 적극적인 공유와 개발노력이 동반되어야 한다는 것도 알 수 있었다. 그리고 데이터의 적재와 분석방법이 계속 발전되는 만큼 장기적인 전략 수립을 마련해야 한다는 점도 확인하였다. 결론적으로 빅데이터의 정책적 활용을 위해서는 데이터 관리의 중요성을 재인식하고, 개인정보 보호에 주력하여야 하며, 현실적용 능력을 배가시켜야 한다는 것을 시사점으로 제안하고자 한다.

• 한국산학기술학회논문지
• /
• 제19권3호
• /
• pp.669-678
• /
• 2018

본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.100-114
• /
• 2017

대부분의 연구자들은 새로운 분야의 연구를 수행하기 위해 전문가에게 자문을 받거나 전문가의 논문들을 기반으로 연구 방향을 설정한다. 기존의 학술 검색 서비스에서는 분야별 논문 정보는 제공하지만 각 분야의 전문가를 제공해주지 않기 때문에 사용자들이 검색된 논문을 기반으로 전문가를 직접 판단해야 한다. 본 논문에서는 학회에 발간된 논문 정보를 기반으로 빅 데이터 처리를 이용한 학문 분야별 전문가검색 시스템을 설계하고 구현한다. 제안하는 시스템은 대량의 논문을 저장하고 관리하기 위해 빅 데이터분산 저장 기술을 활용하였다. 또한 빅 데이터 분산 처리기술을 활용하여 전문가를 판별하고 전문가와 연관 되는 정보를 분석한다. 분산처리 된 결과는 사용자가 전문가 검색 요청 시 웹페이지를 통해 보여준다. 사용자는 제안하는 시스템을 통해 해당 연구 분야의 전문가를 추천받음으로써 연구를 수행함에 있어 많은 도움을 받을 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제19권5호
• /
• pp.219-227
• /
• 2019

제조업의 생산 방법은 노동집약적인 방법에서 제조설비 중심의 기술집약적인 방법으로 변경되어가고 있다. 사람의 노동력을 제조설비가 대체하게 되면서 제조설비의 모니터링과 관리의 중요성이 강조되고 있다. 또한, 최근 빅데이터 기술은 한정된 데이터에서 새로운 가치를 찾아내는 중요한 기술로 등장하였다. 따라서 제조업의 변화는 기존 제조 공장에 사물인터넷(IoT), 정보통신기술, 센서 데이터, 빅데이터를 융합한 스마트팩토리의 필요성을 증대시켰다. 본 논문에서는 제조설비 데이터를 몽고DB에 실시간으로 분산 저장 및 처리하는 기술과 R 프로그래밍을 사용한 시각화를 통해 기존 국내 제조업 공장이 빅데이터 기반의 스마트팩토리가 되기 위한 전략을 제시하고자 한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 춘계학술대회
• /
• pp.732-733
• /
• 2014

본 연구에서는 특허분석을 통해 빅데이터 분야의 R&D 트렌드를 살펴본 후, 향후 우리나라의 기술개발 방향성을 제시하였다. 특허 분석 결과에 따르면, 빅데이터 분야의 R&D 트렌드는 크게 두 가지 특징을 지니고 있는 것으로 나타났다. 첫째는 미국의 독과점 현상으로 미국은 모든 기술분야에서 비교적 고른 출원 활동을 전개하고 있으며, 기술별 평균 점유율이 40% 이상으로 나타나 세계 시장을 독과점하고 있는 것으로 나타났다. 둘째는 R&D 트렌드의 변화로 과거에는 데이터 분석 및 처리 분야의 기술이 주를 이룬 반면, 최근에는 데이터 운영 및 관리 분야의 기술이 대종을 이루고 있다. 하지만 우리나라의 경우 빅데이터 분야의 특허 출원이 주로 저장기술에 집중되어 있으며, 데이터 운영 및 관리기술에 대한 출원은 상대적으로 저조해 관련 기술에 대한 연구가 시급한 것으로 나타났다.

• 대한임베디드공학회논문지
• /
• 제14권4호
• /
• pp.187-195
• /
• 2019

In the fourth industrial revolution era, various commercial smart platforms for smart system implementation are being developed and serviced. However, since most of the smart platforms have been developed for general purposes, they are difficult to apply / utilize because they cannot satisfy the requirements of real-time data management, data visualization and data storage of smart factory system. In this paper, we implemented an open source based smart manufacturing big data platform that can manage highly efficient / reliable data integration for the diagnosis diagnostic system of manufacturing robots.

• Journal of information and communication convergence engineering
• /
• 제15권4호
• /
• pp.217-226
• /
• 2017

Korea has the tenth largest film industry in the world; however, detailed analyses using the factors contributing to successful film commercialization have not been approached. Using big data, this paper analyzed both internal and external factors (including genre, release date, rating, and number of screenings) that contributed to the commercial success of Korea's top 10 ranking films in 2011-2015. The authors developed a WebCrawler to collect text data about each movie, implemented a Hadoop system for data storage, and classified the data using Map Reduce method. The results showed that the characteristic of "release date," followed closely by "rating" and "genre" were the most influential factors of success in the Korean film industry. The analysis in this study is considered groundwork for the development of software that can predict box-office performance.

• 디지털산업정보학회논문지
• /
• 제15권1호
• /
• pp.1-7
• /
• 2019

The objective of this study is to examine the trends in big data. Research abstracts were extracted from 4,019 articles, published between 1995 and 2018, on Web of Science and were analyzed using topic modeling and time series analysis. The 20 single-term topics that appeared most frequently were as follows: model, technology, algorithm, problem, performance, network, framework, analytics, management, process, value, user, knowledge, dataset, resource, service, cloud, storage, business, and health. The 20 multi-term topics were as follows: sense technology architecture (T10), decision system (T18), classification algorithm (T03), data analytics (T17), system performance (T09), data science (T06), distribution method (T20), service dataset (T19), network communication (T05), customer & business (T16), cloud computing (T02), health care (T14), smart city (T11), patient & disease (T04), privacy & security (T08), research design (T01), social media (T12), student & education (T13), energy consumption (T07), supply chain management (T15). The time series data indicated that the 40 single-term topics and multi-term topics were hot topics. This study provides suggestions for future research.

• International Journal of Computer Science & Network Security
• /
• 제21권7호
• /
• pp.359-364
• /
• 2021

In recent years Hadoop usage has been increasing day by day. The need of development of the technology and its specified outcomes are eagerly waiting across globe to adopt speedy access of data. Need of computers and its dependency is increasing day by day. Big data is exponentially growing as the entire world is working in online mode. Large amount of data has been produced which is very difficult to handle and process within a short time. In present situation industries are widely using the Hadoop framework to store, process and produce at the specified time with huge amount of data that has been put on the server. Processing of this huge amount of data having small files & its storage optimization is a big problem. HDFS, Sequence files, HAR, NHAR various techniques have been already proposed. In this paper we have discussed about various existing techniques which are developed for accessing and storing small files efficiently. Out of the various techniques we have specifically tried to implement the HDFS- HAR, NHAR techniques.

• 한국컴퓨터정보학회논문지
• /
• 제19권12호
• /
• pp.101-109
• /
• 2014

의학기술의 발전과 소득수준의 증가로 "건강하게 오래살기"에 관심이 높아지면서 적극적으로 건강을 증진하고 유지하는 웰니스가 확대되고 있다. 또한 맞춤형 의료서비스에 대한 수요가 증가하고 방대한 의료 빅 데이터를 이용한 질병 예방의 움직임도 나타나고 있다. 이 논문에서는, 의료 시장에서 주요 관심분야로 부각되고 있는 웰니스를 지원하기위해 빅 데이터 기반의 의료 질 향상을 통한 환자중심의 의료서비스를 목적으로 한다. 환자를 약물에 의존적으로 치료만 하는 것이 아니라 식생활 개선을 기반으로 질병예방과 치료를 위해 빅데이터를 분석한다. 개인 트윗터를 분석해서 일상생활정보를 획득하고 웰니스 사전을 기반으로 질병예방과 치료를 목적으로 한다. 효율적인 빅데이터 분석을 위해 하둡노드를 증가하면서 데이터 처리시간을 실험하였다. 실험결과 저장시간의 경우 63%, 데이터 통합의 경우 18%, 전체 테스트 시간을 기준으로 26%로 하나의 노드로 처리하는 경우보다 세 개의 노드로 처리하는 것이 효율적임을 실험을 통해 확인하였다.