• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.75-78
• /
• 2017

This paper compares operational and network analysis of centralized and distributed repository for big data solutions in the IoT enabled Smart Grid environment. The comparative analysis clearly depicts that centralize repository consumes less memory consumption while distributed locality-based repository reduce network complexity issues than centralize repository in state-of-the-art Big Data Solution.

• 디지털융복합연구
• /
• 제14권12호
• /
• pp.155-164
• /
• 2016

본 논문에서는 국내외에서 발표된 빅데이터 플랫폼을 조사 및 분석하였다. 분석결과 각 플랫폼에서 개인정보보안에 문제점이 있었다. 특히 빅데이터 플랫폼에 많이 사용되는 대표적인 NoSQL DB인 HBase에 저장된 빅데이터 개인정보 암호화의 취약점과, DB에 저장된 데이터를 암 복호화 할 때에 시스템에 부하가 발생하는 것이다. 이에 본 논문에서는 HBase의 암호화 방법, 암 복호화시 시스템 및 네트워크 통신의 부하를 경감시키는 방안과 빅데이터 플랫폼의 각 단계에 개인정보관리체계(PIMS)를 적용하는 방안을 제시한다. 그리고 이것이 반영된 새로운 빅데이터 플랫폼을 제안한다. 따라서 제안된 빅데이터 플랫폼은 개인정보보안강화 및 시스템 성능의 효율성 확보로 빅데이터 사용의 활성화에 크게 기여할 것이라 판단된다.

• Journal of Platform Technology
• /
• 제8권2호
• /
• pp.3-9
• /
• 2020

Big Data is a new concept in the global and local area. This field has gained tremendous momentum in the recent years and has attracted attention of several researchers. Big Data is a data analysis methodology enabled by recent advances in information and communications technology. However, big data analysis requires a huge amount of computing resources making adoption costs of big data technology. Therefore, it is not affordable for many small and medium enterprises. We survey the concepts and characteristics of Big Data along with a number of tools like HADOOP, HPCC for managing Big Data. It also presents an overview of big data like Characteristics of Big data, big data technology, big data management tools etc. We have also highlighted on some challenges and opportunities related to the fields of big data.

• 산업경영시스템학회지
• /
• 제42권4호
• /
• pp.84-90
• /
• 2019

Lately, there have been tremendous shifts in the business technology landscape. Advances in cloud technology and mobile applications have enabled businesses and IT users to interact in entirely new ways. One of the most rapidly growing technologies in this sphere is business intelligence, and associated concepts such as big data and data mining. BI is the collection of systems and products that have been implemented in various business practices, but not the information derived from the systems and products. On the other hand, big data has come to mean various things to different people. When comparing big data vs business intelligence, some people use the term big data when referring to the size of data, while others use the term in reference to specific approaches to analytics. As the volume of data grows, businesses will also ask more questions to better understand the data analytics process. As a result, the analysis team will have to keep up with the rising demands on the infrastructure that supports analytics applications brought by these additional requirements. It's also a good way to ascertain if we have built a valuable analysis system. Thus, Business Intelligence and Big Data technology can be adapted to the business' changing requirements, if they prove to be highly valuable to business environment.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
• /
• pp.33-34
• /
• 2017

In 2015, Ministry of Health and Welfare of Korea announced a research and development plan of using Korean healthcare data to support decision making, reduce cost and enhance a better treatment. This project relies on the adoption of BigData technology such as Apache Hadoop, Apache Spark to store and process HealthCare Data from various institution. Here we present an approach a design and implementation of OLAP server in Korean HealthCare BigData platform. This approach is used to establish a basis for promoting personalized healthcare research for decision making, forecasting disease and developing customized diagnosis and treatment.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권5호
• /
• pp.1886-1908
• /
• 2020

With the technical advances, the amount of big data is increasing day-by-day such that the traditional software tools face a burden in handling them. Additionally, the presence of the imbalance data in big data is a massive concern to the research industry. In order to assure the effective management of big data and to deal with the imbalanced data, this paper proposes a new indexing algorithm for retrieving big data in the MapReduce framework. In mappers, the data clustering is done based on the Sparse Fuzzy-c-means (Sparse FCM) algorithm. The reducer combines the clusters generated by the mapper and again performs data clustering with the Sparse FCM algorithm. The two-level query matching is performed for determining the requested data. The first level query matching is performed for determining the cluster, and the second level query matching is done for accessing the requested data. The ranking of data is performed using the proposed Monarch chaotic whale optimization algorithm (M-CWOA), which is designed by combining Monarch butterfly optimization (MBO) [22] and chaotic whale optimization algorithm (CWOA) [21]. Here, the Parametric Enabled-Similarity Measure (PESM) is adapted for matching the similarities between two datasets. The proposed M-CWOA outperformed other methods with maximal precision of 0.9237, recall of 0.9371, F1-score of 0.9223, respectively.

• International Journal of Internet, Broadcasting and Communication
• /
• 제13권1호
• /
• pp.61-68
• /
• 2021

The development of the fourth industry has enabled users to quickly share a lot of data online. We can analyze big data on information about tourist attractions and users' experiences and opinions using artificial intelligence. It can also analyze the association between characteristics of users and types of tourism. This paper analyzes individual characteristics, recommends customized tourist sites and proposes a system to provide the sacred texts of recommended tourist sites as AR services. The system uses machine learning to analyze the relationship between personality type and tourism type preference. Based on this, it recommends tourist attractions according to the gender and personality types of users. When the user finishes selecting a tourist destination from the recommendation list, it visualizes the information of the selected tourist destination with AR.

• 한국정보통신학회논문지
• /
• 제19권3호
• /
• pp.607-612
• /
• 2015

자동차 진단 데이터의 양이 증가함에 따라 자동차 에코시스템의 액터는 스마트 자동차에서 수집된 데이터에 따라 새로운 서비스를 시뮬레이션 하거나 설계하기 위하여 실시간으로 분석을 해야 하는 어려움에 직면하게 된다. 본 논문에서는 자동차에서 생성된 막대한 양의 자동차 내장 진단 데이터를 처리하고 분석하는데 필수적이고 심오한 해석학을 제시하는 빅 데이터 솔루션에 관한 연구를 하였다. Hadoop 및 그 에코시스템은 자동차 소유자에 대한 새로운 서비스 제공을 위해 자동차 에코시스템의 액터에 의해 사용될 수 있는 막대한 데이터 및 전달된 유용한 결과를 처리하기 위해 개발된 것이다. 지능형 교통시스템이 안전성 보장, 속도로 인한 사고로 입는 상해 및 충돌의 비율 감소 등에 관여함에 따라, 자동차 진단 데이터 기반의 빅 데이터 솔루션 개발을 통해 향후 실시간 결과 감시, 여러 스마트 자동차에서의 데이터 수집, 수집된 데이터에 대한 신뢰성 있는 처리 및 용이한 저장을 실현화하게 된다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권1호
• /
• pp.20-25
• /
• 2016

디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

• 지능정보연구
• /
• 제24권1호
• /
• pp.125-140
• /
• 2018

품질검사는 중간상품이나 최종상품을 품질관리 표준을 만족하는 양품과 불량품으로 분리하는 일을 수행한다. 대량생산체계에서 품질을 수작업으로 검사하는 것은 일관성과 효율성을 저하시키므로 대량으로 생산되는 상품의 품질을 검사하는 것은 다수의 공정에서 기계에 의한 자동 확인과 분류를 포함하게 된다. 생산공정에서 발생하는 데이터를 활용하여 공정을 개선하고 최적화하려는 선행 연구들이 많았음에도 불구하고, 실시간에 많은 데이터를 처리하는데 있어서의 기술적인 한계로 인해 실제 구현에서의 제약이 많이 있었다. 최근 빅데이터에 관한 연구에서는 데이터 처리기술을 개선하였고, 실시간에 데이터를 수집, 처리, 분석하는 과정을 가능하게 하게 하고 있다. 본 논문에서는 품질검사를 위한 빅데이터 적용의 단계와 세부사항을 제안하고, 유제품 산업에 적용 사례를 제시하려고 한다. 먼저 선행 연구들을 조사하고, 제조 부문에 적용할 수 있는 빅데이터 분석절차를 제안하며 제안된 방법의 실현가능성을 평가하기 위해서, 유제품 산업 분야의 품질검사과정 중 하나에 회선신경망(Convolutional Neural Network) 기술 및 랜덤포레스트(Random Forest) 기술을 적용하였다. 품질검사를 위해 제품의 뚜껑 및 빨대의 사진을 수집, 처리, 분석하여, 결함 여부를 판단하고, 과거 품질 검사결과와 비교하였다. 제안된 방법은 과거에 수행되었던 품질검사에 비해 분류 정확성 측면에서 의미 있는 개선을 확인할 수 있었다. 본 연구를 통해, 유제품 산업의 빅데이터 활용을 통한 품질검사 정확도 개선 가능성을 확인하였다.