• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.96-98
• /
• 2016

최근 급속한 데이터의 생성으로 인하여 빅데이터 기술이 발전하고 있으며, 빅데이터를 분석하기 위한 다양한 빅데이터 분석 툴이 개발되어지고 있다. 대표적인 빅데이터 기반의 분석 툴은 R 프로그램, Hive, Tajo 등 다양한 분석 툴이 있다. 그러나, Matlab을 활용한 데이터 분석과 이를 위한 알고리즘 개발이 여전히 보편적이며, 빅데이터 분석에서도 Matlab이 광범위하게 사용되고 있다. 본 논문은 생체신호를 분석하는 Matlab을 활용한 빅데이터 기반 분석 시스템을 연구하고자 한다.

• 시스템엔지니어링학술지
• /
• 제11권2호
• /
• pp.13-29
• /
• 2015

With the era of big data, the big data has been expected to have a large impact in the NPP safety areas. Although high interests of the big data for the NPP safety, only a limited researches concerning this issue are revealed. Especially, researches on the logical/physical structure and systematic design methods for the big data platform for the NPP safety were not dealt with. In this research, we design a new big data pilot platform for the NPP safety especially focusing on health monitoring and early warning services. For this, we propose a tailored design process based on SE approaches to manage inherent high complexities of the platform design. The proposed design process is consist of several steps from elicitate stakeholders to integration test via define operational concept and scenarios, and system requirements, design a conceptual functional architecture, select alternative physical modules for the derived functions and assess the applicability of the alternative modules, design a conceptual physical architecture, implement and integrate the physical modules. From the design process, this paper covers until the conceptual physical architecture design. In the following paper, the rest of the design process and results of the field test will be shown.

• Journal of information and communication convergence engineering
• /
• 제16권2호
• /
• pp.99-105
• /
• 2018

k-Nearest neighbor join (k-NN Join) is a computationally intensive algorithm that is designed to find k-nearest neighbors from a dataset S for every object in another dataset R. Most related studies on k-NN Join are based on single-computer operations. As the data dimensions and data volume increase, running the k-NN Join algorithm on a single computer cannot generate results quickly. To solve this scalability problem, we introduce the locality-sensitive hashing (LSH) k-NN Join algorithm implemented in Spark, an approach for high-dimensional big data. LSH is used to map similar data onto the same bucket, which can reduce the data search scope. In order to achieve parallel implementation of the algorithm on multiple computers, the Spark framework is used to accelerate the computation of distances between objects in a cluster. Results show that our proposed approach is fast and accurate for high-dimensional and big data.

• 한국정보통신학회논문지
• /
• 제21권12호
• /
• pp.2305-2311
• /
• 2017

최근들어 공공 정보화와 함께 정부기관, 지자체 및 다양한 정부산하기관에서 보유하고 있는 데이터를 공개하고 있는 추세이다. 즉, 공공기관이 업무수행의 결과물로 생성 및 수집한 다양한 전자화된 형태의 데이터를 공공데이터 포털사이트에서 개방하고 있다. 하지만 이를 사용하는 사용자는 데이터 형식의 이해와 데이터 처리 지식의 부족, 데이터에 대한 접근과 관리의 어려움, 수집 및 저장한 데이터의 이해를 위한 시각화 기술의 부족 등으로 빅데이터의 활용에 제한을 받고 있다. 따라서 본 연구에서는 다양한 공공 사이트에서 제공하는 빅데이터를 데이터셋의 URL 및 API를 사용하여 데이터 포맷에 관계없이 데이터를 수집하며, 수집된 데이터를 XML 구조를 이용하여 재가공하여 데이터베이스화하며, 데이터 융합을 통한 시각화가 가능하도록 하는 공공 빅데이터 수집, 선별 저장 및 시각화 플랫폼을 제안한다.

• International Journal of Computer Science & Network Security
• /
• 제22권2호
• /
• pp.290-296
• /
• 2022

Big Data is a data analysis technology empowered by late advances in innovations and engineering. In any case, big data involves a colossal responsibility of equipment and handling assets, making reception expenses of big data innovation restrictive to little and medium estimated organizations. Cloud computing offers the guarantee of big data execution to little and medium measured organizations. Big Data preparing is performed through a programming worldview known as MapReduce. Normally, execution of the MapReduce worldview requires organized joined stockpiling and equal preparing. The computing needs of MapReduce writing computer programs are frequently past what little and medium measured business can submit. Cloud computing is on-request network admittance to computing assets, given by an external element. Normal arrangement models for cloud computing incorporate platform as a service (PaaS), software as a service (SaaS), framework as a service (IaaS), and equipment as a service (HaaS).

• 한국정보통신학회논문지
• /
• 제18권5호
• /
• pp.1073-1079
• /
• 2014

현재 가장 각광 받고 있는 기술 중 하나는 빅 데이터라 할 수 있다. 또한 빅 데이터와 더불어 이미 우리 생활에 널리 퍼져있는 기술은 GPS이다. 이러한 빅 데이터 기술과 GPS 데이터를 기반으로 본 논문에서는 특정 대상의 이동경로와 패턴을 분석하고자 한다. 특정 대상은 한 대학교의 대학생을 중점으로 하고 대학생들의 성별과 학년 및 날씨, 요일 등으로 분류하여 GPS 데이터를 수집한다. 수집한 빅 데이터는 이동경로, 이동시간, 반복적인 행동 패턴 등으로 분석을 실시하고 이를 시각화 한다. 분석방식은 수집된 데이터를 각 목적에 맞게 분류해 내고 타 데이터와의 연계성을 파악하여 원하는 결과 값을 얻는 방식으로 연구를 진행하였다. 본 연구를 바탕으로 향후 보다 신뢰성 있는 데이터 결과를 도출할 것이며 이를 위해 추가적으로 폭 넓은 정보를 수집할 것이다. 계절, 시간, 혈액형, 직업 등의 데이터를 추가하여 발전 된 방향으로 연구할 것이다.

• 한국정보통신학회논문지
• /
• 제20권11호
• /
• pp.2027-2032
• /
• 2016

스마트폰 보급의 확산과 데이터 저장 및 분석 기법의 발전은 빅데이터 관련 산업을 미래의 유망 산업으로 탈바꿈하게 만들었다. 마케팅 분야에서는 소셜 데이터를 분석하여 소비자의 니즈를 파악하고, 효과적인 마케팅의 수단으로 활용하고 있다. 빅데이터 분석이 불가능했던 시대에는 소비자를 이해하기 위해서는 소수의 소비자를 대상으로 하는 조사 및 실험에 의존할 수밖에 없었으며, 이러한 전통적인 시장조사 방법은 현재도 활용되고 있다. 빅데이터 분석과 전통적인 조사방법 모두 고객을 이해하는 중요한 방법이기는 하지만, 두 가지 방법을 통해 도출된 결과가 소비자의 트랜드에 대하여 유사한 시사점을 주는지는 확인할 필요가 있다. 이러한 점에서 본 연구에서는 화장품 브랜드를 대상으로 소셜 데이터 분석 결과와 소비자를 대상으로 하는 설문조사의 결과를 비교하고자 하였다. 연구 결과 두 가지 방법 모두 유사한 시사점을 제공하는 것으로 나타났다.

• 한국멀티미디어학회논문지
• /
• 제22권2호
• /
• pp.194-202
• /
• 2019

In the information society represented by the Fourth Industrial Revolution, various types of data and information that are difficult to see are produced, processed, and processed and circulated to enhance the value of existing goods. The IoT(Internet of Things) paradigm will change the appearance of individual life, industry, disaster, safety and public service fields. In order to implement the IoT paradigm, several elements of technology are required. It is necessary that these various elements are efficiently connected to constitute one system as a whole. It is also necessary to collect, provide, transmit, store and analyze IoT data for implementation of IoT platform. We designed and implemented a big data processing IoT platform for IoT service implementation. Proposed platform system is consist of IoT sensing/control device, IoT message protocol, unstructured data server and big data analysis components. For platform testing, fixed IoT devices were implemented as solar power generation modules and mobile IoT devices as modules for table tennis stroke data measurement. The transmission part uses the HTTP and the CoAP, which are based on the Internet. The data server is composed of Hadoop and the big data is analyzed using R. Through the emprical test using fixed and mobile IoT devices we confirmed that proposed IoT platform system normally process and operate big data.

• 대한임베디드공학회논문지
• /
• 제16권6호
• /
• pp.259-266
• /
• 2021

Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.114-116
• /
• 2016

오늘날 빅데이터 분석은 새로운 고객의 니즈를 추적하는 중요한 도구로 활용되고 있다. 빅데이터 분석 결과를 제공하는 다양한 사이트들은 각각의 서비스 유형과 특성에 따라 다양한 형태로 분석결과를 제시해주고 있다. 때문에 마케팅 분야에서 빅데이터 분석을 활용할 때는 각각의 사이트가 제공하는 빅데이터 분석 결과의 유형과 특성을 종합적으로 고려해야할 것이다. 이러한 점에서 본 연구에서는 현재 빅데이터 분석 서비스를 제공하는 사이트들의 분석 결과와 유형을 비교분석하고자 한다.