• ETRI Journal
• /
• 제43권5호
• /
• pp.835-855
• /
• 2021

With the recent increase in data disclosure, the Comprehensive Knowledge Archive Network (CKAN), which is an open-source data distribution platform, is drawing much attention. CKAN is used together with additional extensions, such as Datastore and Datapusher for data management and Harvest and DCAT for data collection. This study derives the problems of CKAN itself and Harvest Extension. First, CKAN causes two problems of data inconsistency and storage space waste for data deletion. Second, Harvest Extension causes three additional problems, namely source deletion that deletes only sources without deleting data themselves, job stop that cannot delete job during data collection, and service interruption that cannot provide service, even if data exist. Based on these observations, we propose herein an improved CKAN that provides a new deletion function solving data inconsistency and storage space waste problems. In addition, we present an improved Harvest Extension solving three problems of the legacy Harvest Extension. We verify the correctness and the usefulness of the improved CKAN and Harvest Extension functions through actual implementation and extensive experiments.

• 한국컴퓨터정보학회논문지
• /
• 제29권1호
• /
• pp.111-119
• /
• 2024

본 논문에서는 해상에서 수집되는 다양한 출처의 정보들을 수집할 수 있는 빅데이터 플랫폼을 제안한다. 현재 운영되는 해양 관련 빅데이터 플랫폼들은 만들어진 데이터를 저장 및 공유하는데 초점이 맞추어져 있고 데이터 수집과 전처리는 데이터 제공자가 각자 담당한다. 지상 대비 열악한 통신망을 사용하는 해양 환경에서 데이터를 수집 및 통합하는 것은 높은 비용과 비효율성이 존재하며, 이로 인해 관련 인프라의 구현이 쉽지 않다. 특히 기상 정보, 레이더 및 센서 데이터 등 실시간 데이터 수집 및 분석이 필요한 분야의 경우 통신망 문제와 더불어 데이터 보안, 조직과 선박의 특성, 데이터 수집 비용 문제 등 지상 대비 다수의 문제를 고려해야 한다. 먼저 본 논문에서는 이 문제들을 정의하고 해결방안을 제시한다. 그리고 이를 반영한 빅데이터 플랫폼 설계를 위해 데이터 소스, 계층적 MEC, 데이터 전송 구조를 우선 제안한 후 이를 모두 통합한 전체 플랫폼 구조를 제시한다.

• 한국빅데이터학회지
• /
• 제4권1호
• /
• pp.53-61
• /
• 2019

주변 세포의 구조적, 생화학적 지지체를 제공하는 세포 외 기질은 세포의 분열과 분화 등을 좌우하는 세포생리 조절인자이다. 바이오 분야에서는 3차원 조직공학 지지체인 스캐폴드를 제작하고, 제작한 스캐폴드에 줄기세포를 배양해 동물에 이식해 조직 재생력을 평가한다. 이는 조직 내 콜라겐과 같은 구성성분에 좌우된다. 따라서 조직 내 구성성분의 포함율 및 분포를 파악하는 것이 매우 중요한데, 이에 관한 데이터를 염색된 조직 이미지의 색상을 분석함으로써 얻어낸다. 이때 이미지 수집부터 분석까지의 과정이 적지 않은 비용이 소모되고 있고, 수집되고 분석된 데이터를 연구 기관마다 상이한 포맷으로 관리하고 있다. 따라서 데이터 통합관리 및 분석결과 검색 등이 이루어지지 않고 있다. 본 논문에서는 관련 빅데이터를 통합적으로 관리할 수 있는 데이터베이스를 구축하고, 이 연구 분야에서 중요한 분석 척도인 색상을 기준으로 검색할 수 있는 바이오 이미지 통합 관리 및 검색 시스템을 제안한다.

• 디지털융복합연구
• /
• 제18권9호
• /
• pp.39-47
• /
• 2020

본 연구는 교육청 공무원들의 데이터 활용 실태와 빅데이터 활용에 대한 인식을 조사하여 광역시·도교육청 차원에서의 빅데이터 활용을 위한 시사점을 도출하고자 하였다. 이를 위하여 A도교육청 공무원 440명을 대상으로 온라인 설문을 진행하였다. 조사결과 교육청 공무원들이 업무에 활용하는 데이터 유형과 출처는 다양하였으며, 데이터 활용에 있어 데이터 수집 및 정제가 가장 어려운 부분으로 인식하고 있었다. 그러나 데이터 활용을 위한 소속 교육청의 인프라는 부족한 실정으로, 빅데이터 인프라 구축이 가장 필요한 요소인 것으로 나타났다. 빅데이터에 대한 지식수준은 낮지만 빅데이터 활용의 관심과 필요성을 높게 인식하고 있었다. 빅데이터 활용 목적은 현재의 교육 문제점과 해결 대안, 미래 예측에 대한 전망과 해결, 교육 수요자들의 요구 파악 등 교육정책 의제 설정과 관련되어 있었다.

• 한국빅데이터학회지
• /
• 제8권1호
• /
• pp.1-10
• /
• 2023

본 논문은 국내 농업 산업이 직면한 주요 과제를 해결하기 위한 농업 데이터 공유 플랫폼의 설계 과정을 제시한다. 사용자의 편의성을 위해 사용자 요구사항을 우선적으로 고려한 인터페이스로 설계되었으며 다양한 분석 기술을 제공하여 현장에서의 환경, 생육, 경영 및 제어 데이터에 대한 분석 결과를 시각화하여 제공하는 플랫폼을 설계하였다. 또한 플랫폼은 File to DB 및 DB to DB 연결 방식을 지원하여 플랫폼과 농가 간의 원활한 연결을 보장한다. UI 디자인 프로세스는 HTML/CSS 기반 언어, JavaScript, React를 활용하여 플랫폼 로그인부터 데이터 업로드, 데이터 분석, 시각화 기능까지 포괄적인 서비스를 제공하도록 설계되었다. 본 연구를 통해 한국형 스마트팜 모델 개발에 기여하고 농업 현장 및 연구자들에게 신뢰할 수 있는 데이터를 제공할 수 있을 것으로 기대된다.

• 한국빅데이터학회지
• /
• 제6권1호
• /
• pp.115-125
• /
• 2021

각종 ICT 기술 혁신 및 디지털트랜스포메이션(Digital Transformation)에 의해 사물인터넷(Internet of Things : IoT) 환경이 점차 지능화, 분산화, 자동화된 서비스를 요구하고 있으며, 특히 통신네트워크(5G),데이터 분석 및 인공지능(AI), 디지털 트윈(Digital Twin) 기술이 접목되는 산업사물인터넷(Industrial IoT : IIoT)에서의 고도화되고 안정적인 스마트서비스 제공 환경이 요구되고 있다. 본 연구에서는 다양한 산업현장의 설비 장치와 센서 등 이기종 장치와의 유연한 연계와 신속하고 안정적인 데이터 수집 및 처리 등을 위한 IIoT Edge 미들웨어 시스템을 제안하였다.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.23-34
• /
• 2019

최근 디지털 플랫폼을 활용한 민생 위협 범죄는 '15년 약 14만여 건, '16년 약 15만여 건 등 사이버범죄 지속 증가 추이이며 전통적인 수사기법을 통한 온라인 범죄 대응에 한계가 있다고 판단되고 있다. 현행 수기 온라인 검색 및 인지 수사 방식만으로는 빠르게 변화하는 민생 위협 범죄에 능동적으로 대처 할 수 없으며, 소셜 미디어 특성상 불특정 다수에게 게시되는 콘텐츠로 이루어 졌다는 점에서 더욱 어려움을 겪고 있다. 본 연구는 민생 침해 범죄가 발생하는 온라인 미디어의 특성을 고려한 콘텐츠 웹 수집 방식 중 사이트 중심의 수집과 Open API를 통한 방식을 제시한다. 또한 불법콘텐츠의 특성상 신속히 게시되고 삭제되며 신조어, 변조어 등이 다양하고 빠르게 생성되기 때문에 수작업 등록을 통한 사전 기반 형태소 분석으로는 빠른 인지가 어려운 상황이다. 이를 해소 하고자 온라인에서 벌어지는 민생 침해 범죄를 게시하는 불법 콘텐츠를 빠르게 인지하고 대응하기 위한 데이터 전처리인 WPM(Word Piece Model)을 통하여 기존의 사전 기반의 형태소 분석에서 토크나이징 방식을 제시한다. 데이터의 분석은 불법 콘텐츠의 수사를 위한 지도학습 기반의 분류 알고리즘 모델을 활용, 투표 기반(Voting) 앙상블 메소드를 통하여 최적의 정확도를 검증하고 있다. 본 연구에서는 민생경제를 침해하는 범죄를 사전에 인지하기 위하여 불법 다단계에 대한 사례를 중심으로 분류 알고리즘 모델을 활용하고, 소셜 데이터의 수집과 콘텐츠 수사에 대하여 효과적으로 대응하기 위한 실증 연구를 제시하고 있다.

• 지식경영연구
• /
• 제19권1호
• /
• pp.119-132
• /
• 2018

Many advanced products and services are emerging in the market thanks to data-based technologies such as Internet (IoT), Big Data, and AI. The construction of a system for data processing under the IoT network environment is not simple in configuration, and has a lot of restrictions due to a high cost for constructing a high performance server environment. Therefore, in this paper, we will design a development environment for large data analysis computing platform using open source with low cost and practicality. Therefore, this study intends to implement a big data processing system using Raspberry Pi, an ultra-small PC environment, and open source API. This big data processing system includes building a portable server system, building a web server for web mining, developing Python IDE classes for crawling, and developing R Libraries for NLP and visualization. Through this research, we will develop a web environment that can control real-time data collection and analysis of web media in a mobile environment and present it as a curriculum for non-IT specialists.

• 대한임베디드공학회논문지
• /
• 제16권6호
• /
• pp.259-266
• /
• 2021

Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

• 한국항공운항학회지
• /
• 제28권4호
• /
• pp.89-101
• /
• 2020

In order to enhance the safety of the international aviation industry, the International Civil Aviation Organization has recommended establishing an operational foundation for systematic and integrated collection, storage, analysis and sharing of aviation safety data. Accordingly, the Korea aviation industry also needs to comprehensively manage the safety data which generated and collected by various stakeholders related to aviation safety, and through this, it is necessary to previously identify and remove hazards that may cause accident. For more effective data management and utilization, a standard structure should be established to enable integrated management and sharing of safety data. Therefore, this study aims to propose the framework about how to manage and integrate the aviation safety data for big data-based aviation safety management and shared platform.