• 한국정보통신학회논문지
• /
• 제21권1호
• /
• pp.17-28
• /
• 2017

최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2017년도 하계학술대회
• /
• pp.63-64
• /
• 2017

정보 기술의 끊임없는 발전에 따라 광범위한 분야에서 방대한 양의 데이터가 발생하게 되면서 이를 처리하기 위한 빅 데이터에 대한 연구 및 교육이 활발히 진행되고 있다. 이를 위하여 데이터 분석 및 처리를 위한 고성능의 서버 및 분산 처리를 위한 다수의 컴퓨터가 필요하며 이는, 개인 혹은 저사양의 수업 환경에서 빅 데이터를 학습하는 데에 어려움을 겪게 한다. 때문에 가상 환경에서 원활한 빅 데이터 학습을 위한 클라우드 기반의 시스템이 필요하다. 이에 본 논문에서는, 빅 데이터 처리 기술의 하나인 Spark를 이용한 빅 데이터 플랫폼 구축에 대하여 기술한다.

• 디지털콘텐츠학회 논문지
• /
• 제19권6호
• /
• pp.1207-1212
• /
• 2018

초음파 영상은 초음파 펄스를 이용해 반사파를 수신하여 진단에 필요한 영상을 구성하는데 신호가 약해 질 경우, 잡음이 발생하여 미세한 명암도 차이가 발생한다. 또한 초음파 영상의 특성인 호흡에 의한 흔들림 현상과 실시간으로 변화하는 움직임에서 영상의 밝기 변화가 발생한다. 이와 같은 노이즈로 인해 임상적 병변을 육안으로 판단하고 진단하는데 어려움이 있다. 본 논문에서는 초음파 획득한 이미지에 영상처리 기법을 이용하여 형태학적 특징을 자동 추출한다. 이 논문에서는 영상처리를 위해 클라우드 빅데이터 처리 플랫폼을 활용해 GPU기반의 빠른 필터를 구현하였다. GPU 기반의 고성능 필터의 적용시 CPU 기반보다 4.7배 빠른 성능으로 알고리즘이 동작되었고 PSNR이 37.2dB로 원본과 매우 유사함을 확인하였다.

• 한국빅데이터학회지
• /
• 제8권2호
• /
• pp.83-95
• /
• 2023

스마트 플랜트 발전에 있어서 빅데이터 분석과 인공지능은 중요한 역할을 한다. 본 연구에서는 플랜트 데이터를 위한 빅데이터 플랫폼과 인공지능 기반 플랜트 유지 관리를 위한 'AutoML 플랫폼'을 개발하였다. 빅데이터 플랫폼은 하둡, 스파크, 카프카를 활용하여 플랜트에서 발생하는 대용량의 데이터를 수집, 처리, 적재하는 플랫폼이다. AutoML 플랫폼은 설비의 예지보전 및 공정 최적화를 위한 예측 모델을 구축하는 머신러닝 자동화 시스템이다. 위 플랫폼은 기존 플랜트 운영 정보 시스템과의 호환성을 고려하여 데이터 파이프라인을 구성하고, 웹 기반 GUI를 통해 작업자의 접근성과 편의성을 향상하였으며, 데이터 처리와 학습 알고리즘에 사용자 정의 모듈을 탑재하는 기능을 통해 유연성을 증대시켰다. 본 논문은 국내 정유회사의 특정 공정을 대상으로 플랫폼을 실제 운영해보았고, 이를 통해 스마트 플랜트를 위한 효과적인 데이터 활용 플랫폼 사례를 제시한다.

• 한국비블리아학회지
• /
• 제28권4호
• /
• pp.501-518
• /
• 2017

연구자들에게 지식을 습득하여 연구 활동에 도입하는데 걸리는 소요시간을 단축하는 것은 연구생산성 향상에 필수적인 요소라고 할 수 있다. 본 연구의 목적은 한민족과학기술자네트워크(KOSEN) 사용자들의 정보 이용 패턴을 군집화하고 그룹화 된 사용자들에게 맞는 개인화 추천서비스 알고리즘의 최적화 방안을 제안하는 것이다. 사용자들의 연구활동과 이용정보에 기반하여 적합한 서비스와 콘텐츠를 식별한 후 Spark 기반의 빅데이터 분석 기술을 적용하여 개인화 추천 알고리즘을 도출하였다. 개인화 추천 알고리즘은 사용자의 정보검색에 소요되는 시간을 절약하고 적합한 정보를 찾아내는데 도움을 줄 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.287-288
• /
• 2019

본 논문에서는 대용량 화물 DTG 데이터 분석을 위한 빅데이터 플랫폼을 설계 및 구현한다. DTG(digital tacho graph)는 차량운행기록을 실시간으로 저장하는 장치로서, 차량의 GPS, 속도, RPM, 제동유무, 이동거리 등 차량운행 관련 데이터가 1초 단위로 기록된다. 차량 운행 패턴 및 분석을 하기 위해서는 DTG 데이터의 빠른 처리가 필수적이며, 특히 대용량 DTG 데이터를 가공 및 변환하기 위해서는 별도의 플랫폼이 필요하다. 본 논문에서는 오픈소스 기반의 빅데이터 프레임워크인 스파크(Spark)를 이용하여 대용량 화물 DTG 데이터의 전처리 플랫폼을 구현하였다. 실제 대용량 화물 DTG 데이터를 대상으로 데이터를 변환 및 지도상에 표현해 보인다.

• 정보과학회 논문지
• /
• 제43권6호
• /
• pp.621-626
• /
• 2016

재귀적 질의 알고리즘은 소셜네트워크 서비스의 도달가능 질의와 같은 많은 응용프로그램에 사용된다. 하지만 최근에 소셜네트워크 서비스의 규모가 커짐에 따라 그래프 데이터의 크기 또한 커지고 있다. 따라서 재귀적 질의 알고리즘을 싱글 머신에서 가동하는 것이 거의 불가능해졌다. 본 논문에서는 이러한 문제점을 해결하기 위해서 고속 분산 인메모리 플랫폼인 스파크와 트위스터에서 재귀적 질의 알고리즘을 구현하였다. 구현된 알고리즘은 아마존 EC2 머신 50대에서 Real-world 데이터 셋인 LiveJournal과 ClueWeb으로 실험하였다. 실험결과 상대적으로 노드 수는 적고 평균 차수(degree)는 높은 LiveJournal 데이터 셋에서는 스파크에서 구현된 재귀적 알고리즘의 성능이 트위스터의 것보다 좋았다. 그리고 상대적으로 노드 수는 많고 평균 차수는 낮은 ClueWeb 데이터 셋에서는 트위스터에서 구현된 재귀적 알고리즘의 성능이 스파크의 것보다 좋았다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.661-664
• /
• 2017

Recently, during disasters occurrence, dealing with emergencies has been handled well by the early transmission of disaster relating notifications on social media networks (e.g., Twitter or Facebook). Intuitively, with their characteristics (e.g., real-time, mobility) and big communities whose users could be regarded as volunteers, social networks are proved to be a crucial role for disasters response. However, the amount of data transmitted during disasters is an obstacle for filtering informative messages; because the messages are diversity, large and very noise. This large volume of data could be seen as Social Big Data (SBD). In this paper, we proposed a big data platform for collecting and analyzing disasters' data from SBD. Firstly, we designed a collecting module; which could rapidly extract disasters' information from the Twitter; by big data frameworks supporting streaming data on distributed system; such as Kafka and Spark. Secondly, we developed an analyzing module which learned from SBD to distinguish the useful information from the irrelevant one. Finally, we also designed a real-time visualization on the web interface for displaying the results of analysis phase. To show the viability of our platform, we conducted experiments of the collecting and analyzing phases in 10 days for both real-time and historical tweets, which were about disasters happened in South Korea. The results prove that our big data platform could be applied to disaster information based systems, by providing a huge relevant data; which can be used for inferring affected regions and victims in disaster situations, from 21.000 collected tweets.

• 한국빅데이터학회지
• /
• 제1권2호
• /
• pp.9-19
• /
• 2016

ICT 융합에 대한 관심이 높아진 가운데 독일의 Industry 4.0을 시작으로 제조업과 ICT 융합에 대한 연구가 활발하게 진행되고 있다. 이를 통해 전통적인 제조업의 제조단가를 낮추고 극적인 품질향상을 기대할 수 있게 되었다. 최근 정부의 제조업 3.0 전략 등에 힘입어 국내에서도 제조업에 대한 고도화가 진행되고 있으며, 이러한 추세에 발맞추어 제조업 운영에서 발생하는 빅데이터에 대한 주문맞춤형 분석 플랫폼을 개발하고 이를 통해 제조 현장의 경쟁력을 높이고자 한다. 주문맞춤형 분석 플랫폼은 확장성을 고려하여 스프링 프레임워크를 기반으로 웹에서 실행되도록 설계되었으며, 제조업 현장에서 발생하는 다량의 데이터를 빠르게 처리하기 위하여 스파크와 하둡 파일 시스템을 이용한다. 실시간으로 스트리밍 된 데이터를 프로세스 마이닝 기반 알고리즘을 통해 처리하고 공장의 현황을 분석하여 제조업 현장의 문제를 파악하고 신속한 의사결정을 지원할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제19권2호
• /
• pp.386-395
• /
• 2016

In trajectory-based navigation systems, a huge amount of trajectory data is needed for efficient route explorations. However, it would be very hard to collect trajectories from all the possible start and destination combinations. To provide a practical solution to this problem, we suggest a method combining collected GPS trajectories data into additional generated trajectories with new start and destination combinations without road information. We present a trajectory combination algorithm and its implementation with Scala programming language on Spark platform for big data processing. The experimental results proved that the proposed method can effectively populate the collected trajectories into valid trajectory paths more than three hundred times.