• 한국산학기술학회논문지
• /
• 제19권3호
• /
• pp.669-678
• /
• 2018

본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

• 한국ITS학회 논문지
• /
• 제19권4호
• /
• pp.81-99
• /
• 2020

기종점 데이터는 수요 분석 및 서비스 설계를 위해서 대중교통, 도로운영 등 다양한 분야에서 저장 및 활용되고 있다. 최근 빅데이터의 활용성이 증대되면서 기종점 데이터의 분석 및 활용에 대한 수요도 함께 증가하고 있다. 기존의 일반적인 교통 정보 데이터가 수집장비 수(n)에 비례하여 데이터양이 증가(α·n)하는 것과는 다르게, 기종점 데이터는 수집지점 수(n)의 증가에 따라 수집 데이터의 양이 기하급수적으로 증가(α·n²)하는 경향이 있다. 이로 인하여 기종점 데이터를 원시 데이터의 형태로 장기간 저장하고 빅데이터 분석에 활용하는 것은 대용량의 저장 공간이 필요하다는 것을 고려할 때 실용적 대안으로 여겨지지 않고 있다. 이와 함께 기종점 데이터는 0~10 사이의 작은 수요 부분에 패턴화된 형태와 무작위 적인 형태의 데이터가 섞여있어 작은 수요가 그룹화되어 발생하는 주요 패턴을 추출하기에 어려움이 있다. 이러한 기종점 데이터의 저장용량의 한계와 패턴화 분석의 한계를 극복하고자 본 연구에서는 주성분 분석을 활용한 대중교통 기종점 데이터의 압축 및 분석 방법을 제안하였다. 본 연구에서는 서울시와 세종시의 대중교통 이용 데이터를 활용하여 모빌리티 데이터를 분석하고, 모빌리티 기종점 데이터에 포함된 무작위 성향이 높은 데이터를 제거하기 위해 주성분분석 기반의 데이터 압축 및 복원에 관한 연구를 수행하였다. 주성분분석으로 분해된 기종점 데이터와 원데이터를 비교하여 주요한 수요 패턴을 찾고 이를 통해 압축률과 복원율을 높일 수 있는 주성분 범위를 제안하였다. 본 연구에서 분석한 결과, 서울시 기준 1~80, 세종시 기준 1~60까지의 주성분을 사용할 경우 주요 이동 데이터의 손실 없이 기종점 데이터에 포함되어있는 노이즈를 제거하고 데이터를 압축 및 복원이 가능하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제4권9호
• /
• pp.371-376
• /
• 2015

사물인터넷 (IoT)은 데이터의 양을 상당히 증가시킨다. 데이터베이스 압축은 저장 시스템 비용과 I/O 대역폭을 절약할 수 있기 때문에 빅데이터에 있어서 중요하다. 그러나 데이터베이스 압축은 압축된 페이지에 대한 업데이트로 인해 OLTP와 같은 쓰기 집중적인 워크로드에 대해 낮은 성능을 보일 수 있다. 본 논문에서는 데이터베이스 압축의 성능 향상을 위한 실용적 가이드라인을 제시한다. 특히, 압축 페이지 크기에 의한 계산으로부터 예상되는 공간 절약과 거의 같은 공간 절약을 보이는 테이블들만을 압축하는 SELECTIVE 전략을 제시한다. TPC-C 벤치마크와 MySQL을 이용한 실험을 통해 SELECTIVE 전략이 압축하지 않는 방법에 비해 1.1배 높은 성능을 보이면서 17.3%의 공간을 절약한다는 것을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.99-101
• /
• 2015

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

• Spatial Information Research
• /
• 제20권5호
• /
• pp.99-109
• /
• 2012

최근 소셜 미디어의 발달과 스마트폰의 확산으로 SNS(Social Network Service)가 활성화가 되면서 데이터양이 폭발적으로 증가하였다. 이에 맞춰 빅데이터 개념이 새롭게 대두되었으며, 빅데이터를 활용하기 위한 많은 방안이 연구되고 있다. 여러 기업이 보유한 빅데이터의 가치창출을 극대화하기 위해 기존 데이터와의 융합이 필요하며, 물리적, 논리적 저장구조가 다른 이기종 데이터 소스를 통합하고 관리하기 위한 시스템이 필요하다. 빅데이터를 처리하기 위한 시스템인 맵리듀스는 분산처리를 활용하여 빠른게 데이터를 처리한다는 이점이 있으나 모든 키워드에 대해 시스템을 구축하여 저장 및 검색 등의 과정을 거치므로 실시간 처리에 어려움이 따른다. 또한, 이기종 데이터를 처리하는 구조가 없어 복합 이벤트를 처리하는데 추가 비용이 발생할 수 있다. 이를 해결하는 방안으로 기존에 연구된 복합 이벤트 처리 시스템을 활용하여 실시간 복합 이벤트 탐지를 위한 기법을 제안하고자 한다. 복합 이벤트 처리 시스템은 서로 다른 이기종 데이터 소스로부터 각각의 데이터들을 통합하고 이벤트들의 조합이 가능하며 스트림 데이터를 즉시 처리할 수 있어 실시간 처리에 유용하다. 그러나 SNS, 인터넷 기사 등 텍스트 기반의 비정형 데이터를 텍스트형으로 관리하고 있어 빅데이터에 대한 질의가 요청될 때마다 문자열 비교를 해야 하므로 성능저하가 발생할 여지가 있다. 따라서 복합 이벤트 처리 시스템에서 비정형 데이터를 관리하고 질의처리가 가능하도록 문자열의 논리적 스키마를 부여하고 데이터 통합 기능을 제안한다. 그리고 키워드 셋을 이용한 필터링 기능으로 문자열의 키워드를 정수형으로 변환함으로써 반복적인 비교 연산을 줄인다. 또한, 복합 이벤트 처리 시스템을 활용하면 인 메모리(In-memory)에서 실시간 스트림 데이터를 처리함으로써 디스크에 저장하고 불러들이는 시간을 줄여 성능 향상을 가져온다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.409-412
• /
• 2019

국내의 미세먼지 문제가 심각해짐에 따라 대기 오염에 관한 분야의 관심이 높아지고 있다. 현재 정부는 최근 IT 융합 기술의 발전에 따라 빅데이터, 클라우드, 등 사물인터넷 기반 장치의 확산 및 고도화를 위한 기술 접목에 많은 지원과 관심을 보이며 기상청을 통해서는 국내 대기 오염으로 인한 사회적 비용을 낮추기 위해 공공 데이터(Application Program Interface, API)를 활용 다양한 정보 서비스를 지원하고 있다. 하지만 기상청에서 제공하는 정보 서비스에는 한계가 있다. 특히 기상청에서 운영되고 있는 장비들은 고가의 장비로써 비용 및 공간적 설치 제약이 따르며, 약 15km 범위를 한 개소로 담당하여 기상 데이터에 대한 신뢰도에 문제가 발생하고 있다. 본 논문에서는 오픈 하드웨어 기반 소형 기상관측 장비를 활용한 기상지수 및 미세먼지 측정 데이터 제공 시스템을 제안한다. 본 논문에서 제안한 시스템은 기상 계측이 필요한 지역의 작은 공간을 활용, 기상관측 장비를 통해 관측된 데이터와 기상청에서 제공하는 생활 기상지수 알고리즘을 토대로 해당 지역에 맞는 맞춤형 정보를 제공하여 사회적 비용을 낮출 수 있을 것으로 기대한다.

• 통합자연과학논문집
• /
• 제15권1호
• /
• pp.49-53
• /
• 2022

본 논문은 기존의 도시개발정책에서 경제적 관점에서 가치의 중심을 두었다면 4차산업혁명시대에는 서비스적 가치변환을 추구하고 있다. 시공간을 공유하는 사람 중심의 공간 서비스요, 가치의 용광로가 메타버스라고 한다면, 오징어게임과 같은 게임이론이 접목된 도시의 미래상을 고려할 필요가 있다. 4차산업 기술과 서비스가 사회로 침투되면서 도시의 공간 인프라, 동산 부동산, 객체들을 물리적공간과 가상공간에서 인공지능과 빅데이터 분석이 개입된 각종 형태와 형식의 컨텐츠가 입체적으로 생동감을 얻게 되었다. 특히, 코로나19을 맞아 메타버스기반 서비스가 대중들에게도 접근하기 시작하면서 지금까지 경험하지 못했던 메타버스 시민의 역할에 대한 필요성이 대두하게 되었다. 4차산업혁명시대의 스마트도시, 메타버스와 게임이론을 연구하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.773-776
• /
• 2020

웹 뉴스 기사는 태풍과 같은 재해 발생상황에 대한 신속하고 정확한 정보를 포함하고 있다. 예를 들어, 태풍의 발생시점, 이동·예측경로, 피해·사고 현황 등 유용한 정보를 텍스트, 이미지, 동영상의 형태로 관련 상황정보를 전달한다. 그러나 대부분의 재해재난 관련 뉴스 기사는 특정 시점의 정보만을 웹페이지 형태로 제공하므로, 시계열 측면의 연결성을 지니는 기사들에 대한 정보를 전달하기 어렵다. 또한 시간적 변화에 따라 기사 내용에 포함된 장소, 지역, 건물 등의 지명에 대한 공간적 정보를 지도와 연계하여 정보를 전달하는데 한계가 있어, 시공간적 변화에 따른 특정 재해재난 상황정보에 대한 전체적인 현황파악이 어렵다. 따라서, 본 논문에서는 데이터 시각화 측면에서 이러한 한계를 극복하기 위해, 1) 웹크롤링을 통해 구축된 뉴스 빅데이터를 자연어 처리를 통해 태풍과 관련된 뉴스 기사들을 추출하였고, 2) 시공간적 관련 정보를 지식그래프로 구축하였고, 이를 통해 최근 발생한 태풍 사건들과 관련된 뉴스 정보를 시계열 특성을 고려하여 3) 인터렉티브 지도 기반의 태풍 상황정보를 시각화하는 방안을 연구하였다.

• 벤처창업연구
• /
• 제11권6호
• /
• pp.185-194
• /
• 2016

최근 인터넷, 모바일 등의 보급이 보편화됨에 따라, 많은 정보를 담고 있는 방대한 양의 데이터를 활용한 빅데이터(BigData) 기술의 필요성이 대두되고 있다. 빅데이터 기술은 다양한 분야에서 활용되고 있는 반면, 공공분야에서의 활용은 아직 미흡한 실정으로 본 연구에서 이를 적용하고자 한다. 다양한 공공분야 중 현재 뿐 아니라 미래사회에 큰 영향을 미치게 될 고령화를 키워드(Key-Word)로 실버산업에 영향을 미치는 요인을 탐색하였다. 분석결과, 실버산업, 독거노인, 노화, 출생, 퇴임 의 5개 변수가 탐색되었으며, 서로 상관이 있는 것으로 확인되었다. 이에 실버산업에 대하여 나머지 4개의 변수의 영향력을 분석한 결과, 통계적으로 유의한 영향을 미치는 것으로 확인되었다. 또한, 실버산업 발전의 대안으로써 독거노인 주거 공간 마련, 출산장려, 시니어 기술인 실버창업 활성화 지원의 필요성을 제안하였다. 본 연구는 빅데이터를 활용한 계량적 접근을 통해 요인을 탐색하였다는 측면에서 이론적 시사점을 제공하였으며, 그 대안을 제시함으로써 실무적 시사점을 제공하고자 하였다.

• Ecology and Resilient Infrastructure
• /
• 제7권3호
• /
• pp.171-180
• /
• 2020

산업화 및 도시화가 가중됨에 따라서 여가생활을 위한 공간 희소성이 부각되고 있다. 하천 주변의 수변공간이 제공하는 자연경관 및 생태체험 등의 기회는 지역사회의 발전과 친수공원 조성을 조성하는데 근간이 되는 요소이다. 이러한 하천 공간을 이용하는 이용객을 정량적으로 파악하는데 있어 과거에는 인력을 동원하여 현장조사를 수행하였으나 경비, 인력 및 시공간적인 제약이 발생하여 결과물의 정확성이 확보되지 못하는 문제점이 있다. 본 연구에서는 이러한 문제점을 극복하고자 위치정보를 활용한 친수공원 이용객 추정을 수행하였다. 연구대상지역은 낙동강 하류에 위치한 삼락생태공원과 대저생태공원이다. 통신 빅 데이터를 활용한 이용객 패턴과 GPS 위치정보를 기반으로 한 이용객 패턴을 비교·분석하였다. GPS 위치정보는 Google Popular Times와 카카오 방문자 데이터를 활용하였다. GPS 위치정보 데이터를 활용했을 때 통신 빅 데이터를 활용한 결과보다 주중과 주말 이용객에 대한 패턴이 뚜렷하였다. 따라서 향후 통신 빅 데이터를 이용할 때 pCELL 크기의 정밀화 및 체류시간 30분 이상의 조건으로 이용객 수를 추출한다면 GPS 위치정보의 결과와 유사할 것으로 예상된다. 또한 개인정보 보호법 등 개정이 이루어져 보다 정확한 데이터를 추출한다면 GPS 기반으로 이용객 수를 추정하는 것이 더 정확한 이용객 수의 지표를 산정할 수 있을 것으로 판단된다.