• 한국정보전자통신기술학회논문지
• /
• 제14권2호
• /
• pp.161-167
• /
• 2021

실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

• 한국빅데이터학회지
• /
• 제2권2호
• /
• pp.17-31
• /
• 2017

빅데이터의 중요성이 증가함에 따라 공공기관에서는 다양한 빅데이터 관련 인프라를 제공하고 있으며, 그 중 하나가 공공데이터이다. 공공데이터 기반의 다양한 활용 사례가 공유되고 있으며, 공공기관에서도 데이터 기반의 모델을 통해 공공의 문제를 해결하려는 움직임을 보이고 있다. 대표적으로 사회 보험 중 하나인 고용보험 케이스가 있다. 고용보험은 근로자의 권익 보호를 위해 근로자를 고용한 모든 사업주가 필수적으로 가입하여야 하는 보험이지만 가입누락의 경우가 많다. 가입누락을 막기 위한 데이터 기반의 접근이 필요하지만, 분산된 형태의 공공데이터, 수집 시기의 차이로 인해 데이터 통합이 어렵고, 체계적인 방법론이 부재한 상황이다. 본 논문에서는 공공데이터를 기반의 고용보험 가입 예측을 위한 모델 도출방법론을 제시하고자 한다. 본 방법론은 데이터 수집, 데이터 통합 및 전처리, 데이터 탐색 및 이력 데이터 분석, 예측 모델 도출을 포함하며, 프로세스 마이닝 및 데이터 마이닝을 활용한다. 또한, 사례 연구를 통해 본 방법론의 유효성을 검증한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2021년도 학술발표회
• /
• pp.90-90
• /
• 2021

물 관리를 위해서는 물 관련 정보 혹은 데이터가 있어야 하며, 최근 효과적인 물관리를 위해서 스마트 물관리 혹은 빅데이터를 활용한 물관리가 자주 언급되고 있는 실정으로 물 관리에서도 일찍부터 빅데이터 활용의 중요성이 강조되어 왔으며, 유역관리는 본질적으로 다양한 정보의 수집 가공 처리를 필요로 하기 때문에 필수적으로 빅데이터 기술이 필요한 분야라 할 수 있다. 국내 물 환경관리는 대권역, 중권역 물환경관리계획, 수질오염총량제와 같이 오염원과 부하량을 기반으로 하여 목표수질의 달성여부를 통하여 유역을 관리하고 있다. 수질오염총량관리제도는 수질관리의 효율성, 각 행정 주체들의 책임성을 강화하여 목표수질을 달성하고자하는 제도로 환경과 개발을 고려한 국내에서의 핵심적 유역관리 제도이다. 이와 함께 각각의 특성을 가진 유역에서 유역특성을 반영할수 있는 유역관리방안이 필요하며 따라서 다양한 정보들의 활용하여 특성을 분석하는 빅데이터를 적용하여 유역의 특성을 반영한 유역관리방안을 연구하고자 한다. 수질, 기상, 수리, 수생태등 각 기관에서 제공하는 데이터를 융복합적으로 확보하여 유역 여건에 맞는 실현가능한 현실적인 물관리 대책이 필요하다. 이에 빅데이터 구축 및 데이터 분석을 적용하여 유역의 다양한 정보들을 활용하여 유역의 특성을 반영한 실효성 있는 유역에서의 수질관리방안의 마련하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.515-517
• /
• 2021

원전 빅데이터를 효율적으로 분석하고 수집된 데이터를 인공지능 서비스에 활용할 수 있도록 제공하기 위해서는 원전 데이터에 특화된 빅데이터 플랫폼이 필요하다. 단순히 시간 순으로 나열된 원시(Raw) 데이터는 의미있는 단위로 논리적으로 구분되어 관리될 필요가 있고, 사건/사고의 발생에 따른 분류가 필요하다. 뿐만 아니라, 다수의 데이터들을 분석하여 수천 개의 계측신호들 중에서 원하는 목적에 적합한 신호가 어떠한 것들인지를 찾아낼 수 있는 데이터 분석이 지원될 필요가 있다. 이는 기계학습 애플리케이션을 개발할 때 필수적인 고품질의 데이터 제공에 크게 기여할 수 있다. 본 연구에서는 원전 데이터를 효과적으로 처리하고 분석하기 위한 원전 데이터 전처리 및 분석 기술을 고안하고 이를 빅데이터 저장 인프라와 통합한 원전 빅데이터 처리 체계를 소개한다. 본 연구의 결과물은 본격적인 원전 빅데이터 시스템 구축 사업에 활용될 것으로 기대된다.

• 문화기술의 융합
• /
• 제8권2호
• /
• pp.209-215
• /
• 2022

본 연구의 목적은 '포스트 코로나 뉴노멀'에 관한 소셜 미디어(social media) 빅데이터를 분석하여 한국사회에서 '포스트코로나 뉴노멀'에 대한 대중 인식을 감성 측면에서 살펴봄으로서 포스트 코로나 시대를 선제적으로 대처하기 위한 기초자료를 제공하는 것이다. 자료 수집 및 분석을 위하여 빅데이터 분석 프로그램인 '텍스톰' (textom)의 감성분석 프로그램을 활용하였다. 데이터 수집기간은 2020년 10월 5일부터 2021년 10월 5일까지 1년이고, 수집 채널은 다음(daum)과 네이버(naver)의 블로그, 카페, 트위터 및 페이스북으로 설정하였다. 이 채널에서 수집된 총 3,770개의수집텍스트를 편집, 정제한 원문데이터가 본 연구를 위해 사용되었다. 분석의 결과는 다음과 같다. 첫째, '포스트 코로나 뉴노멀'에 대해 호감과 흥미 감성이 가장 높다. 즉 일상 회복과 기술 성장 및 새로워진 미래에 대한 기대 등 낙관적 감성이 77.62%로 주도적임을 알 수 있다. 둘째, 슬픔과 거부감 같은 부정 감성은 전체의 22.38%이나, 감성의 강도는 23.91%로 비율보다 높아 이 부정 감성이 강렬하다는 것을 시사한다. 본 연구는 '포스트 코로나 뉴노멀'에 대한 빅데이터 분석을 통해서 대중의 긍정 및 부정감성의 세부 요인분석의 기여도가 있다.

• 한국건축시공학회지
• /
• 제22권3호
• /
• pp.281-291
• /
• 2022

본 연구에서는 빅데이터를 활용하여 건축물의 화재위험도 평가에 필요한 지표를 결정하였다. 건축물에서 화재위험도에 영향을 미치는 원인은 대부분 건축물만을 고려한 지표로 고착화되어 있기 때문에 제한적이고 주관적인 평가가 수행되어왔다. 따라서, 빅데이터를 활용하여 다양한 내·외부 지표를 고려한다면 건축물의 화재위험도 저감을 위한 효과적인 대책을 도모할 수 있다. 지표 결정에 필요한 데이터를 수집하기 위해 먼저 질의어를 선정하고, 웹 크롤링 기법을 이용하여 비정형 데이터 형식의 전문 문헌을 수집하였다. 문헌 내 단어를 수집하기 위해 사용자 용어사전 등록, 중복 문헌 및 불용어 제거의 전처리 과정을 수행하였으며, 선행 연구를 검토하여 단어를 4개의 요소로 분류하고 각 요소에서 위험도와 관련된 대표 키워드를 선정하였다. 그리고 대표 키워드의 연관검색어 분석을 통해 파생되는 위험도 관련 지표를 수집하였다. 지표의 선정 기준에 따라 수집된 지표를 검토한 결과, 20개의 건축물 화재위험도 지표를 결정할 수 있었다. 본 연구 방법론은 건축물 화재위험의 저감 대책 수립을 위한 빅데이터 분석의 적용 가능성을 나타내며, 결정된 지표는 건축물 화재위험도 평가를 위한 참고자료로 사용될 수 있을 것이다.

• 한국인터넷방송통신학회논문지
• /
• 제19권1호
• /
• pp.117-126
• /
• 2019

IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.281-282
• /
• 2021

본 논문에서는 항공 수요예측을 위한 빅데이터 기반 플랫폼의 설계 및 실증 결과를 제시한다. 항공 수요예측 통합 플랫폼은 항공산업 관련 데이터를 Open API, RSS Feed, 웹크롤러(Web Crawler) 등을 이용하여 수집 및 분석하여 자체 개발한 항공 수요예측 알고리즘을 기반으로 결과를 시각화하여 보여주도록 구현되어 있다. 또한, 제안하는 플랫폼의 사용자 인터페이스를 통해 변수 설정을 하여 단위별(Global, National 등), 기간별(단기, 중장기 등), 유형별(여객, 화물 등) 예측 통계 자료를 도출할 수 있다. 플랫폼의 성능 검증을 위해 정형화된 데이터를 비롯하여 소셜네트워크서비스(SNS), 검색엔진 등에서 수집한 비정형 데이터까지 활용하여 특정 키워드의 빈도와 특정 노선에 대한 항공 수요간 상관관계를 분석하였다. 개발한 통합 플랫폼의 지능형 항공 수요예측 알고리즘을 통해 전반적인 공항 운영 및 공항 운영 정책 수립에 기여할 것으로 예상한다.

• 전자통신동향분석
• /
• 제29권2호
• /
• pp.33-41
• /
• 2014

본고에서는 한국을 비롯하여 미국, 일본, 유럽의 최근 빅데이터 특허시장을 분석하였다. 분석결과 빅데이터 특허시장은 미국이 세계시장을 독과점하는 구조로 나타났다. 전 세계적으로 가장 활발한 특허 활동을 전개하고 있는 미국 특허를 대상으로 빅데이터 연구개발 트렌드를 조망해 보면 과거에는 다수 기업들에 의하여 많은 특허출원이 이루어지는 경향을 보였으나, 최근 들어 기존 기업들 간의 경쟁이 심화되면서 대기업 위주로 특허출원시장이 재편되어 가는 경향을 보이고 있다. 한편 과거에는 데이터 분석 및 처리기술에 많은 특허출원이 이루어졌으나 최근에는 데이터 운영 및 관리기술로 옮겨가는 것으로 조사되었으며, 특허출원 건수도 과거에 비하여 대폭 증가하고 있는 경향을 보이고 있다. 우리나라의 경우 실시간 처리기술, 저장기술, 표현기술은 상대적으로 높은 출원 점유율을 보이고 있으나, 데이터 수집 및 분석기술은 상대적으로 점유율이 낮게 나타나 관련 기술 강화를 위한 대책 마련이 시급한 것으로 조사되었다. 정부는 이를 위하여 데이터 사이언티스트 양성을 위한 정책적 지원을 확대할 필요가 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.54-55
• /
• 2018

본 논문은 지속적으로 수집되는 전력량계 데이터를 자동으로 처리, 분석하기 위한 IoT 데이터 기반 자동분석 기법을 제시한다. 에너지 효율을 높이기 위해서는 대상 설비의 관리, 모니터링을 통해 운영을 최적화해야 한다. IoT 기술을 이용하여 에너지 설비 사용 효율을 확인하고, 관리 여부를 판단하는 진단기술을 구현하기 위해서는, IoT 전력량계를 통해 수집된 데이터를 다양한 머신러닝 알고리즘에 입력하여 관리에 필요한 결과 지표를 도출할 수 있어야 한다. 이런 기능을 제공하는 IoT 수집 시스템의 모니터링 및 자동 진단 시스템은 데이터 수집, 분석을 신속하게 수행할 수 있다. 데이터 수집과 고속, 대용량 데이터 저장에 적합한 분산 파일시스템과 고속 시계열 기능을 기반으로 의존도, 유사도 분석실행을 제공하는 고속 전처리 시스템의 특징을 제안한다.