• 제목/요약/키워드: 빅데이터 분석 플랫폼

검색결과 342건 처리시간 0.03초

하둡 환경에서 GPU를 사용한 Job 처리 방법 (Implement of Job Processing Using GPU for Hadoop Environment)

  • 홍석민;유연준;이협건;김영운
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.77-79
    • /
    • 2022
  • IT기술이 발전함에 따라 전 세계 데이터의 규모는 매년 증가하고 있다. 빅데이터 플랫폼을 사용하는 기업들은 더욱 빠른 빅데이터 처리를 원하고 있다. 이에 본 논문은 하둡 환경에서 GPU를 사용한 Job 처리 방법을 제안한다. 제안하는 방법은 CPU, GPU 클러스터를 따로 구성하여 세 가지 크기로 분류한 Job들을 알맞은 클러스터에 할당하여 처리한다. 향후, 제안하는 방법의 실질적인 검증을 위해 실제 구현과 성능 평가가 필요하다.

텍스트 마이닝을 활용한 데이터 거버넌스 연구 동향 분석: 2009년~2021년 국내 학술지 논문을 중심으로 (The Study on Data Governance Research Trends Based on Text Mining: Based on the publication of Korean academic journals from 2009 to 2021)

  • 정선경
    • 디지털융복합연구
    • /
    • 제20권4호
    • /
    • pp.133-145
    • /
    • 2022
  • 연구 목적은 데이터 거버넌스의 연구 동향을 파악하고자 하였다. 연구 대상은 데이터 거버넌스 개념과 전략이 제시되기 시작한 2009년부터 2021년까지의 논문 158편을 대상으로 하였다. 주요 연구방법은 텍스트 마이닝을 활용하였고, 주요 방법은 빈도분석, 워트클라우드, 네트워크 분석 및 토픽 모델링 기법을 사용하여 분석하였다. 연구 결과 최빈 키워드는 정보, 빅데이터, 관리, 정책, 정부, 법률, 스마트가 확인되었다. 또한 네트워크 분석 결과 데이터 산업 정책, 데이터 거버넌스 성과, 국방, 거버넌스, 데이터 공공 등의 주제로 연관된 연구 수행이 이루어지고 있었다. 토픽 모델링을 통해 도출된 4개 토픽은 "데이터 거버넌스 정책", "데이터 거버넌스 플랫폼", "데이터 거버넌스 관련 법률", "데이터 거버넌스 구현"이며, 이중 "데이터 거버넌스 플랫폼" 관련 연구는 증가 추세를 보였고, "데이터 거버넌스 구현"은 축소되고 있는 경향이었다. 본 연구는 데이터 거버넌스 관련 연구를 종합적으로 정리하였다. 데이터 거버넌스는 조직 차원의 데이터 경영 및 데이터 통합 정책, 관련 기술 등 관련 분야와 다양한 시각에서 연구영역 확대가 필요하다. 향후 해외데이터 거버넌스들을 대상으로 한 분석 대상을 확대하고 4차산업혁명, 인공지능, 메타버스 등 데이터 기반 미래 산업이 요구되는 산업 분야에서의 연구 방향과 정책 방향 수립 관련 후속 연구를 기대할 수 있다.

Splunk 플랫폼을 활용한 유해 정보 탐지를 위한 빅데이터 분석 시스템 설계 (Design of Splunk Platform based Big Data Analysis System for Objectionable Information Detection)

  • 이협건;김영운;김기영;최종석
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권1호
    • /
    • pp.76-81
    • /
    • 2018
  • 미래 경제 성장 동력으로 부상하고 있는 사물인터넷은 이미 생활과 밀접한 분야에서는 도입이 활발하게 이루어지고 있으나, 잠재된 보안위협은 여전히 잔존하고 있다. 특히 인터넷 상의 유해 정보는 스마트홈 및 스마트시티의 활성화로 인해 폭발적으로 설치된 CCTV에 할당된 IP 정보 및 심지어 접속 포트 번호들이 포털 검색 결과 및 페이스북, 트위터와 같은 소셜 미디어 등에 공개되어 간단한 툴로도 보다 쉽게 해킹이 가능하다. 사용자들이 많이 사용하는 포털 검색 데이터 및 소셜 미디어 데이터의 보안취약점 및 불법 사이트 정보들을 데이터 분석하여, 보안취약성 같은 위험 요소가 내포된 데이터 및 사회적 문제를 야기하는 불법 사이트에 대한 대응을 신속하게 수행할 수 있게 지원하는 빅데이터 분석 시스템이 필요하다. 본 논문에서는 빅데이터 분석 시스템 설계를 위해 하둡 기반 빅데이터 분석 시스템과 스파크 기반 빅데이터 분석 시스템 연구를 통해 요구사항을 도출하여 요구사항에 맞게 Splunk 플랫폼을 활용한 유해 정보 탐지를 위한 빅데이터 분석 시스템을 설계하였다.

실물옵션 기법을 이용한 기업의 빅데이터 기술 도입의 경제적 가치 분석 - 유유제약 사례를 중심으로 - (A Study On The Economic Value Of Firm's Big Data Technologies Introduction Using Real Option Approach - Based On YUYU Pharmaceuticals Case -)

  • 장혁수;이봉규
    • 인터넷정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.15-26
    • /
    • 2014
  • 본 연구는 실물옵션모형을 이용하여 기업의 빅데이터 기술도입에 따른 경제적 가치를 분석한 연구로, 빅데이터 기술도입을 결정한 기업의 주가를 이용하여 주가증분으로 평가한 경제적 가치의 크기를 옵션가치를 통해 분석하였다. 옵션가치 도출을 위해 빅데이터 기술을 마케팅에 활용한 기업의 주가를 통해 빅데이터 기술에 의한 주가증분을 추출하고, 해당 주가로 일반화적률법(GMM)을 이용하여 확률과정을 추정하였다. 옵션가치 도출을 위해 블랙-숄즈 편미분방정식을 도출하였고, 이를 수치해석적 방법인 유한차분법으로 해를 구하여 빅데이터 기술 도입에 따른 경제적 가치를 추정하였다. 분석결과, 빅데이터 투자비용을 5천만 원으로 가정했을 때, 주가증분을 통해 도출한 옵션가치는 약 38.5억 원으로 나타났고 시간가치는 약 1백만에 해당하는 것으로 나타났다. 따라서 빅데이터 기술도입은 실질적인 기업의 수익을 창출하는 효과에 더하여, 미미하지만 투자시점에 고려할 수 있는 추가적 시간가치까지 존재하는 것으로 해석된다. 민감도분석 결과 기초자산 크기가 작아질수록 옵션가치는 낮아지고, 투자비용이 낮아질수록 옵션가치는 높아지는 것으로 분석되었고, 변동성 변화에 따른 옵션가치 민감도는 크지 않은 것으로 나타났는데 이는 빅데이터 기술의 경우 기술도입 기간과 이에 따른 주가변동 폭이 낮아 변동성 증가에 따른 내재가치 증가 효과가 크지 않기 때문인 것으로 해석된다. 본 연구는 빅데이터 기술도입에 따른 효과를 실물옵션을 도입하여 분석한 최초의 연구로 빅데이터 옵션가치 도출에 빅데이터 기술을 도입한 기업의 주가를 기초자산으로 사용한 최초의 연구라는 점에서 기존연구와 차별화된다. 기업들의 빅데이터 기술 도입이 비교적 최근에 발생하였음을 고려할 때 동 분석방법론을 다양한 기업에 적용함으로 빅데이터 기술의 정체한 가치를 도출하는데 기여할 수 있을 것으로 기대된다.

빅데이터 분석을 위한 인프라 설계 (Design of Infrastructure to Analyze Big Data)

  • 박승범;이상원;안현섭;정인환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 추계학술대회
    • /
    • pp.202-204
    • /
    • 2013
  • 요즘에는 하드웨어의 발달 덕분에, 많은 기업들이 과거에 사용했던 데이터보다 훨씬 많은 양의 데이터를 조작하고 관리해야만 한다. 이런 이유에서, 기업들은 폭발적으로 증가하는 데이터를 수집하고 저장하고 다루기 위해서, 체계화된 도구, 플랫폼, 분석 방법론을 끊임없이 긴급하게 필요로 하고 있다. 본 논문에서는 우선 빅 데이터의 주요 요소를 이해하고, 둘째로 이러한 요소들을 활용한 빅 데이터 애플리케이션을 위한 주요 요소를 정의한다. 셋째로, 빅 데이터 분석을 위한 다양한 분석 기법에 대해 연구하고, 마지막으로 빅 데이터 분석을 위한 인프라를 제안한다.

  • PDF

자율주행과 공간정보의 빅데이터 기반 연계성 분석을 통한 동향 및 예측에 관한 연구 (A study on trends and predictions through analysis of linkage analysis based on big data between autonomous driving and spatial information)

  • 조국;이종민;김종서;민규식
    • 지적과 국토정보
    • /
    • 제50권2호
    • /
    • pp.101-115
    • /
    • 2020
  • 자율주행 분야 글로벌 동향 파악 및 공간정보 서비스 활성화 방안 도출을 위해 빅데이터 분석방법을 활용하였다. 사용된 빅데이터는 뉴스기사와 특허문헌을 상호 연계하여 활용하고, 뉴스 기사를 통한 동향 분석, 특허문헌 정보를 활용한 기술 분석이 진행 되었다. 본 논문에서는 자율주행에 대한 주요 뉴스에서 토픽모델을 기반으로 한 LDA(Latent Dirichlet Allocation)를 활용하여 빅데이터화 하고 주요 단어를 추출하였다. 특허정보의 주요 단어를 기반으로 적용된 워드넷(WordNet)을 활용하여 공간정보와 연계성 분석, 글로벌 기술 동향 분석을 실시하고 공간정보 분야의 동향 분석 및 예측을 실시하였다. 본 논문에서는 주요뉴스와 특허문헌 정보를 기반으로 한 빅데이터 분석방법으로 자율주행 분야와 공간정보와의 연계성 분석을 통하여 최신 동향과 미래를 예측하는 방법을 제시한다. 빅데이터 분석으로 도출된 자율주행 분야 공간정보의 글로벌 동향은 플랫폼 얼라이언스, 비지니스 파트너쉽, 기업 인수합병, 합작회사 설립, 표준화 및 기술개발로 도출되었다.

빅데이터 기반 만성질환자의 삶의 질에 미치는 영향분석 (An Analysis of Impact on the Quality of Life for Chronic Patients based Big Data)

  • 김민경;조영복
    • 한국정보통신학회논문지
    • /
    • 제23권11호
    • /
    • pp.1351-1356
    • /
    • 2019
  • 본 연구는 빅데이터 플랫폼을 이용해 만성질환자에 따른 개인적 요인과 지역사회요인이 삶의 질에 미치는 영향을 알아보는데 목적이 있다. 연구방법은 2017년 지역사회건강조사 자료와 통계청 시군구별 2차 자료를 사용하였고, EQ-5D 지수와 개인요인 및 지역사회요인을 구분하여 다수준분석을 실시하였다. 연구결과 남자의 경우, 나이가 어릴수록, 학력이 높을수록, 월가구소득이 많을수록, 경제활동을 하는 경우, 스포츠 인프라가 많은 경우 삶의 질이 높았다. 또한 주관적 건강감이 나쁠수록, 스트레스가 많을수록 삶의 질이 낮았다. 향후 의료 빅데이터 분석을 위해 클라우드와 오픈소스를 활용할 수 있는 하드웨어에 독립적인 플랫폼 제공을 위한 연구가 지속되어야 할 것이다.

인스타그램 해시태그 기반의 전시관람경험에 대한 반응 분석 (An Analysis of Visitor Responses Based on Instagram Hashtags)

  • 박지현;석아영;윤영준;이보아
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.369-372
    • /
    • 2018
  • 박물관 3.0시대의 도래와 함께 박물관 경영 측면에서 빅데이터 분석, 그리고 공유와 개방의 관점 및 커뮤니케이션 플랫폼과 마케팅 도구로써 소셜 미디어의 영향력이 증대되고 있다. 모바일 애플리케이션이나 비콘에 의존했던기존의 박물관 빅데이터 분석과는 달리, 본 연구에서는 전시에 대한 인스타그램의 해시태그를 분석함으로써, 관람객 분석도구로써 인스타그램 해시태그의 효용성과 가치를 입증하는데 목적을 두고 있다. 이를 위해 최근 2년 동안 국내에서 개최된 다섯 개의 전시의 인스타그램 해시태그를 수집 및 시각화했다. 그 결과, 모든 전시의 인스타그램의 해시태그는 전시명, 전시장소, 전시회, 지역명, 작가명에 집중되었다. 결론적으로 인스타그램의 해시태그는 전시관람 경험에 대한 분석을 위한 빅데이터로 사용하는 것이 부적합했다. 또한 관람객 개발을 위한 도구로써 인스타그램 해시태그의 효용성과 가치는 입증되지 못한 반면, 노출형에 해당하는 해시태그의 정보 확산에 대한 잠재력은 확인되었다.

  • PDF

웨어러블 센싱 기반의 Quantified Self 기술동향 (State-of-the-Art on Quantified Self Technology Based on Wearable Sensing)

  • 박준석;임정묵;정현태
    • 전자통신동향분석
    • /
    • 제30권4호
    • /
    • pp.1-11
    • /
    • 2015
  • Quantified Self란 개인의 일상활동에서 신체적 정신적 상태를 센싱 및 트래킹하여 이를 수치화함으로써 자신의 상태를 분석하고 삶의 질을 개선하기 위한 방법을 연구하여 실생활에 적용하는 활동을 의미한다. 이는 최근 헬스와 피트니스에 활용 가능한 개인 센서 및 웨어러블 기기의 급속한 보급과 다양한 개인 정보 트래킹 기기의 출현으로 개인의 일상경험을 모니터링하고, 생성되는 정보를 수집, 통합 분석을 통해 새로운 개인화 서비스를 제공하기 위한 기술개발 이슈로 주목받고 있다. Quantified Self 데이터는 초기의 수작업으로 트래킹하여 수집한 소량의 관리 가능한 데이터 세트에서 점차 대용량의 Quantified Self 빅데이터 세트로 크기가 증가하고 있으며, 개인정보의 통합분석을 위한 빅데이터 모델과 자동적인 셀프-트래킹 플랫폼으로서의 웨어러블 컴퓨터 기술과 응용의 기대치를 증가시키고 있다. 본고에서는 Quantified Self 정의와 기술 및 서비스 동향에 대해 살펴보고, 웨어러블 센싱 기반 트래킹 기기의 개발사례와 Quantified Self의 주요이슈와 미래전망에 대해 조망해 본다.

  • PDF

빅데이터 플랫폼에서 이종 서비스간 성능 간섭 현상 제어에 관한 연구 (Research of Performance Interference Control Technique for Heterogeneous Services in Bigdata Platform)

  • 진기성;이상민;김영균
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권6호
    • /
    • pp.284-289
    • /
    • 2016
  • Hadoop 기반의 빅데이터 분석 모델에서는 원시 데이터를 생산하는 응용계 시스템과 이를 분석하기 위한 분석계 시스템간의 데이터 이동이 불가피하다. 이에 따라, 응용 서비스와 분석 서비스를 하나의 플랫폼에서 동시에 지원할 수 있는 유니파이드 빅데이터 파일시스템 기술이 소개되고 있다. 그러나, 단일 플래폼 운영에 따른 경제성, 자원 효율성 등 다양한 측면에서의 장점에도 불구하고 현재 기술 수준에서는 응용 서비스와 분석 서비스의 상호 간섭에 의한 성능 저하 현상을 극복하는 것이 가장 큰 당면 과제로 남아있다. 본 논문에서는 이를 해결하기 위한 일차적 단계로 두 서비스에 대해 실서비스 수준 시뮬레이션을 통해 시스템 자원의 활용률, 워크로드 특성, 입출력 불균형의 세 가지 관점에서 관찰한 후 성능 간섭 문제의 근본적인 원인을 도출하였다. 또한 이를 해결하기 위한 방법으로 첫째, 데이터 서버의 입출력 경로를 분리하여 응용 서비스와 분석 서비스 각각 독립적인 입출력 계층을 구성하는 구조적인 해결책과, 둘째, 순차 읽기 특성을 가지는 분석 서비스 입출력 특성의 효과를 극대화하기 위한 선제적 미리 읽기 기법의 기술적 해결책을 제안한다. 한편, 논문에서 제안한 방법의 효과를 검증하기 위해 시뮬레이션과 동일한 방법의 시험을 기존 시스템과 제안한 시스템 각각에 대해 수행한 결과 기존 시스템 대비 우수한 성능을 확인할 수 있었다.