• 제목/요약/키워드: 빅데이터 서비스

검색결과 1,006건 처리시간 0.033초

KI Cloud: 슈퍼컴퓨터를 통한 빅데이터 분석 및 머신 러닝 서비스 구축 방안 (KI Cloud: Design and Implementation of BigData Analysis and Machine Learning Applications on Supercomputer)

  • 박주원;이승민;정기문;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.80-82
    • /
    • 2020
  • 전통적으로 기초 과학 분야의 대규모 워크로드 작업들은 슈퍼컴퓨터와 같은 대용량 클러스터 시스템을 이용하여 수행해왔다. 그러나 최근 빅데이터 및 머신 러닝과 같은 새로운 분야에서의 컴퓨팅 자원 요구가 증가하고 기존 사용자의 요구 사항도 다양해짐에 따라 기존의 클러스터 시스템 운영 환경에서는 많은 어려움이 나타나고 있다. 이러한 문제를 해결하기 위해 한국과학기술정보연구원(KISTI)에서는 지난 3 월부터 KI (KISTI Intelligent) Cloud 서비스를 개발하여 서비스를 제공하고 있다. KI Cloud 서비스는 다음과 같은 특징이 있다. 첫째, Jupyter 과 RStudio 와 같은 대화형 개발 환경을 웹을 통해 제공함으로써 사용자는 언제, 어디서나 손쉽게 서비스를 활용할 수 있다. 둘째, 컨테이너 기술을 활용하여 사용자가 요구하는 개발 및 실행 환경을 실시간으로 구성하여 제공한다. 셋째, 사용자의 서비스 환경을 동적으로 구성하여 제공함으로써 컴퓨팅 자원의 효율성을 높일 수 있다.

빅데이터 보안이벤트 처리를 위한 NoSQL 기반 분산 처리 시스템 (NoSQL-based Distributed Processing System for Processing BigData Security Events)

  • 한효준;강지원;정용환;김양우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.90-93
    • /
    • 2017
  • 인터넷과 클라우드 서비스 사용이 증가하면서 패킷의 양과 사이버 위협이 증가하였다. 본 논문에서는 빅데이터를 처리하기 위해 사용되는 NoSQL을 보안이벤트의 신속한 처리를 위한 침입탐지시스템에 적용하였다. 다양한 데이터 모델 유형의 NoSQL 데이터베이스 중에서 빅데이터 보안이벤트를 처리하는데 가장 적합한 시스템을 찾기 위해 세 가지 유형의 Snort 룰 기반 보안이벤트 분산 처리 프로토타입 시스템들을 구축하였고 각 시스템의 성능을 평가하였다. 그 결과로 MongoDB 기반의 보안이벤트 분산 처리 시스템이 가장 속도가 빠른 것을 확인하였다.

소셜 미디어 데이터 분석을 활용한 빅데이터에 대한 인식 변화 비교 분석 (A Comparative Analysis of Cognitive Change about Big Data Using Social Media Data Analysis)

  • 윤유동;조재춘;허윤아;임희석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권7호
    • /
    • pp.371-378
    • /
    • 2017
  • 최근 모바일의 확산과 웹 서비스의 도입으로 온라인 상에 데이터가 급격히 증가하게 되어 다양한 분야에서 활용되고 있다. 특히, 빅데이터 분야에서 소셜 미디어의 등장은 축적되는 비정형 데이터의 양이 급격하게 증가하는 계기가 되었다. 이러한 비정형 데이터로부터 의미 있는 정보를 추출하기 위해 다양한 분야에서 빅데이터 기술에 대한 관심이 증가하고 있다. 빅데이터는 선진국을 중심으로 다양한 분야에서 핵심 자원으로서 중요성이 부각되고 있다. 그러나 빅데이터의 긍정적인 미래 전망과 함께 데이터의 침해 및 개인정보 보호에 대한 우려가 지속적으로 언급되고 있다. 이와 같이 긍정적인 시각과 부정적인 시각이 공존하는 빅데이터에 대해 사람들의 의견을 분석하는 연구는 현재 매우 부족한 상황이다. 이에 본 연구에서는 텍스트 마이닝을 활용하여 소셜 미디어에서 수집한 비정형 데이터를 기반으로 빅데이터에 대한 사람들의 인식 변화를 비교하였다. 텍스트 마이닝 결과, 국내 빅데이터에 대한 연도별 키워드와 함께 시간의 흐름에 따라 감소하는 긍정적인 의견과 증가하는 부정적인 의견이 관찰되었다. 그리고 이러한 분석 결과를 기반으로 국내 빅데이터에 대한 흐름을 예측할 수 있었다.

빅데이터 분석에 기반한 아동학대의 이해 -머신러닝 알고리즘 개발 기초연구- (Understanding Child Abuse Based on Big Data Analysis -A Basic Study on the Development of Machine Learning Algorithm-)

  • 배정호;범은애
    • 사물인터넷융복합논문지
    • /
    • 제8권4호
    • /
    • pp.57-63
    • /
    • 2022
  • 본 연구의 목적은 아동학대 예방을 위한 방안 마련의 일환으로 빅데이터 분석과 머신러닝 알고리즘을 활용한 정책개발의 기초자료를 제공하는데 있다. 아동학대 예방을 위한 머신러닝 알고리즘 개발을 위한 빅데이터 분석을 위해 학술데이터베이스와 사회관계망서비스 자료를 빅데이터로 정의하고 빈도, 연관어, 감성분석을 시행하였다. 연구결과 예방적 아동학대 알고리즘은 학술빅데이터 분석에 나타난 아동학대 관련 세 주체 피해아동, 가해양육자, 정부당국의 관점에서 아동학대 예방을 위한 데이터 수집 및 공유 네트워크 시스템 마련을 통해 개발이 가능할 것이다. 또한 아동학대 피해아동의 특성에서 자아개념 저하 등으로 우울 및 불안이 나타남을 단서로 영유아 자아존중감 및 우울, 불안 검사를 제도화함으로써 가능할 것이다. 아동학대 예방을 위한 빅데이터 수집 및 분석, 알고리즘 개발 연구의 지속적 진행을 제안하며 아동학대 예방을 위한 실효적 정책 마련이 실현되어 아동학대범죄가 근절되기를 기대한다.

ICT 생태계 변화에 따른 국내 이동통신 사업자의 대응 전략에 대한 연구 (Evolution of ICT Ecosystem and Mobile Telcos' Counterstrategies)

  • 김동주;강민철
    • 정보화연구
    • /
    • 제10권2호
    • /
    • pp.197-209
    • /
    • 2013
  • 본 연구에서는 국내 이동통신 사업자가 직면하고 있는 ICT 생태계의 한계와 소비자 및 스마트폰의 본질에 대한 분석을 실시하였다. 분석 결과에 따르면, 5G 통신, 퍼베이시브 컴퓨팅, 증강현실, 빅데이터 등의 유망 기술이 향후 ICT 생태계에 중요한 영향을 미칠 것으로 보인다. 본 연구에서는 이러한 분석을 통해 국내 이동통신 사업자의 대응 전략을 빅데이터 전략, 사물의 통신 주체 일원화 대비전략, 새로운 서비스 플랫폼 개발 전략, 토탈 라이프케어 서비스 제공자 전략 등 4가지로 제시하고 있다.

IoT기반 게이트웨이를 활용한 실시간 차량 정보 관리 플랫폼 설계 (Design of Real-Time Vehicle Information Management Platform Using an IoT-based Gateway)

  • 장문수;이정일
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.548-551
    • /
    • 2018
  • 대다수 차량은 문제가 발생하면 사용자가 직접 정비소에 방문하여 정비가 이뤄지는 형태를 취하고 있다. 정비가 이뤄지는 동안 사용자는 운행을 하지 못하는 불편함과 함께, 대상 차량이 수익을 창출하는 차량이라면 경제적인 손실도 감수해야 한다. 실시간으로 차량 정보를 수집하고, 수집된 빅데이터를 기반으로 차량에서 발생할 수 있는 문제를 파악하여 사후 서비스 보다는 사전 서비스를 제공한다면, 안정된 차량 운행에 도움을 줄 수 있으며, 경제적 손실도 감소할 수 있다. 이에 본 논문에서는 IoT기반 게이트웨이를 설계하고, 실시간 차량 정보를 수집하여 빅데이터를 구성하여 실시간으로 차량 정보를 제공할 수 있는 플랫폼을 설계하였다.

  • PDF

실시간 데이터 처리를 위한 개방형 데이터 프레임워크 적용 방안 (Application Of Open Data Framework For Real-Time Data Processing)

  • 박순호;김영길
    • 한국정보통신학회논문지
    • /
    • 제23권10호
    • /
    • pp.1179-1187
    • /
    • 2019
  • 오늘날의 기술 환경에서 대다수의 빅 데이터 기반 애플리케이션 및 솔루션은 스트리밍 데이터의 실시간 처리를 기반으로 한다. 빅 데이터 스트림의 실시간 처리 및 분석은 빅 데이터 기반 애플리케이션 및 솔루션 개발에서 중요한 역할을 한다. 특히 해사 분야 데이터 처리 환경에서도 데이터의 폭발적 증대에 따른 대용량 실시간 데이터를 빠르게 처리 및 분석할 수 있는 기술 개발의 필요성이 가속화되고 있다. 따라서 본 논문에서는 다양한 빅 데이터 처리를 위한 오픈소스 기술 중에 적합한 오픈소스로 NiFi, Kafka, Druid의 특징을 분석하여 한국형 e-Navigation 서비스에서 해사 분야 서비스 분석에 필요한 외부 연계 필요 정보들을 상시 최신 정보로 제공할 수 있도록 실시간 데이터 처리를 위한 개방형 데이터 프레임워크 기술 적용의 기초를 마련하고자 한다.

고용관련 빅데이터 구축 전략 및 활용방안 연구 (A Study on the Development Strategy and Utilization of Big Data Related to Employment)

  • 최기성
    • 한국콘텐츠학회논문지
    • /
    • 제21권9호
    • /
    • pp.184-197
    • /
    • 2021
  • 본 논문은 맞춤형 고용서비스 개발을 지원하기 위한 '고용관련 빅데이터 센터(가칭)'설립에 앞서 우리나라의 고용관련 DB 중에서 워크넷, 고용보험, 직업훈련 DB 등과 함께 교육과 복지 DB를 중심으로 DB별 개요, 구축 과정, 주요내용, 활용, 한계점 등을 살펴보았다. 이어서, 고용관련 빅데이터를 구축·운영하고 있는 독일과 영국의 사례를 분석하였다. 이상의 분석을 통해 개인이 생애에 경험하게 되는 다양한 노동력 상태간의 이행에서 발생할 수 있는 사회적 위험을 체계적으로 관리함으로써 이행을 통한 소득확보를 강조하는 이행노동시장론에 입각하여, 고용보험 DB를 중심으로 개인단위에서 교육/훈련/경력/자격, 구직, 고용, 실업, 비경활/복지 등의 DB를 연계하는 체계로 고용관련 빅데이터 구축방안과 활용방안을 제시하였다. 마지막으로 고용관련 DB들에 대한 대대적인 정비, 고용보험 DB를 중심으로 구축할 빅데이터의 대표성 제고, DB의 신뢰도 제고 등 향후 과제들을 제시하였다. 본 논문을 계기로 고용관련 빅데이터 구축 및 활용에 대한 논의가 더욱 활발해지기를 기대한다.

빅데이터 기반의 향수 추천 시스템 (Perfume recommendation system based on big data)

  • 허태성;허찬회
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.17-18
    • /
    • 2022
  • 엔데믹 시대를 맞아 실외 마스크 착용이 해제되고, 화장품 매장 테스트가 가능해지면서 자신의 취향과 개성을 추구하는 MZ세대 소비자들의 움직임에 향수 매출이 껑충 뛰었다. 독특하고 흔하지 않은 '나만의 향기'를 찾는 이들이 늘며 이에 따라 사용자에게 맞춤 향수 서비스를 제공해주는 사이트의 필요성을 느꼈다. 본 논문에서는 각 향수들의 설명을 분석하여 비슷한 향수를 추천하는 시스템을 구현하였다.

  • PDF