• 제목/요약/키워드: 빅데이터 서비스

검색결과 1,005건 처리시간 0.026초

로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법 (MapReduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis)

  • 이협건;김영운;박지용;이진우
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.593-600
    • /
    • 2018
  • 인터넷과 스마트기기의 발달로 인해 소셜미디어 등 다양한 미디어의 접근의 용이해짐에 따라 많은 양의 빅데이터들이 생성되고 있다. 특히 다양한 인터넷 서비스를 제공하는 기업들은 고객 성향 및 패턴, 보안성 강화를 위해 맵리듀스 기반 빅데이터 분석 기법들을 활용하여 빅데이터 분석하고 있다. 그러나 맵리듀스는 리듀스 단계에서 생성되는 리듀서 객체의 수를 한 개로 정의하고 있어, 빅데이터 분석할 때 처리될 많은 데이터들이 하나의 리듀서 객체에 집중된다. 이로 인해 리듀서 객체는 병목현상이 발생으로 빅데이터 분석 처리율이 감소한다. 이에 본 논문에서는 로그 분석처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과병합 단계로 구분하며 리듀서 객체의 수를 유동적으로 생성하여 병목현상을 감소시켜 빅데이터 처리율을 향상시킨다.

농업 빅데이터 수집 및 분석을 위한 플랫폼 설계 (Design of a Platform for Collecting and Analyzing Agricultural Big Data)

  • 뉘엔 반 퀴엣;뉘엔 신 녹;김경백
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권1호
    • /
    • pp.149-158
    • /
    • 2017
  • 빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.

SDN에서 데이터 경로 설계에 대한 고려 사항

  • 윤현식;강경순;김학서;박혜숙
    • 정보와 통신
    • /
    • 제30권3호
    • /
    • pp.22-28
    • /
    • 2013
  • 오늘날 미래인터넷 기술의 하나로서 SDN이 클라우드 서비스, 모바일 서비스, 스마트 TV, 빅데이터 및 사물지능통신 등의 새로운 서비스를 제공할 수 있는 개방형 플랫폼으로 주목받고 있다. 본고에서는 이러한 SDN 망을 구축함에 있어서 제어 인터페이스, QoS, 멀티캐스트, 이동성 및 네트워크 보안 측면에서 고려해야 할 사항들을 살펴본다. 기존 네트워크의 근본적인 문제점으로 인해 발생한 복잡성 및 성능 저하 요인들이 SDN의 장점을 활용하여 해결될 수 있으며, 이에 본고에서 제시된 고려 사항들이 큰 역할을 할 것이다.

소셜 빅 데이터를 이용한 관광서비스 평판에 관한 연구 (A Study on the Reputation of Tourism Services using Social Big Data)

  • 송은지;강민식
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.671-672
    • /
    • 2014
  • 최근 기업의 효율적인 경영을 위해 다양한 소셜 채널에서 폭발적으로 생성되고 확산되는 빅 데이터를 실시간으로 분석하는 기술이 개발되고 있다. 본 논문에서는 관광서비스에 관해 소셜 미디어 상의 빅 데이터를 이용하여 보다 정확하고 효율적인 정보 수집과 분석이 가능하도록 하기위한 모델구축 방법을 제안하고 관광서비스에 관한 평판을 분석한다. 관광 산업 도메인 네트워크를 활용한 표준화, 일반화 확보를 위해 먼저 B2C 산업군 및 업종별 공통 수집원 추출 및 표준화 분석 체계 수립을 통한 해당 적용분야의 설계안 수립하고 관광객(소비자) 작성 게시글 분석을 위한 산업군 정보 추출하며 관광지, 숙박지, 교통 등 다양한 업종에 대한 분석 수행한다. 관광지에 대한 평가 기준을 기존의 설문이 아닌 SNS 상의 고객 의견을 바탕으로 호감도로 분석한다.

  • PDF

과학기술 빅 데이터 기반 기술 동향 분석 및 예측 (Analysis and Forecast of Technology Trends from S&T Big Data)

  • 정한민
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2012년도 춘계 종합학술대회 논문집
    • /
    • pp.169.1-169.1
    • /
    • 2012
  • 최근 높은 관심과 기술적 이슈를 끌어내고 있는 빅 데이터는 과학기술 분야에도 무수히 존재한다. 위성사진, 동영상을 비롯하여 링크드 데이터 (Linked Data)에 이르기까지 데이터 유형과 무관하게 처리해야 할 대상은 계속 늘어가고 있는 실정이다. 최근 몇 년동안 과학기술 문헌을 대상으로 시맨틱 기술과 자연어처리 기술을 이용하여 기술 동향을 분석하고 예측하는 연구를 수행해 온 KISTI는 빅 데이터 환경에 맞추어 분석 플랫폼을 분산/병렬화하는 동시에 모바일 서비스 플랫폼을 통해 신속한 의사 결정을 지원하는 전략을 취하고 있다. 또한, 법무부, 국방기술품질원, 관세청에 적용한 분석 기술을 더욱 고도화하여 사용자 적응형 가이드 서비스를 개발하고 이를 통해 연구 개발 전략 수립을 실제적으로 지원할 수 있도록 노력하고 있다.

  • PDF

빅데이터 환경의 실시간 서버 감시항목 도출을 위한 요구사항 분석 (Analysis of Requirements for Real-time Monitoring Item based on Big Data Environment)

  • 임복출;김순곤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.745-746
    • /
    • 2014
  • 서버 성능 모니터링은 통합된 정보시스템의 모든 구성요소의 효율적인 활동능력을 부여하고, 성능에 관계된 모든 상태를 감시하여, 최적의 서비스 품질과 정보 시스템 장원의 효율성을 유지 및 제고시키는 것이다. 현재 일반적으로 통용되는 방식은 에이전트 기반의 클라이언트가 데이터를 중앙 서버에 전송하는 것이다. 데이터 량이 급속하게 증가하는 빅 데이터 환경에서 실시간 데이터 수집 및 분석, 처리를 위해 서버 성능 모니터링의 지침 및 상용/오픈 솔루션을 분석하고 비교한다. 결과를 토대로 실제 서비스의 감시 이력과 장애 이력을 통하여 실시간 모니터링이 필요한 감시항목을 도출한다.

바이오센싱 융합 빅데이터 컴퓨팅 아키텍처 (Bio-Sensing Convergence Big Data Computing Architecture)

  • 고명숙;이태규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권2호
    • /
    • pp.43-50
    • /
    • 2018
  • 생체정보 컴퓨팅은 생체신호 센서와 컴퓨터 정보처리를 융합한 정보시스템에 기초하여 컴퓨팅시스템 뿐만 아니라 빅데이터 시스템에 크게 영향을 미치고 있다. 이러한 생체정보는 지금까지의 텍스트, 이미지, 동영상 등의 전통적인 데이터 형식과는 달리 생체신호의 의미를 부여하는 값은 텍스트 기반으로 표현되고, 중요한 이벤트 순간은 이미지 형식으로 저장하며, 시계열 분석을 통한 데이터 변화 예측 및 분석을 위해서는 동영상 형식 등 비정형데이터를 포함하는 복합적인 데이터 형식을 구성한다. 이러한 복합적인 데이터 구성은 개별 생체정보 응용서비스에서 요구하는 데이터의 특징에 따라 텍스트, 이미지, 영상 형식 등으로 각각 분리되어 요청되거나, 상황에 따라 복잡 데이터 형식을 동시에 요구할 수 있다. 기존 생체정보 컴퓨팅 시스템들은 전통적인 컴퓨팅 구성요소, 컴퓨팅 구조, 데이터 처리 방법 등에 의존하므로 데이터 처리성능, 전송능력, 저장효율성, 시스템안전성 등의 측면에서 많은 비효율성을 내포하고 있다. 본 연구에서는 생체정보 처리 컴퓨팅을 효과적으로 지원하는 생체정보 빅데이터 플랫폼을 구축하기 위해 개선된 바이오센싱 융합 빅데이터 컴퓨팅 아키텍처를 제안한다. 제안 아키텍처는 생체신호관련 데이터의 저장 및 전송 효율성, 컴퓨팅 성능, 시스템 안정성 등을 효과적으로 지원하며, 향후 생체정보 컴퓨팅에 최적화된 시스템 구현 및 생체정보 서비스 구축을 위한 기반을 제공할 수 있다.

빅데이터 환경에서 개인민감정보 보호 방안 및 대응책: 서베이 (Private information protection method and countermeasures in Big-data environment: Survey)

  • 홍성혁
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.55-59
    • /
    • 2018
  • 4차 산업혁명 시대에 혁심기술인 빅데이터는 보건, 금융, 유통, 공공부문, 제조업, 마케팅 등 다양한 분야에서 서비스를 제공하고 있으며, 정확하고 신속한 데이터 분석을 통하여 마케팅 분석과 미래 설계에 매우 유용한 기술이며, 앞으로 더 발전할 가능성이 매우 높다. 하지만, 빅데이터 활용 시 가장 큰 문제점이 개인정보 보호와 프라이버시 문제이다. 빅데이터를 이용하여 분석을 통해 기존에 알지 못했던 개인의 취향 및 행동을 분석될 수도 있고, 이러한 정보들은 개인의 민감한 정보이자 개인의 프라이버시 침해가 될 수 있다. 따라서 본 논문에서는 빅데이터 환경에서 개인정보를 활용할 때 발생 가능한 개인정보 침해에 대한 필요 사항들을 분석하여, 그에 따른 필요한 개인정보보호 기술을 제안하여 개인정보 보호와 사생활 보호에 기여하고자 한다.