• 제목/요약/키워드: Big-Data Platform

검색결과 506건 처리시간 0.041초

아파치 스파크 기반 검색엔진의 설계 및 구현 (Design and Implementation of a Search Engine based on Apache Spark)

  • 박기성;최재현;김종배;박제원
    • 한국정보통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.17-28
    • /
    • 2017
  • 최근 데이터의 활용가치가 높아지면서 데이터에 관한 연구가 활발히 진행되고 있다. 데이터의 수집, 저장, 활용을 위한 대표적인 프로그램으로 웹 크롤러, 데이터베이스, 분산처리 등이 있으며, 최근에는 웹 크롤러가 다양한 분야에 활용할 수 있는 유용성으로 인해 크게 각광받고 있는 실정이다. 웹 크롤러란 자동화된 방법으로 웹서버를 순회하여 웹 페이지를 분석하고 URL을 수집하는 도구라고 정의할 수 있다. 인터넷 사용량의 증가로 매일 대량으로 생성되는 웹 페이지의 처리를 위해 하둡의 맵리듀스를 기반으로 하는 분산 웹 크롤러가 많이 사용되고 있다. 그러나 맵리듀스는 사용이 어렵고 성능에 제약이 있는 단점이 있다. 이러한 맵리듀스의 한계를 보완하여 제시된 인메모리 기반 연산 플랫폼인 아파치 스파크가 그 대안이 되고 있다. 웹 크롤러의 주요용도 중 하나인 검색엔진은 웹 크롤러로 수집한 정보 중 특정 검색어에 맞는 결과를 보여준다. 검색엔진을 기존 맵리듀스 기반의 웹 크롤러 대신 스파크 기반 웹 크롤러로 구현할 경우 더욱 빠른 데이터 수집이 가능할 것이다.

시청자의 기부 의도 향상을 위한 기부캠페인 연동형 데이터서비스에 관한 연구 (A Study on the Data Service linked with Donation Campaign to improve Viewers' Intention to donate)

  • 고광일
    • 융합보안논문지
    • /
    • 제20권2호
    • /
    • pp.77-83
    • /
    • 2020
  • 통계 조사에 의하면, 우리나라는 지속적으로 경제 수준이 향상되고 있음에도 불구하고 기부 참여율이 감소하는 추세에 있는데 그 원인으로 기부단체에 대한 신뢰성 문제가 큰 비중을 차지하고 있다. 본 연구는 시청자의 기부 의도를 높이기 위해 기부단체의 신뢰도를 높일 수 있는 정보와 기부 수혜자의 스토리텔링을 보여주는 기부캠페인 연동형 데이터 서비스를 개발하였다. 구체적으로, 짧게 방송되는 기부캠페인과 연동되어 적절히 운영되는 데이터 서비스의 사용자 시나리오를 정의하였고, TV 플랫폼의 특성을 반영하여 사용자인터페이스를 설계하였다. 또한, DVB-MHP 표준 기반의 프로토타입을 개발하여 데이터서비스 활용이 시청자의 기부 의도에 미치는 영향을 분석하였다. 본 연구는 기부캠페인 방송에 데이터서비스를 활용할 때 시청자들의 기부 의도가 높아진다는 긍정적인 효과가 확인할 수 있었고, 기부 문화 활성화의 새로운 방법을 제시하였다는 점에서 의의가 있다.

3차원 공간 데이터를 활용한 지하시설물의 효율적인 3D 모델링 자동화 기법 (Efficient 3D Modeling Automation Technique for Underground Facilities Using 3D Spatial Data)

  • 이종서
    • 한국정보통신학회논문지
    • /
    • 제25권11호
    • /
    • pp.1670-1675
    • /
    • 2021
  • 건설산업 영역의 스마트 건설 기술 도입이 빠르게 진행되고 있다. BIM(Building Information Modeling), 드론, 인공지능, 빅데이터, 사물인터넷 기술 등 스마트 건설 기술을 활용하여 시공 현장의 재해율을 낮추고 시공 기간을 단축시키는 효과를 가져온다. 건설 시공 현장 관리를 위한 디지털 트윈 플랫폼을 도입하기 위해서는 실제 시공 현장을 가상의 공간과 동일하게 구축하여 실시간으로 현장 관리를 가능하게 한다. 디지털 트윈 가상공간 구축방법은 시공 전주기 데이터를 수집 및 가공을 하고 3D 모델 파일을 이용하여 시각화 한다. 본 논문에서는 디지털 트윈 공간을 구성하는 3D 모델링을 3차원 공간 데이터를 기반으로 자동생성하여 효율적인 디지털 트윈 공간을 구축하는 모델링 자동화 기법을 소개한다.

육군 정보공유체계에 사회관계망 분석을 적용하기 위한방안: 사례 연구 (Approaches to Applying Social Network Analysis to the Army's Information Sharing System: A Case Study)

  • 박건우
    • 문화기술의 융합
    • /
    • 제9권5호
    • /
    • pp.597-603
    • /
    • 2023
  • 군사 작전의 패러다임은 정보기술의 발전으로 플랫폼 중심전에서 네트워크 중심전, 그리고 정보 중심전으로 진화해왔다. 최근 몇 년간 빅 데이터, 인공지능, 사물인터넷(IoT)과 같은 첨단 기술의 발전으로 인해 군사 작전은 인공지능 기반의 지식 중심전(KCW)으로 진화하고 있다. 이에 따라 군은 신뢰성 있는 C4I (Command, Control, Communication, Computer, Intelligence) 시스템 구축을 위해 첨단 정보통신기술(ICT)의 통합에 큰 비중을 두고 있다. 본 연구는 C4I 시스템의 전투 능력 향상, 네트워크 기반 환경에서의 최적 활용, 정보 흐름의 효율적인 부하분산, 원활한 의사소통, 지식공유의 효과적인 구현 등을 분석하고 평가하기 위해 데이터 마이닝 기법을 적용할 필요성을 강조한다. 데이터 마이닝은 현대 빅 데이터 분석의 핵심 기술로, 본 연구는 데이터 마이닝을 활용하여 실제 사례를 분석하고 군의 지휘 통제체계의 효율성을 극대화하는 실용적인 전략을 제안하였다. 연구 결과는 C4I 시스템의 성능을 더 깊게 이해하고 현대 군사 작전에 지식 중심전을 강화하는 데 유용한 통찰을 제공할 것으로 기대한다.

동적 분산병렬 하둡시스템 및 분산추론기에 응용한 서버가상화 빅데이터 플랫폼 (An elastic distributed parallel Hadoop system for bigdata platform and distributed inference engines)

  • 송동호;신지애;인연진;이완곤;이강세
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권5호
    • /
    • pp.1129-1139
    • /
    • 2015
  • 시멘틱 웹 기술인 RDF 트리플로 표현된 지식을 추론 과정을 거치면 새로운 트리플들이 생성되어 나온다. 초기 입력된 수억개의 트리플로 구성된 빅데이터와 추가로 생성된 트리플 데이터를 바탕으로 질의응답과 같은 다양한 응용시스템이 만들어 진다. 이 추론기가 수행되는 과정에서 더 많은 컴퓨팅 리소스가 필요해 진다. 이 추가 컴퓨팅 리소스는 하부 클라우드 컴퓨팅의 리소스 풀로부터 공급받아 수행시간을 줄일 수 있다. 본 연구에서는 하둡을 이용하는 환경에서 지식의 크기에 따라 런타임에 동적으로 서버 컴퓨팅 노드를 증감 시키는 방법을 연구하였다. 상부는 응용계층이며, 중간부는 트리플들에 대한 분산병렬추론과 하부는 탄력적 하둡시스템 및 가상화 서버로 구성되는 계층적 모델을 제시한다. 이 시스템의 알고리즘과 시험성능의 결과를 분석한다. 하둡 상에 기 개발된 풍부한 응용소프트웨어들은 이 탄력적 하둡 시스템 상에서 수정 없이 보다 빨리 수행될 수 있는 장점이 있다.

정보보안에 대한 연구 트렌드 분석 (Analysis of Global Research Trend on Information Security)

  • 김원필
    • 한국정보통신학회논문지
    • /
    • 제19권5호
    • /
    • pp.1110-1116
    • /
    • 2015
  • 본 논문에서는 정보보안에 대한 글로벌 연구 트렌드에 대한 분석을 다룬다. 정보를 이용하는 모든 분야에서 보안을 필요로 하기 때문에, 새롭게 생성되거나 급격하게 발전하는 분야를 발굴하는 것이 정보보안의 방향을 설정하는 것이 될 수 있다. 이에 본 연구의 목적은 정보보안과 관련한 기술들을 파악하고, 이들을 트렌드 관점에서 해석함으로써 향후를 전망해보고자 한다. 현재의 수준은 거시적 관점에서의 분석을 위한 초기 연구로써, 기술들 사이의 연도별 공기정보를 이용하여 2001년부터 2014년까지의 연관성을 측정하고, 상위 연관 기술 자체의 트렌드와 상호 비교하여 그 의미를 분석하였다. 결론적으로는 안드로이드 플랫폼, 빅데이터, 사물인터넷, 모바일 분야, 클라우드 컴퓨팅이 정보보안에 유망한 기술 분야라 할 수 있다.

국가연구망의 발전방향 및 차세대 국가연구망 보안 (Developement Strategy for the National Research Network and Next Generation Network Security)

  • 이명선;조부승;박형우;김현철
    • 융합보안논문지
    • /
    • 제16권7호
    • /
    • pp.3-11
    • /
    • 2016
  • 최근 광네트워킹 기술의 급격한 발전, SDN (Software-Defined Network) 및 NFV (Network Function Virtualization)로 대두되는 네트워크의 소프트웨어화, 그리고 단순한 고성능연결서비스를 포함한 연구협업을 가능하게 하는 플랫폼으로써의 연구망 등 인터넷 서비스을 포함한 연구망에서는 급격한 변화가 진행되고 있다. 이에 슈퍼컴과 함께 국가과학기술경쟁력을 대표하는 국가연구망의 향후 발전방향을 선진 국가연구망의 비교분석 및 사회가 요구하는 연구망의 역할 변화에 맞추어 조망해본다. 또한 국가연구망 백본의 40Gbps 및 100Gbps급 초광대역 네트워크화, 대용량의 데이터를 고속으로 전송하기 위한 Science DMZ 기반의 망분리, 마지막으로 BRO 기반 프로그래머블 가능한 캠퍼스 네트워크 Lastmile 보안 환경 구축 방안을 제시한다.

ESS기반 클린에너지, 스마트홈 IoT 플랫폼 연구 (A Study on ESS-based Clean Energy, Smart Home IoT Platform)

  • 김희철
    • 한국전자통신학회논문지
    • /
    • 제13권1호
    • /
    • pp.147-152
    • /
    • 2018
  • 본 연구는 전력에너지 효율사용 분야의 주요 설비인 ESS(: Energy Storage System, 에너지저장장치)를 기반으로 한 공동주택의 수요관리 및 에너지절감 방안을 연구하고 제반 기술적 요소와 운용에 필요한 표준화를 제시함으로서 ESS 산업 확산에 기여한다. 또한, 공동주택 및 스마트 홈을 대상으로 ESS 시장의 창출을 위하여 주택 IoT 기술을 활용, 공동주택과 스마트 홈 기반 ESS을 통합하여 전력사용자의 이용 효율성과 경제성 확보가 실현되어 기존 ESS 보다 우월한 전력사용자의 수용성을 재고 할 수 있는 사업모델을 연구하고자 한다.

하둡 분산 파일시스템에서의 유연한 노드 관리를 위한 지연된 블록 복제 기법 (Delayed Block Replication Scheme of Hadoop Distributed File System for Flexible Management of Distributed Nodes)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제12권2호
    • /
    • pp.367-374
    • /
    • 2017
  • 본 논문에서는 빅 데이터 처리를 위한 플랫폼인 하둡이 가지고 있는 분산 노드 관리 기법의 문제점을 분석하고 하둡 분산 파일시스템에서 노드 관리를 유연하게 처리하기 위한 기법을 제안한다. 기존의 방법은 클러스터에 포함된 노드가 일시적으로 연결되지 않는 경우 이를 즉시 고장으로 판정함으로 인해 클러스터를 동적으로 구성하지는 못하는 문제가 있다. 본 논문에서 제안하는 지연된 블록 복제 기법은 연결이 끊어진 노드가 추후 클러스터에 쉽게 편입될 수 있도록 노드의 제거를 최대한 지연함으로써 노드 관리의 유연성을 제공한다. 실험을 통해 제안하는 기법이 클러스터의 규모가 변화하는 환경에서 분산 처리 성능에 영향을 거의 미치지 않으면서도 노드 관리의 유연성을 증대시키는 것을 입증한다.

빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계 (Design of Building Energy Management System Using Big data Platform)

  • 김태형;정연쾌;이일우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.580-581
    • /
    • 2016
  • 국제적으로 지속적인 이슈가 되고 있는 에너지 절감에 대한 대책으로 다양한 에너지 절감 기술들이 연구 개발되고 있다. 특히 전체 에너지 사용량의 약 20%이상을 차지하는 건물(가정/상업/공공)부문에서는 에너지 진단 및 분석을 수행하기 위해 건물 에너지 관리 시스템(BEMS: Building Energy Management System)과 건물 자동화 시스템(BAS: Building Automation System) 그리고 다양한 환경정보들을 수집하여 활용한다. 하지만 기존 분석 방식은 결과의 신뢰성에 최소한의 영향을 주면서 데이터 관리 효율을 높이는 방법에 초점을 맞춰 연구가 진행되었으며, 이를 위해 기존에 수집된 데이터를 압축하거나 샘플링하는 사전 정제 과정을 거치게 되었다. 하지만 빅데이터 플랫폼을 활용하면 더 이상 신뢰성을 낮추면서까지 데이터를 정제할 필요가 없어지고, 수집되는 모든 데이터에 대한 다차원 분석을 빠르게 수행할 수 있게 된다. 따라서 본 논문에서는 하드웨어의 한계로 기존 건물에너지 진단 및 분석 시스템에서 제공하지 못했던 다양한 분석 및 진단 서비스들을 빠르고 정확하게 제공하도록 하는 빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계에 대해 서술한다.