• 제목/요약/키워드: 오픈데이터 플랫폼

검색결과 163건 처리시간 0.03초

하둡 기반 빅데이터 수집 및 처리를 위한 플랫폼 설계 및 구현 (Design and Implementation of Hadoop-based Platform "Textom" for Processing Big-data)

  • 손기준;조인호;김찬우;전채남
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2015년도 춘계 종합학술대회 논문집
    • /
    • pp.297-298
    • /
    • 2015
  • 빅데이터 처리를 위한 소프트웨어 시스템을 구축하기 위하여 필요한 대표적인 기술 중 하나가 데이터의 수집 및 분석이다. 데이터 수집은 서비스를 제공하기 위한 분석의 기초 작업으로 분석 인프라를 구축하는 작업에 매우 중요하다. 본 논문은 한국어 기반 빅데이터 처리를 위하여 웹과 SNS상의 데이터 수집 어플리케이션 및 저장과 분석을 위한 플랫폼을 제공한다. 해당 플랫폼은 하둡(Hadoop) 기반으로 동작을 하며 비동기적으로 데이터를 수집하고, 수집된 데이터를 하둡에 저장하게 되며, 저장된 데이터를 분석한 후 분석결과에 대한 시각화 결과를 제공한다. 구현된 빅데이터 플랫폼 텍스톰은 데이터 수집 및 분석가를 위한 유용한 시스템이 될 것으로 기대가 된다. 특히 본 논문에서는 모든 구현을 오픈소스 소프트웨어에 기반하여 수행했으며, 웹 환경에서 데이터 수집 및 분석이 가능하도록 구현하였다.

  • PDF

도커 컨테이너 기반 사용자 맞춤형 CCTV 서비스 설계 및 구현 (Design and Implementation of Docker Container based User Customized CCTV Service)

  • 염성웅;권태용;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.136-138
    • /
    • 2018
  • 최근 네트워크 서비스의 발달과 카메라 장치의 소형화에 따라 다양한 스트리밍 서비스들이 각광을 받고 있다. 특히, 특정구역을 모니터링 하는 CCTV 서비스의 경우 다양한 사용자의 요구사항을 만족시키기 위해 오픈소스 CCTV 플랫폼들이 개발되고 있다. 본 논문에서는 네트워크 카메라를 사용하는 사용자 맞춤형 CCTV 서비스를 제공하기 위한 도커 컨테이너 가반 CCTV 서비스 관리 프레임워크 설계 및 구현에 대한 내용을 기술한다. 제안하는 프레임워크는 다양한 사용자 요구를 충족시킬 수 있도록 오픈소스 CCTV 플랫폼들을 도커 컨테이너 기반으로 관리하는 서버를 포함하고, 해당 관리 서버에 접근하기 위한 Restful API를 제공한다. 또한, 네트워크 카메라는 RSTP 기반의 스트리밍 데이터를 오픈소스 CCTV 플랫폼에 제공함으로써 스트리밍 서비스의 확장성을 확보할 수 있다.

자바를 이용한 오픈 플랫폼 미들웨어의 설계에 관한 연구 (The study on the design of open platform middleware using JAVA)

  • 박민기;장성환;정경원
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제43차 동계학술발표논문집 19권1호
    • /
    • pp.241-244
    • /
    • 2011
  • 본 논문에서는 다양한 하드웨어를 능동적으로 관리할 수 있는 미들웨어 시스템을 제안한다. 최근 WII Remote, KINECT와 같은 게임기에서 사용되는 하드웨어를 일반 데스크톱에서 사용하고자 하는 노력들이 많이 이루어지고 있다. 뿐만 아니라 RFID, 블루투스, 이동전화 등 기존에 나와 있는 다양한 기기들도 데스크톱에서 이용할 수 있도록 많은 기술적 접근이 이루어지고 있다. 각각의 디바이스를 관리하기 위해서는 그에 맞는 디바이스 드라이버와 API를 만들어야만 한다는 단점이 있다. 제안하는 시스템은 시대적 흐름에 맞추어 다양한 하드웨어 시스템을 효율적으로 관리할 수 있으며, C, C++, C#, JAVA의 다양한 언어로 구현된 어플리케이션을 하나의 미들웨어 위에서 동작시킬 수 있는 큰 장점이 있다. 기존의 미들웨어는 이종 다바이스간의 데이터 호환 및 처리를 수행하였지만 본 논문에서 제안하는 시스템은 이종 플랫폼간의 데이터 호환까지 지원한다.

  • PDF

IoT 기반 빅데이터 효율성 향상을 위한 하둡기반 플랫폼 설계 (Design for Haddop-based Platform to Improve Io T-based Big Data Processing Efficiency)

  • 장경성;배상현
    • 통합자연과학논문집
    • /
    • 제13권3호
    • /
    • pp.114-119
    • /
    • 2020
  • IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

사물인터넷 소프트웨어 플랫폼 기술동향 (Internet of Things Software Platforms Technology Trends)

  • 홍상기;이혜선;최진철;배명남;이강복
    • 전자통신동향분석
    • /
    • 제30권5호
    • /
    • pp.49-58
    • /
    • 2015
  • 최근 사물인터넷 장치 증가와 관련 서비스의 급속한 확산, 기존의 수직적인 사물인터넷 서비스 구조로부터 수평적인 개방형 생태계로의 변화 추세에 따라 oneM2M, AllSeen, Open Interconnect Consortium(OIC)과 같은 표준협의체 및 산업체 컨소시엄을 중심으로 개방형 사물인터넷 플랫폼 규격 제정 및 오픈 소스 생태계 구축을 위한 노력이 지속되고 있다. 특히 다양한 사물인터넷 장치로부터 데이터를 수집하여 정보를 생성하고, 이종 장치 간의 정보 공유, 분산협업 및 실행제어 기술을 제공하는 사물인터넷 플랫폼은 사물인터넷 서비스 확산을 위한 핵심기술이라 할 수 있다. 본고에서는 오픈 생태계를 지향하는 AllSeen/AllJoyn, OIC/IoTivity, oneM2M 사물인터넷 소프트웨어 플랫폼의 표준화 동향을 살펴보고, 플랫폼의 핵심 기술에 대한 비교 분석을 통해 주요 기술개발 동향를 살펴보고자 한다.

  • PDF

공간정보와 통계정보의 융합 활용을 위한 오픈플랫폼 아키텍처에 관한 연구 (A Study on the Open Platform Architecture for the Integrated Utilization of Spatial Information and Statistics)

  • 김민수;유정기
    • 지적과 국토정보
    • /
    • 제46권2호
    • /
    • pp.211-224
    • /
    • 2016
  • 정부 3.0에 근거하여 공공기관이 보유한 공공데이터를 개방하고 민간 활용을 적극 장려하고 있다. 최근, 이러한 공공데이터와 관련하여 다양한 비즈니스에서 기반 정보로서 활용가치가 매우 높은 공간통계정보가 웹상에서 활발히 이용되고 있다. 본 연구에서는 사용자들에게 이러한 대용량 공간통계정보에 대한 조회, 분석, 마이닝, 주제도 생성 등의 다양한 서비스를 안정적으로 제공할 수 있는 고가용성, 고신뢰성, 고성능의 오픈플랫폼 시스템 아키텍처를 제안하고자 한다. 특히, 민간부문과 공공부문의 모든 영역에서 활용도가 매우 높으며 정보의 종류에 따라 보안성이 매우 중요한 공간통계정보의 특성을 반영하여 행정망 기반의 내부 서비스 시스템과 인터넷망 기반의 외부 서비스 시스템 아키텍처를 상호 분리하여 제시한다. 또한, 비용 효율적이며 성능이 우수한 공간통계정보 오픈플랫폼 시스템 아키텍처를 구성하기 위하여 클러스터 기반의 다중화 서버 구성, 클라우드 기반의 가상 서버 구성, 그리고 CDN 기반의 서버 구성 등과 같은 기존의 다양한 서버 아키텍처 구성 방식에 대한 비교 분석을 수행하여 최적의 방식을 제안한다.

제한된 메모리 환경에서의 아파치 스파크 성능 비교 (A performance comparison for Apache Spark platform on environment of limited memory)

  • 송준석;김상영;이정준;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
    • /
    • pp.67-68
    • /
    • 2016
  • 최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

  • PDF

엔지니어링 서비스 지원을 위한 클라우드 기반 빅데이터 플랫폼 개발 연구 (A Study of Bigdata Platform for Supporting Engineering Services)

  • 서동우;김명일;박상진;김재성;정석찬
    • 한국빅데이터학회지
    • /
    • 제4권1호
    • /
    • pp.119-127
    • /
    • 2019
  • 본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.

  • PDF

오픈API 기반의 정보전달에 관한 연구 (A Study on Information Transmission based on OpenAPI)

  • 최신형
    • 산업과 과학
    • /
    • 1권1호
    • /
    • pp.1-6
    • /
    • 2022
  • 일상 생활에서 매일 다른 뉴스가 보도되듯이 우리 주변에서 발생되는 데이터의 양은 엄청나다고 할 수 있다. 이런 데이터에는 개인적인 것도 있지만, 날씨나 교통 정보와 같이 모든 사람들에게 공통적인 것도 존재한다. 본 논문은 이런 정보를 효과적이며, 신속하게 사용하기 위해 공공데이터를 활용한 정보전달에 관해 연구로서, 공공데이터와 API기술을 바탕으로 한 오픈API에 대해 조사하였다. 이를 바탕으로 일상생활에서 쉽게 활용 가능한 오픈API를 사용하여 정보를 전달하는 방법을 설명하고, 이를 응용하여 다양한 오픈API를 활용하여 정보를 전달하는 방안을 제시한다. 제시된 방법을 사용하여 공공데이터를 활용한다면 보다 쉽고 정확한 정보를 전달할 수 있으므로 다양한 분야에 응용이 가능할 것으로 생각한다.