• 제목/요약/키워드: Hive

검색결과 81건 처리시간 0.021초

퍼지를 이용한 클라우드 기반의 소셜 네트워크 서비스 계층적 시각화 (Hierarchical Visualization of Cloud-Based Social Network Service Using Fuzzy)

  • 박선;김용일;이성로
    • 한국통신학회논문지
    • /
    • 제38B권7호
    • /
    • pp.501-511
    • /
    • 2013
  • 현재 대부분의 소셜 네트워크 서비스에 대한 시각화방법들은 네트워크 자료를 시각화하여 표현하는 것에만 중점을 두고 있으며, 기하급수적으로 증가하는 소셜 네트워크의 빅데이터 처리에 대한 계산량 및 효율적인 처리속도는 전혀 고려하지 않고 있다. 본 논문은 소셜 네트워크의 사용자 노드 간의 계층 관계를 사용자 중심으로 시각화하는 클라우드 기반의 방법을 제안한다. 제안방법은 퍼지를 이용하여 소셜 네트워크 노드의 계층 관계를 표현함으로써 사용자의 사회관계를 직관적으로 이해할 수 있으며, 소셜 네트워크에서의 사용자들의 중심 역할 관계를 쉽게 파악할 수 있다. 또한 클라우드 기반의 하둡(hadoop)과 하이브(hive)를 이용하여 시각화 알고리즘을 분산병렬 처리함으로써 소셜 네트워크의 빅데이터를 신속히 처리할 수 있다.

IoT 환경을 위한 빅데이터 기반 센서 데이터 처리 및 분석 (Big Data-based Sensor Data Processing and Analysis for IoT Environment)

  • 신동진;박지훈;김주호;곽광진;박정민;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.117-126
    • /
    • 2019
  • IoT 환경에서 발생하는 데이터는 아주 다양하고, 4차 산업혁명의 발전으로 인해 특히 스마트팩토리와 같은 제조 설비 공장에서 발생하는 정형, 비정형 데이터도 확연하게 증가하는 추세이다. 이를 빅데이터 관련 솔루션을 이용하면 다양한 대용량 데이터의 수집, 저장, 처리, 분석 및 시각화 과정을 거쳐 정확한 분석 및 데이터 기반 의사결정을 통한 시스템의 개선 및 확장을 할 수 있다. 따라서 본 논문에서는 IoT 환경에서 사용되는 라즈베리 파이를 이용하여 직접 데이터를 생성하고, 다양한 빅데이터 솔루션을 이용하여 분석한다. 수집에는 Sqoop 솔루션을 이용하여 데이터베이스에서 HDFS로 수집 및 저장하고, 처리에는 Hadoop과 연결되어 병렬 처리가 가능한 Hive 솔루션을 사용하여 데이터를 처리한다. 마지막으로 범용적으로 쓰이는 R 프로그래밍을 통해 처리된 데이터를 분석 및 시각화하여 최종 검증하고자 한다.

Development of Artificial Intelligence-based Legal Counseling Chatbot System

  • Park, Koo-Rack
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권3호
    • /
    • pp.29-34
    • /
    • 2021
  • 4차 산업혁명 시대의 도래와 함께 IT기술은 기존의 다양한 산업과 분야에 융합되어 기존에 없던 새로운 서비스들을 만들어내고 있다. 특히 인공지능 분야의 챗봇과 최신 기술은 자연어처리 기술의 발전과 함께 그 성능이 비약적으로 발전하여 다양한 업무처리를 챗봇을 통해 처리하고 있다. 본 연구는 슬롯필링(Slot Filling) 기반의 챗봇 기술을 통해서 법률 질의에 대한 구조적인 폼(Structual Form)을 만들고 정해진 형태의 질문을 입력하여 사용자가 찾고자 하는 질문에 근접한 답변을 제공하는 시스템에 대한 연구이다. 제안 시스템을 이용하여 텍스트 형태의 비정형 데이터인 법률 정보를 보다 구조화된 형태로 질의응답 데이터를 구축할 수 있다. 또 축적된 질의응답 데이터를 하이브(Apache Hive)와 같은 빅데이터 저장 시스템을 통해 관리하여 학습에 데이터를 재활용하는 것으로 응답의 신뢰성을 지속적 향상을 기대할 수 있다.

Big Data Analysis and Prediction of Traffic in Los Angeles

  • Dauletbak, Dalyapraz;Woo, Jongwook
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권2호
    • /
    • pp.841-854
    • /
    • 2020
  • The paper explains the method to process, analyze and predict traffic patterns in Los Angeles county using Big Data and Machine Learning. The dataset is used from a popular navigating platform in the USA, which tracks information on the road using connected users' devices and also collects reports shared by the users through the app. The dataset mainly consists of information about traffic jams and traffic incidents reported by users, such as road closure, hazards, accidents. The major contribution of this paper is to give a clear view of how the large-scale road traffic data can be stored and processed using the Big Data system - Hadoop and its ecosystem (Hive). In addition, analysis is explained with the help of visuals using Business Intelligence and prediction with classification machine learning model on the sampled traffic data is presented using Azure ML. The process of modeling, as well as results, are interpreted using metrics: accuracy, precision and recall.

가속 모델에 기초한 열화 데이터의 신뢰성 해석 -가정용 영상 재생기에 사용되는 광센서를 중심으로- (Reliability Analysis of Degradation Data Based on Accelerated Model -With Photointerrupter Used in Home VCR(Video Cassette Recorder)-)

  • 권수호;허양현;임태진
    • 산업공학
    • /
    • 제12권3호
    • /
    • pp.448-457
    • /
    • 1999
  • Accelerated degradation is concerned with models and data analyses for degradation of product performance over time at overstress and design conditions. Although there have been numerous studies with accelerated degradation theory in reliability, very few actually apply to parametric statistical analyses. This paper shows how to analyze degradation data, provides tests for how well the assumptions hold. Reel sensors, a sort of photointerrupters in home VCR, hive been tested, and least-square analyses are used to illustrate our approach. Tests for linearity of the performance-time relationship, dependence of the lognormal distribution, and the standard deviation on time are performed. The mean life of tested sensors is assessed at about 414,000 hours, and the Arrhenius activation energy of this reaction is concluded to be 0.39 eV as results.

  • PDF

Controcller design using parametric neural networks

  • HashemiNejad, M.;Murata, J.;Banihabib, M.E.
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1994년도 Proceedings of the Korea Automatic Control Conference, 9th (KACC) ; Taejeon, Korea; 17-20 Oct. 1994
    • /
    • pp.616-621
    • /
    • 1994
  • Neural Networks (henceforth NNs, with adjective "artificial" implied) has been used in the field of control however, has a long way to fit to its abilities. One of the best ways to aid it is "supporting it with the knowledge about the linear classical control theory". In this regard we hive developed two kinds of parametric activation function and then used them in both identification and control strategy. Then using a nonlinear tank system we are to test its capabilities. The simulation results for the identification phase is promising. phase is promising.

  • PDF

트위스트 롤러를 이용한 마찰구동기구의 개발 (Development of a twist-roller friction drive)

  • 신영재;이후상;황주호
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1996년도 추계학술대회 논문집
    • /
    • pp.658-661
    • /
    • 1996
  • For ultraprecision positioning, the use of the twist roller-type friction drive is proposed. In our study, it is difficult to decrease the resolution of positioning below 100 nm when we use general servo motors. Therefore we propose the feed hive with a small lead like a the cam-roller type traction drive leadscrew and modify it more accurately. By using the semi-loop control system, the positioning resolution of the drive can be 22.4 nm, where the pulse per revolution of the motor is 655360 and the the lead is 0.734 mm.

  • PDF

터보 압축기용 초고속 브러시리스 DC 전동기의 설계 (Design of High-Speed Brushless DC Motor for Turbo-Compressor)

  • 장석명;조한욱;최장영;최상규;정연호
    • 대한전기학회논문지:전기기기및에너지변환시스템부문B
    • /
    • 제54권6호
    • /
    • pp.278-286
    • /
    • 2005
  • Recently, high-speed centrifugal turbo-compressors have been under intensive research and development. Since, compared to conventional compressors, high-speed centrifugal compressors hive numerous qualities such as simple structure, light weight small size, and high efficiency, etc. In cope with such industrial demands, a high-speed brushless DC motor for a 50-kW, 70-krpm turbo-compressor was developed based on a 2-D analytical method, of which design was verified using the FE analysis. A prototype machine was also fabricated and tested to confirm the analytical design. Preliminarily obtained experimental data using the prototype mac]line shows the validity of the analytical approach.

통합 스트리밍 서비스 구조 설계 및 구현 (Design and Implementation of an Integrated Streaming Service Architecture)

  • 이승룡;홍충선
    • 한국통신학회논문지
    • /
    • 제26권6A호
    • /
    • pp.1019-1033
    • /
    • 2001
  • 본 논문에서는 멀티미디어 스트리밍을 위한 표준 프로토콜과 미디어 포맷을 지원하고, 실시간 객체지향형 멀티미디어 데이터베이스(BeeHive)를 지원하는 통합 멀티미디어 스트리밍 서비스 프레임워크(ISSA)를 제안한다. ISSA의 핵심 구성요소는 세션의 생성과 스트림 제어를 담당하는 세션 관리자, 스트리밍 데이터의 전송을 담당하는 전송 관리자, 미디어의 압축과 복원 및 재생을 담당하는 미디어 관리자, 그리고 데이터베이스와의 연동을 담당하는 데이터베이스 커넥터이다. ISSA는 스트림의 제어를 위하여 IETF에서 제안한 RTSP, 스트림과 세션의 표현과 초기화를 위해 SDP와 SIP, 스트림 데이터의 실시간 전송을 위하여 RTP 및 TCP, UDP를 지원한다. 또한, ISSA는 VOD, MOD, 웹캐스팅을 위한 개발과 라이브러리를 제공하며, 웹서버와 CORBA A/V 스트리밍 서비스와의 연동을 위한 게이트웨이도 제공한다. ISSA는 운영체제 환경에서 플랫폼에 독립적으로 작동하고, 객체지향 멀티미디어 데이터베이스 서비스를 지원한다. 그리고 멀티캐스팅, 웹캐스팅, 멀티미디어 통신을 위한 표준 프로토콜을 지원하며, 상용 코덱인 Microsoft 사의 Direct Show를 지원할 수 있는 RTP 소스필터를 가지고 있다. 마지막으로, 기존의 다양한 표준 미디어 포맷을 지원할 뿐만 아니라, 새로운 미디어 포맷도 쉽게 수용할 수 있도록 설계되어 있다.

  • PDF

단상 SRM 구동을 위한 1단 방식 역률보상형 컨버터 개발 (Development of Single-stage Power Factor Corrected Converter for Single-Phase SRM Drive)

  • 빈재구;이정한;조승현;박성준;김철우
    • 전력전자학회논문지
    • /
    • 제8권6호
    • /
    • pp.519-526
    • /
    • 2003
  • 본 논문은 단상 SRM 구동을 위한 1단 방식의 역률 보상형 컨버터에 관한 연구이다. 기존의 SRM 구동에서의 역률 보상회로는 2단 방식의 구조로 구성이 복잡하고 소자의 수가 증가하여 경제적으로 불리한 단점을 가진다. 따라서, 부가적인 회로의 추가 없이 1단 방식의 단위 역률이 가능한 단상 SRM 구동회로를 제안한다. 제안된 회로에 대한 타당성을 시뮬레이션과 실험으로 검증한다.