• Title/Summary/Keyword: apache

Search Result 359, Processing Time 0.029 seconds

Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning (와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발)

  • Ji, Hong-Geun;Lee, Tae-Ki
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.763-766
    • /
    • 2019
  • 최근 사람들의 삶의 질이 향상됨에 따라 기호품인 와인의 수요가 늘어나고 있다. 그러나 와인은 생산하는데 길게는 수십 년이 걸리는 고가의 제품이므로 소비자가 와인과 잘못 구매했을 때의 기회비용이 크다. 본 논문에서는 전문 와인 테이스터 들의 후기 빅 데이터를 활용하여 딥러닝 기반 추천시스템을 개발을 다룬다. 테이스터 들의 후기 빅 데이터에 대해 Apache Pig와 자연어 처리를 통한 전 처리 과정을 수행해 리뷰 별로 특징 벡터를 구성하고, 하이퍼 매개변수 최적화와 조기 종료 기법을 사용해 데이터에 대하여 최적의 딥러닝 분류기를 구성하였다. 마지막으로, 구성된 시스템의 신뢰도를 검증하기 위해서 딥러닝의 정확도와 오차율을 확인하였고 시스템이 추천한 와인을 시각화 이미지와 비교하여 성능을 검증하였다.

The Design and Implementation of Linux Based Public-Key Certification System (Linux 기반 공개키 인증시스템 설계 및 구현)

  • Ban, Yong-Ho;Hong, Joo-Hyung;Kim, Jong-Hoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.04a
    • /
    • pp.1184-1189
    • /
    • 2000
  • PKI(Public Key Infrastructure)는 공개키 암호 어플리케이션에 사용되어지는 공개키의 유효성을 보장하기 위해 공개키에 대한 전자인증서의 발행과 획득, 조회, 검증을 위해 사용되는 인증서 관리 기반구조를 말한다. 본 논문에서는 인트라넷 환경에서의 PKI 응용 서비스에 적용 가능한 공개키 인증 시스템을 Linux를 기반으로 설계하고 그 prototype을 구현하였다. 인증 시스템은 Root CA와 하위 CA 및 Client로 구성되어 있고, 인증서 발행, 갱신, 폐지 등의 기능을 수행한다. 제안된 시스템의 구현 환경은 Linux를 기반으로 하는 Apache Web-Server와 암호 라이브러리는 SSL을 기반으로 하는 Openssl을 사용하였다.

  • PDF

Distributed Stream Processing System with apache Hadoop for PTAM on Xeon Phi Cluster (PTAM을 위한 제온파이 기반 하둡 분산 스트림 프로세싱 시스템)

  • Seo, Jae Min;Cho, Kyu Nam;Kim, Do Hyung;Jeong, Chang-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.184-186
    • /
    • 2015
  • 본 논문에서는 PTAM을 위한 새로운 분산 스트림 프로세싱 시스템을 제안한다. PTAM은 하나의 시스템에서 동작하도록 설계되었다. 이는 PTAM이 가지고 있는 한계점을 말해주는 부분인데, PTAM은 Bundle Adjustment의 계산 부하가 커지는 경우에 map을 구축하는데 있어 많은 시간과 리소스가 필요하다. 이에 하둡을 통해 계산 부하를 분산하고, PE(Processing Element)를 Xeon phi 시스템을 통해 동작되는 시스템을 제안한다.

Design and Implementation of Sensor Cloud System for Security and Surveillance Service (보안 감시 서비스를 위한 센서 클라우드 시스템 설계 및 구현)

  • Shim, Jae-Seok;Choi, Yeong-Ho;Lim, Yujin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.137-138
    • /
    • 2012
  • 최근 다양한 센서를 활용한 보안 감시 시스템의 수요가 증가하면서 센서 데이터의 효율적인 관리 또한 중요해지고 있다. 본 논문에서는 높은 확장성 대비 낮은 비용이 장점인 클라우드 환경을 적용한 센서 클라우드 시스템을 설계한다. 본 시스템에서는 옥내에 분산되어 있는 센서 네트워크가 침입자를 감지하여 클라우드 게이트웨이를 통해 센서 클라우드로 센서 데이터를 전달한다. 전달된 센서 데이터는 Apache Hadoop 을 기반으로 하는 데이터 서버에 분산 저장된다. 또한 본 시스템은 센서 데이터를 실시간으로 파악하기 위한 시스템 인터페이스를 포함한다.

Big Data Astronomy: Large-scale Graph Analyses of Five Different Multiverses

  • Hong, Sungryong
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.43 no.2
    • /
    • pp.36.3-37
    • /
    • 2018
  • By utilizing large-scale graph analytic tools in the modern Big Data platform, Apache Spark, we investigate the topological structures of five different multiverses produced by cosmological n-body simulations with various cosmological initial conditions: (1) one standard universe, (2) two different dark energy states, and (3) two different dark matter densities. For the Big Data calculations, we use a custom build of stand-alone Spark cluster at KIAS and Dataproc Compute Engine in Google Cloud Platform with the sample sizes ranging from 7 millions to 200 millions. Among many graph statistics, we find that three simple graph measurements, denoted by (1) $n_\k$, (2) $\tau_\Delta$, and (3) $n_{S\ge5}$, can efficiently discern different topology in discrete point distributions. We denote this set of three graph diagnostics by kT5+. These kT5+ statistics provide a quick look of various orders of n-points correlation functions in a computationally cheap way: (1) $n = 2$ by $n_k$, (2) $n = 3$ by $\tau_\Delta$, and (3) $n \ge 5$ by $n_{S\ge5}$.

  • PDF

A Study on Comparison Analysis of Collaborative Filtering in Java and R

  • Nasridinov, Aziz;Park, Young-Ho
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1156-1157
    • /
    • 2013
  • The mobile application market has been growing extensively in recent years. Currently, Apple's App Store has more than 400,000 applications and Google's Android Market has above 150,000 applications. Such growth in volumes of mobile applications has created a need to develop a recommender system that assists the users to take the right choice, when searching for a mobile application. In this paper, we study the recommendation system building tools based on collaborative filtering. Specifically, we present a study on comparison analysis of collaborative filtering in Java and R statistical software. We implement the collaborative filtering using Java's Apache Mahout and R's recommenderlab package. We evaluate both methods and describe the advantages and disadvantages of using them in order to implement collaborative filtering.

Scalable Big Data Pipeline for Video Stream Analytics Over Commodity Hardware

  • Ayub, Umer;Ahsan, Syed M.;Qureshi, Shavez M.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.16 no.4
    • /
    • pp.1146-1165
    • /
    • 2022
  • A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.

MWO(Mobile Web Office) : Web based Knowledge Management System Design for Mobile Environment (MWO(Mobile Web Office) : 이동 환경을 위한 웹 기반 지식관리 시스템 설계)

  • Park, Yuri;Yoo, Seunghee;Cho, Dongsub
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.11-14
    • /
    • 2009
  • 위키는 사용자 누구나 문서를 생성하고 수정이 가능하여 지식관리 도구로 활용이 되고 있다. 위키는 사람을 대상으로 하는 지식 공동 저작과 공유를 위한 기반 구조 중 하나로서 웹에서 운용되며, 내용은 웹 문서 서식을 위한 간단한 마크 업 언어와 자연어로 구성된다. 이 논문은 minimal Apache server 를 USB 에 저장하여 사용할 수 있는 Dokuwiki 에 지식 기능들을 추가한 MWO(Mobile Web Office)를 제안한다. 휴대 성과 이식 성이 있다는 장점을 기반으로 하여 지식 기능들을 설계하여 더욱 효율적인 시스템을 제안한다. MWO 는 공통의 업무나 관련된 그룹의 구성원들이 정보들을 공유하고 시간적, 공간적 제약을 제거하고 그룹구성원의 팀워크와 작업생산성을 향상시킴으로써 업무효율을 증대하고 조직경쟁력을 강화할 수 있다.

Performance Analysis of Distributed Messaging System by Compression Method (압축 방식에 따른 분산 메시징 시스템 성능 분석)

  • Hwang, Yun-Young;Kim, Soo-Jin;Shin, Yong-Tae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.524-527
    • /
    • 2021
  • 인터넷 서비스의 발전으로 프로젝트의 규모가 커짐에 따라 발생하는 문제를 해결하기 위해 프로젝트의 구조가 Monolith 구조에서 Micro Service 구조로 변하는 중이다. Micro Service 구조는 각각 독립된 데이터베이스를 가지기 때문에 각 서비스들 간에 데이터를 공유하고 관리하는 것에 어려움이 있다. Apache Kafka와 같은 분산 메시징 시스템은 여러 개로 분산된 서비스 간에 메시지를 전송 및 수신하여 데이터의 통신과 교환을 가능하게 한다. 본 논문에서는 분산 메시징 시스템에서 지원하는 압축 방식 별로 성능을 측정하고 분석하고자 한다.

Determination of Nitrogen Abundance Ratio from Low-Resolution Stellar Spectra

  • Kim, Changmin;Lee, Young Sun
    • The Bulletin of The Korean Astronomical Society
    • /
    • v.45 no.1
    • /
    • pp.58.2-58.2
    • /
    • 2020
  • We present a method for determining the abundance ratio of nitrogen to iron ([N/Fe]) from low-resolution (R~2000) stellar spectra from large spectroscopic surveys such as Sloan Digital Sky Survey (SDSS) and Large Sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST). The basic idea of the method is to match a grid of synthetic spectra with an observed spectrum in the CN band region around 3883 Å. To calibrate our estimate of [N/Fe], we make use of the giants observed in Apache Point Observatory Galaxy Evolution Experiment (APOGEE), which are also observed in the SDSS. This method will be applied to the Galactic halo stars to determine [N/Fe], and the measured nitrogen abundance ratios will be used to investigate the C-N anti-correlation, which is observed in globular clusters, to trace their origin with their kinematic properties.

  • PDF