• 한국멀티미디어학회논문지
• /
• 제22권4호
• /
• pp.443-454
• /
• 2019

In recent years, there has been active research on a recommender system that considers three or more inputs in addition to users and goods, making it a multi-dimensional array, also known as a tensor. The main issue with using tensor is that there are a lot of missing values, making it sparse. In order to solve this, the tensor can be shrunk using the tensor decomposition algorithm into a lower dimensional array called a factor matrix. Then, the tensor is reconstructed by calculating factor matrices to fill original empty cells with predicted values. This is called tensor reconstruction. In this paper, we propose a user-based Top-K recommender system by normalized PARAFAC tensor reconstruction. This method involves factorization of a tensor into factor matrices and reconstructs the tensor again. Before decomposition, the original tensor is normalized based on each dimension to reduce overfitting. Using the real world dataset, this paper shows the processing of a large amount of data and implements a recommender system based on Apache Spark. In addition, this study has confirmed that the recommender performance is improved through normalization of the tensor.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.574-576
• /
• 2021

대규모 운영시스템이나 확장성을 고려한 시스템을 구성할 때 마이크로서비스 기법을 도입하는 것이 필요하다. 카프카는 pub/sub 모델을 가지는 메시지 큐로서 분산환경에 잘 적용되는 특징을 가지며, 다양한 데이터 소스를 활용할 수 있다는 점에서 마이크로서비스에 적합하다. 이 논문에서는 아파치의 카프카를 이용한 교육동영상 공유 서비스의 데이터 공유 방안을 제안하고자 한다. 제안하는 시스템은 교육 동영상 공유서비스이 다양한 데이터를 공유하기 위해 카프카 클러스터를 구축하며, 아울러 교육동영상의 유사도를 기반으로 하는 추천 시스템과 연계하기 위해 스파크 클러스터를 이용한다. 그리고 파일, RDBMS의 DB등과 같은 다양한 데이터 소스를 공유하는 방안을 제시한다.

• 한국정보통신학회논문지
• /
• 제22권5호
• /
• pp.715-721
• /
• 2018

모바일 기기의 확산으로 소셜 네트워크 서비스나 전자상거래 사이트의 사용자 수가 급증하고 있고 사용자들이 남긴 데이터의 양도 기하급수적으로 증가하고 있다. 그로 인해 전자 상거래 기업들은 사용자들이 남긴 방대한 양의 데이터로부터 어떻게 유용한 정보를 추출할 것인가 하는 과제를 갖게 되었다. 이러한 문제를 해결하기 위해 추천 시스템에 빅 데이터 처리 기법을 적용한 다양한 연구들이 이루어지고 있다. 본 논문에서는 Apache Spark 플랫폼에서 Tag 가중치를 적용한 협업 필터링 기법을 사용한 추천방식을 제안한다. 제안하는 기법은 추천의 정확성을 높이기 위해 전처리 과정에서 Tag 데이터를 정제하고 아이템을 분류한 후 아이템 평가값에 기간 정보와 Tag 가중치를 적용하여 사용한다. RDD(Resilient Distributed Dataset)를 생성한 후 아이템 유사도와 예측값을 구하고 사용자에게 아이템을 추천한다. 실험을 통해 제안 하는 기법이 대량의 데이터를 빠르게 처리하고 추천의 적합성도 향상되는 것을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제20권2호
• /
• pp.561-571
• /
• 2020

빅데이터를 활용한 위치정보 서비스가 지속적으로 발전하고 있다. 네비게이션의 측면에서는 지도 API서비스부터 선박 항해정보에 이르기까지 서비스의 범위가 확대되었고, 시스템 응용정보로서는 각 위치에 대한 SNS와 블로그 검색 기록에까지 확장되고 있다. 특히 최근에는 위치기반 검색 및 광고, 무인 자동차, IoT(Internet of Things) 및 O2O (Online to Offline) 서비스 등 신규 산업으로 활용되고 있다. 본 연구에서는 사용자가 특정 경로를 이동할 때, 빅데이터를 활용하여 근처 상점에 대한 정보를 보다 효과적으로 수신할 수 있도록 하는 인터넷 서비스를 제안하였다. 또한 지역 상점은 이 시스템을 사용하여 저렴한 비용으로 효과적으로 홍보할 수 있도록 시스템을 설계하였다. 특히 실시간으로 웹 기반 정보를 분석하여 사용자에게 제공하는 상점 정보의 정확도를 높이고자 하였다. 이 시스템을 통해 시스템 이용자인 일반 사용자와 상점 업주는 보다 효과적으로 정보를 활용할 수 있게 될 것이다. 또한 시스템 관점에서, 다양한 웹서비스와 통합하여 신규 서비스를 창출하는 것에 활용할 수 있을 것이다.

• 정보과학회 논문지
• /
• 제43권4호
• /
• pp.470-479
• /
• 2016

UCC(User Created Contents) 형태의 다양한 영상 미디어 데이터가 증가함에 따라 의미 있는 서비스를 제공하기 위해 많은 분야에서 활발한 연구가 진행 중이다. 그 중 시맨틱 웹 기반의 미디어 분류에 대한 연구가 진행되고 있지만 기존의 미디어 온톨로지는 메타 정보를 이용하기 때문에 정보의 부재에 따른 한계점이 있다. 따라서 본 논문에서는 영상에서 인지되는 객체를 정하고 그 조합으로 구성된 서술 논리 기반의 온톨로지를 구축하고 영상의 장면에 따른 순서 기반의 규칙을 정의하여 이벤트 인지에 대한 기틀을 제안한다. 또한 증가하는 미디어 데이터에 대한 처리를 위해 분산 인-메모리 기반 프레임워크인 아파치 스파크 스트리밍을 이용하여, 영상 분류를 병렬로 처리하는 방법에 대해 설명한다. 유튜브에서 추출한 영상을 대상으로 대용량 미디어 온톨로지 데이터를 생성하고, 이를 이용하여 제시된 기법에 대한 성능 평가를 진행하여 타당성을 입증한다.

• 한국군사과학기술학회지
• /
• 제25권4호
• /
• pp.372-380
• /
• 2022

This study proposes a distributed parallel processing system, called the Fast Analysis System for remote sensing daTa(FAST), for large-scale satellite image processing and analysis. FAST is a system that designs jobs in vertices and sequences, and distributes and processes them simultaneously. FAST manages data based on the Hadoop Distributed File System, controls entire jobs based on Apache Spark, and performs tasks in parallel in multiple slave nodes based on a docker container design. FAST enables the high-performance processing of progressively accumulated large-volume satellite images. Because the unit task is performed based on Docker, it is possible to reuse existing source codes for designing and implementing unit tasks. Additionally, the system is robust against software/hardware faults. To prove the capability of the proposed system, we performed an experiment to generate the original satellite images as ortho-images, which is a pre-processing step for all image analyses. In the experiment, when FAST was configured with eight slave nodes, it was found that the processing of a satellite image took less than 30 sec. Through these results, we proved the suitability and practical applicability of the FAST design.

• 스마트미디어저널
• /
• 제6권4호
• /
• pp.58-64
• /
• 2017

현대 사회는 급속한 세계인구의 증가, 농촌 인구의 고령화, 산업화로 인한 농작물 재배 지역의 감소, 농촌 지역의 수익 구조의 불량 등으로 농부들의 탈농촌화 등으로 먹거리 문제 해결이 중요한 화두로 떠오르고 있다. 최근 농촌의 수익을 증대시키기 위해서 스마트 팜(Smart Farm) 분야의 연구가 활발하게 이루어지고 있다. 기존의 스마트 팜 연구는 주로 온실의 농작물의 재배 환경을 모니터링 하여 온실의 조도, 습도, 토양 등이 불량해지면 재배 환경인자를 제어하는 시스템을 자동으로 가동시켜 농작물의 재배 환경을 최적의 상태로 유지하는 데 중점을 두어 연구되고 있다. 즉, 실내에서 재배하는 농작물에 중점을 두어 연구가 이루어지고 있으며 실외에서 재배되는 농작물의 재배환경에 적용되는 연구는 많이 이루어지지 않았다. 본 논문에서는 과수원에서 자라는 과수의 수확 시기를 정확하게 예측하여 최상의 품질로 과일이 수확되게 지원하고 수확이 불량한 지역을 빅데이터 분석을 통해 모니터링하여 불량 지역의 수확성을 향상시키기 위해서 집중 관리할 수 있은 기능을 제공하는 아키텍처를 제안한다. 수확에 관련된 인자는 과일 색상 정보와 과일 무게 정보를 사용하며 실시간으로 수집되는 수확 상관인자 데이터를 Apache Spark 엔진을 이용하여 분석하도록 제안한다. Apache Spark 엔진은 대용량 배치성 데이터 분석 뿐만 아니라 실시간 데이터 분석에서도 우수한 성능을 보인다. 서비스를 수신하는 사용자 디바이스는 PC User 와 Smart Phone User를 지원한다. 센싱 데이터 수신 장치는 센싱되는 데이터를 수신한 후 서버로 전송하는 단순한 처리만 필요하므로 Arduino를 적용하였다. 과일의 수확시기를 조절하여 좋은 품질의 과일을 생산하려면 수확이 불량한 지역을 판단하여 불량지역을 집중 관리해야 한다. 본 논문에서는 빅 데이터 분석 기법을 이용해서 과일 수확의 불량지역을 판단하는 아키텍처 모델을 제안한다.

• 경영과정보연구
• /
• 제36권4호
• /
• pp.129-148
• /
• 2017

기존 전시회 정보 제공 서비스는 전시회가 열리는 장소 주변의 관광지를 추천한다. 이러한 위치기반 추천의 경우 전시회의 내용과 관련이 없는 관광지를 추천할 수 있다는 한계점이 있다. 전시회 내용과 관련된 관광지를 관람객에게 추천함으로써 전시회에서 획득한 지식을 관광지에서 경험하는 데에 도움을 줄 필요가 있다. 전시회 큐레이터들이 전시회 내용과 관련된 관광지를 일일이 찾아 추천하는 방법이 있지만, 수작업이다 보니 큐레이터가 가지고 있는 배경지식의 범위 내에서만 추천이 가능하다는 한계점이 있다. 수작업에 따른 오류가 있을 수도 있기 때문에 자동화된 방법이 필요하다. 본 연구에서는 언어자원 빅데이터를 활용하여 전시회 내용과 관련된 관광지를 자동으로 추천하는 방법을 제안한다. 언어자원으로는 한국관광공사 LOD(Linked Open Data), 위키피디아, 국립국어원 사전 등을 활용했다. 단일 컴퓨터로는 이러한 대용량 언어자원을 효율적으로 처리하기 어렵기 때문에, 클라우드 컴퓨팅 프레임워크인 아파치 스파크(Apache Spark)에 기반하여 구현했다. 사용자가 웹브라우저를 통해 전시회 정보를 열람하면 본 알고리즘에 의해 추천된 관광지들을 같이 보여주는 웹인터페이스도 구현했다(http://bike.snu.ac.kr/WARP). 주요 전시회에 대한 관광지 추천 정확도에 대해 전문가 평가를 진행했다. 기존 방법에 비해 본 논문에서 제안한 방법의 정확도가 더 높았다. 본 연구를 활용하면 전시회 큐레이터의 수작업을 줄여줄 수 있고 전시회 관람자들을 관광지로 자연스럽게 유도할 수 있기 때문에, 전시산업과 관광산업 모두에게 도움이 될 수 있다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제10권10호
• /
• pp.277-284
• /
• 2021

최근 스마트 홈 환경은 무선 정보통신 기술과 융합을 통해서 다양한 데이터를 수집·통합·활용하는 플랫폼이 될 것으로 전망되고 있으며 실제로 스마트 홈 내부에는 다양한 센서를 탑재한 스마트 디바이스 수가 점점 증가하고 있다. 증가된 스마트 디바이스 수만큼 처리해야하는 데이터의 양도 증가하고 있으며 이를 효과적으로 처리하기 위해 빅데이터 처리 시스템이 활발하게 도입되고 있다. 그러나 기존 빅데이터 처리 시스템은 분산 노드에 할당되기 전 모든 요청이 클러스터 드라이버로 향하기 때문에 동시에 많은 요청이 발생하는 경우 분할 작업을 관리하는 클러스터 드라이버에 병목현상이 발생하고, 이는 네트워크를 공유하는 클러스터 전체의 성능감소로 이어진다. 특히 작은 데이터 처리를 지속해서 요청하는 스마트 홈 디바이스에서 지연율이 더 크게 나타난다. 이에 본 논문에서는 동시에 다수의 센서에서 요청이 발생하는 스마트 홈 환경에서 효과적인 데이터 처리를 위한 Apriori 기반 빅데이터 시스템을 설계하였다. 제안하는 시스템의 성능평가 결과에 따르면, 데이터 처리 시간은 기존 시스템에 비해 최소 19.2%에서 최대 38.6% 단축됐다. 이러한 결과가 발생한 이유는 측정되는 데이터의 형태와 관련이 있다. 스마트 홈 환경은 수집되는 데이터의 양은 방대하나 각 데이터의 용량은 작기 때문에 캐시 서버의 사용이 데이터 처리에 큰 역할을 하며, Apriori 알고리즘을 통한 연관도 분석으로 사용자의 행동 습관과 연관도가 높은 센서 데이터를 캐시에 저장하기 때문에 캐시 서버의 활용률이 매우 높다.