• 한국멀티미디어학회논문지
• /
• 제22권4호
• /
• pp.443-454
• /
• 2019

In recent years, there has been active research on a recommender system that considers three or more inputs in addition to users and goods, making it a multi-dimensional array, also known as a tensor. The main issue with using tensor is that there are a lot of missing values, making it sparse. In order to solve this, the tensor can be shrunk using the tensor decomposition algorithm into a lower dimensional array called a factor matrix. Then, the tensor is reconstructed by calculating factor matrices to fill original empty cells with predicted values. This is called tensor reconstruction. In this paper, we propose a user-based Top-K recommender system by normalized PARAFAC tensor reconstruction. This method involves factorization of a tensor into factor matrices and reconstructs the tensor again. Before decomposition, the original tensor is normalized based on each dimension to reduce overfitting. Using the real world dataset, this paper shows the processing of a large amount of data and implements a recommender system based on Apache Spark. In addition, this study has confirmed that the recommender performance is improved through normalization of the tensor.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 춘계학술대회
• /
• pp.619-621
• /
• 2014

최근 IT기술의 발전과 더불어 정보화에 대한 기술들이 이슈화 되고 있다. 웹을 사용하는 사용자들을 개인들이 필요한 정보를 찾는데 있어 검색데이터를 선별하는 방법에 대해 많은 어려움을 겪고 있다. 본 논문에서는 사용자 중심 검색 시스템을 제안한다. 제안하는 검색 시스템은 아파치 프로젝트인 Lucene과 Hadoop의 MapReduce, HDFS, Nutch, Solr를 활용하여 설계 및 구현한다. 이는 웹 검색을 이용하고자 하는 사용자의 의도에 따라 데이터를 수집하고 색인하여 원하는 정보를 제공하는 검색분야에 활용될 것이다.

• 한국전자통신학회논문지
• /
• 제16권1호
• /
• pp.19-24
• /
• 2021

본 논문에서는 아파치 스파크를 이용하여 머신러닝을 분산 처리할 때의 성능 요인을 분석하고 효율적인 분산 처리를 위한 실행 환경을 실험을 통해 제시한다. 먼저, 분산 클러스터 환경에서 머신러닝을 수행할 때 고려해야 하는 성능 요인으로 클러스터의 성능, 데이터의 규모, 스파크 엔진의 속성으로 구분하여 분석한다. 그리고 하둡 클러스터에서 동작하는 스파크 MLlib을 이용하여 회귀분석을 수행할 때 노드의 구성과 스파크 Executor의 설정을 변화하면서 성능을 측정한다. 실험 결과 최적의 Executor 개수는 데이터의 블록의 수에 영향을 받으나 클러스터 규모에 따라 최대값, 최소값은 각각 코어의 수, 워커 노드의 수로 제한됨을 실증하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.574-576
• /
• 2021

대규모 운영시스템이나 확장성을 고려한 시스템을 구성할 때 마이크로서비스 기법을 도입하는 것이 필요하다. 카프카는 pub/sub 모델을 가지는 메시지 큐로서 분산환경에 잘 적용되는 특징을 가지며, 다양한 데이터 소스를 활용할 수 있다는 점에서 마이크로서비스에 적합하다. 이 논문에서는 아파치의 카프카를 이용한 교육동영상 공유 서비스의 데이터 공유 방안을 제안하고자 한다. 제안하는 시스템은 교육 동영상 공유서비스이 다양한 데이터를 공유하기 위해 카프카 클러스터를 구축하며, 아울러 교육동영상의 유사도를 기반으로 하는 추천 시스템과 연계하기 위해 스파크 클러스터를 이용한다. 그리고 파일, RDBMS의 DB등과 같은 다양한 데이터 소스를 공유하는 방안을 제시한다.

• 한국정보통신학회논문지
• /
• 제22권2호
• /
• pp.382-389
• /
• 2018

최근 사이버 공격은 다양한 정보시스템에 심각한 피해를 주고 있다. 로그 데이터 분석은 이러한 문제를 해결하는 하나의 방법이다. 보안 로그 분석시스템은 로그 데이터 정보를 수집, 저장, 분석하여 보안 위험에 적절히 대처할 수 있게 한다. 본 논문에서는 보안 로그 분석을 위하여 분산 검색 엔진으로 사용되고 있는 Elasticsearch와 다양한 종류의 로그 데이터를 수집하고 가공 및 처리할 수 있게 하는 Logstash를 사용하여 보안 로그 분석시스템을 설계하고 구현하였다. 분석한 로그 데이터는 Kibana를 이용하여 로그 통계 및 검색 리포트를 생성하고 그 결과를 시각화할 수 있게 하였다. 구현한 검색엔진 기반 보안 로그 분석시스템과 기존의 Flume 로그 수집기, Flume HDFS 싱크 및 HBase를 사용하여 구현한 보안 로그 분석시스템의 성능을 비교 분석하였다. 실험 결과 Elasticsearch 기반의 로그 분석시스템을 사용할 경우 하둡 기반의 로그 분석시스템에 비하여 데이터베이스 쿼리 처리시간 및 로그 데이터 분석 시간을 현저하게 줄일 수 있음을 보였다.

• 한국전자파학회논문지
• /
• 제16권9호
• /
• pp.949-956
• /
• 2005

본 논문에서는 처음으로, CPW(CoPlanar Waveguide) 급전을 이용한 자기 아파인(self-affine) 프랙탈 안테나를 제시한다. 제시된 새로운 구조는 비등방성 축척 대칭성으로 인해 자기 상사(self-similar) 구조를 이용한 프랙탈 안테나보다 더 작은 크기로 낮은 주파수 대역에서 공진을 일으키도록 설계할 수 있다. 반복 계수가 증가할수록 임피던스 정합 조건이 향상되고, 표면 전류가 흐를 수 있는 새로운 통로를 만들어 다중 대역 특성을 보이게 되며, 또한 첫 공진 주파수의 위치를 낮은 쪽으로 이동시킨다. 복사 패턴은 목표치인 단순 모노폴 안테나 특성과 유사하며 반복 계수가 3일 때의 이득은 940 MHz에서 측정치 2.27 dBi로 최대이다. FDTD 알고리즘에 기반을 두고 있는 CST Microwave Studio를 이용한 모의 실험 결과와 RT/Duroid 5880 기판을 이용하여 제작한 안테나의 측정 결과를 싣는다.

• 한국융합학회논문지
• /
• 제9권8호
• /
• pp.53-60
• /
• 2018

국내 공공전자조달은 국내외에 우수성을 인정받고 있다. 하지만 수요기관이 발주 시 조달업체가 관련 공고를 일일이 확인하거나, 전체 조달공고현황을 한눈에 파악하기에는 어려움이 있다. 그에 따라 본 논문에서는 효과적인 전자조달시스템의 활용을 위해 빅데이터 기술인 HDFS와 아파치 스파크 기술, 협업필터링 기술을 이용하여, 조달공고 추천서비스와 조달공고 계약 트렌드 분석 서비스 구현을 통한 전자조달공고 분석지원 시스템을 개발하였다. 조달공고 추천서비스는 조달업체의 특성과 성격에 맞는 공고를 추천함에 따라 조달업체가 일일이 공고를 검색하는 수고를 덜어 줄 수 있으며, 조달 공고 계약 트렌드 분석 서비스는 조달 공고/계약 정보를 시각화하여 조달업체와 수요기관에게 전자조달의 분석정보를 한눈에 확인할 수 있도록 구현하였다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.39-46
• /
• 2015

지식 공간 이론이란 학습자들이 대해 최대한의 학습 성취를 이끌어 낼 수 있도록 학습자들에 대한 가이드라인을 제공해주는 이론으로 여러 교육 환경에서 사용되어 왔다. 하지만 지식 공간 이론을 사용해왔던 많은 방법들이 주로 수작업을 통해 이루어져 왔고 이러한 작업을 지원하기 위해서 비주얼 베이직 혹은 R 등의 프로그램이 사용되어 왔지만 프로그램을 따로 배워야 하는 불편함과 시간적으로 낭비되는 등의 문제를 야기해 왔다. 본 논문에서는 이러한 문제를 해결하기 위해서 지식 공간상에서 학습자들의 지식구조를 자동으로 분석하고 결정적 학습 경로를 제공하는 이른바 지식 구조 분석 시스템을 제안한다. 제안된 시스템은 아파치 웹상에서 구현되었고, 카이 제곱 값을 산출하여 결정적 학습 흐름도를 도출하도록 하였다. 제안된 방법은 사용자들이 웹에서 편리하게 학습자들의 지식 상태 분석할 수 있도록 환경을 제공하고 지식 구조의 체계적인 검토를 위한 방법을 제시해준다.

• 정보처리학회논문지C
• /
• 제14C권6호
• /
• pp.509-518
• /
• 2007

Jakarta Slide는 아파치 프로젝트 중의 하나로 개발된 WebDAV 서버로서 인터넷 상에서 다양한 콘텐츠의 비동기적인 협업 활동을 지원한다. 하지만 WebDAV 프로토콜은 사용자와 그룹을 위한 가상 작업공간을 명시적으로 지원하지 않기 때문에, Jakarta Slide를 통하여 복잡한 협업을 지원하는 것은 매우 어려운 작업이다. CoSlide 협업시스템은 Jakarta Slide의 이러한 문제점을 개선하기 위하여 확장된 시스템으로서 그룹작업을 위한 다양한 가상 작업공간을 지원함으로써 보다 효과적인 협업 환경을 제공한다. 본 논문은 CoSlide 협업시스템을 위한 CoJBother 메신저의 개발에 대하여 기술한다. CoJBother는 표준 Jabber 프로토콜을 기반으로 하는 JBother 메신저를 확장하여 개발되었으며, CoSlide 협업시스템의 사용자와 그룹을 지원하기 위하여 Jabber 프로토콜이 확장되었다. CoJBother는 일반 Jabber 사용자와 그룹에 대한 정보와 더불어 CoSiide 협업시스템의 사용자와 그룹의 정보를 표시한다. CoSlide를 통하여 협업을 수행하는 사용자는 CoJBother를 통하여 별도의 관리 작업 없이 그룹 구성원들과 그룹 채팅을 수행할 수 있다.

• 한국전자통신학회논문지
• /
• 제9권7호
• /
• pp.791-797
• /
• 2014

빅데이터의 병렬분산처리 시스템을 위한 아파치 하둡 환경을 구축하기 위해서는 다수의 컴퓨터를 연결하여 노드를 구성하거나, 하나의 컴퓨터에 다수의 가상 노드 구성을 통해 클라우딩 환경을 구축하여야 한다. 그러나 이러한 시스템을 교육 환경에서 실습용으로 구축하는 것은 복잡한 시스템 구성과 비용적인 측면에서 많은 제약이 따른다. 따라서 빅데이터 처리 분야의 입문자들과 교육기관의 실습용으로 사용할 수 있는 실용적이고 저렴한 학습 시스템의 개발이 시급하다. 본 연구에서는 라즈베리파이 보드를 기반으로 하둡과 NoSQL과 같은 빅데이터 처리 및 분석 실습이 가능한 빅데이터 병렬분산처리 학습시스템을 설계 및 구현하였다. 구현된 빅데이터 병렬분산처리시스템은 교육현장과 빅데이터를 시작하는 입문자들에게 유용한 시스템이 될 것으로 기대된다.