• 제목/요약/키워드: PARAFAC 분해

검색결과 5건 처리시간 0.021초

S-PARAFAC: 아파치 스파크를 이용한 분산 텐서 분해 (S-PARAFAC: Distributed Tensor Decomposition using Apache Spark)

  • 양혜경;용환승
    • 정보과학회 논문지
    • /
    • 제45권3호
    • /
    • pp.280-287
    • /
    • 2018
  • 최근 추천시스템과 데이터 분석 분야에서 고차원 형태의 텐서를 이용하는 연구가 증가하고 있다. 이는 고차원의 데이터인 텐서 분석을 통해 더 많은 잠재 요소와 잠재 패턴을 추출가능하기 때문이다. 그러나 고차원 형태인 텐서는 크기가 방대하고 계산이 복잡하기 때문에 텐서 분해를 통해 분석해야한다. 기존 텐서 도구들인 rTensor, pyTensor와 MATLAB은 단일 시스템에서 작동하기 때문에 방대한 양의 데이터를 처리하기 어렵다. 하둡을 이용한 텐서 분해 도구들도 있지만 처리 시간이 오래 걸린다. 따라서 본 논문에서는 인 메모리 기반의 빅데이터 시스템인 아파치 스파크를 기반으로 하는 텐서 분해 도구인 S-PARAFAC을 제안한다. S-PARAFAC은 텐서 분해 방법 중 PARAFAC 분해에 초점을 맞춰 아파치 스파크에 적합하게 변형하여 텐서 분해를 빠르게 분산 처리가능 하도록 하였다. 본 논문에서는 하둡을 기반의 텐서 분해 도구와 S-PARAFAC의 성능을 비교하여 약 4~25배 정도의 좋은 성능을 보였다.

PARAFAC 분해를 이용한 블로그 공간 분석 (An Analysis of a Blogosphere using PARAFAC Decomposition)

  • 김기남;김상욱;김진우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1253-1254
    • /
    • 2011
  • 본 논문에서는 블로그 공간을 텐서로 표현하고, 이를 분석한다. 분석 결과에 따르면, PARAFAC 분해를 통하여 특정 주제를 나타내는 커뮤니티들을 올바르게 파악할 수 있었으며, 각 커뮤니티에서 영향력 있는 블로그들과 키워드들, 그리고 권위 있는 포스트들을 식별할 수 있었다.

텐서의 비음수 Tucker 분해 (Nonnegative Tucker Decomposition)

  • 김용덕;최승진
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권3호
    • /
    • pp.296-300
    • /
    • 2008
  • 최근에 개발된 Nonnegative tensor factorization(NTF)는 비음수 행렬 분해(NMF)의 multiway(multilinear) 확장형이다. NTF는 CANDECOMP/PARAFAC 모델에 비음수 제약을 가한 모델이다. 본 논문에서는 Tucker 모델에 비음수 제약을 가한 nonnegative Tucker decomposition(NTD)라는 새로운 텐서 분해 모델을 제안한다. 제안된 NTD 모델을 least squares, I-divergence, $\alpha$-divergence를 이용한 여러 목적함수에 대하여 fitting하는 multiplicative update rule을 유도하였다.

아파치 스파크에서의 PARAFAC 분해 기반 텐서 재구성을 이용한 추천 시스템 (PARAFAC Tensor Reconstruction for Recommender System based on Apache Spark)

  • 임어진;용환승
    • 한국멀티미디어학회논문지
    • /
    • 제22권4호
    • /
    • pp.443-454
    • /
    • 2019
  • In recent years, there has been active research on a recommender system that considers three or more inputs in addition to users and goods, making it a multi-dimensional array, also known as a tensor. The main issue with using tensor is that there are a lot of missing values, making it sparse. In order to solve this, the tensor can be shrunk using the tensor decomposition algorithm into a lower dimensional array called a factor matrix. Then, the tensor is reconstructed by calculating factor matrices to fill original empty cells with predicted values. This is called tensor reconstruction. In this paper, we propose a user-based Top-K recommender system by normalized PARAFAC tensor reconstruction. This method involves factorization of a tensor into factor matrices and reconstructs the tensor again. Before decomposition, the original tensor is normalized based on each dimension to reduce overfitting. Using the real world dataset, this paper shows the processing of a large amount of data and implements a recommender system based on Apache Spark. In addition, this study has confirmed that the recommender performance is improved through normalization of the tensor.

영주댐 유사조절지 상류의 용존유기물 (Dissolved Organic Matter) 특성과 물리·화학 및 생물학적 환경 요인과의 연관성 연구 (A Study on the Dynamics of Dissolved Organic Matter Associated with Ambient Biophysicochemical Factors in the Sediment Control Dam (Lake Youngju))

  • 오혜지;김도균;최지수;채연지;오종민;신경훈;최광순;김동균;장광현
    • 생태와환경
    • /
    • 제54권4호
    • /
    • pp.346-362
    • /
    • 2021
  • 유사조절지는 하천 하류로 이동하는 모래 등을 조절하기 위해 설치된 인공 횡단구조물로, 하천의 유황을 변화시켜 수체 내 용존유기물질 변화에 영향을 줄 수 있다. 내성천 상류의 영주댐 유사조절지를 대상으로 3차원 형광 EEM (Excitation-Emission Matrix) 및 PARAFAC 분석(Parallel Factor Analysis) 기법을 통해 수중 용존유기물의 주요 성분을 분석한 결과, 4개의 휴믹 유사계열 성분(C1-C3, C5)과 3개의 단백질-트립토판 유사계열 성분(C2, C6-C7)이 검출되었으며 이 중 내·외부로부터 기원된 휴믹계물질(C1-C3)이 주를 이루는 것으로 나타났다. 유기물 성분의 총량과 성분별 조성비는 유광층 내 광량에 따른 수심별 차이를 보이지 않았다. 영주댐 유사조절지에서는 유입된 외부 유기물이 지속적으로 분해되어 내부 유기물로 전환되며 이로 인해 유기물 지수는 조사기간 중 내부 기원 유기물의 우점을 나타냈다. 수체 내 내부 기원 유기물의 증가는 식물플랑크톤 현존량, 특히 남조류의 상대풍부도 및 박테리아와 윤충류 현존량의 증가와 연동되는 경향을 보여 수체 내 부영양화로 인한 녹조 발생은 미생물 먹이망 활성화와 밀접한 관계를 가지는 것으로 나타났다. 수중 유기물 특성에 대한 연구는 물리·화학적 측면에서의 수질 관리뿐만 아니라 생물학적 환경 요인과의 관계 분석을 통해 동·식물플랑크톤을 포함한 미생물 먹이망을 통한 물질 순환 이해에도 중요한 것으로 사료된다.