• Title/Summary/Keyword: sparse data matrix

검색결과 69건 처리시간 0.028초

User Bias Drift Social Recommendation Algorithm based on Metric Learning

  • Zhao, Jianli;Li, Tingting;Yang, Shangcheng;Li, Hao;Chai, Baobao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3798-3814
    • /
    • 2022
  • Social recommendation algorithm can alleviate data sparsity and cold start problems in recommendation system by integrated social information. Among them, matrix-based decomposition algorithms are the most widely used and studied. Such algorithms use dot product operations to calculate the similarity between users and items, which ignores user's potential preferences, reduces algorithms' recommendation accuracy. This deficiency can be avoided by a metric learning-based social recommendation algorithm, which learns the distance between user embedding vectors and item embedding vectors instead of vector dot-product operations. However, previous works provide no theoretical explanation for its plausibility. Moreover, most works focus on the indirect impact of social friends on user's preferences, ignoring the direct impact on user's rating preferences, which is the influence of user rating preferences. To solve these problems, this study proposes a user bias drift social recommendation algorithm based on metric learning (BDML). The main work of this paper is as follows: (1) the process of introducing metric learning in the social recommendation scenario is introduced in the form of equations, and explained the reason why metric learning can replace the click operation; (2) a new user bias is constructed to simultaneously model the impact of social relationships on user's ratings preferences and user's preferences; Experimental results on two datasets show that the BDML algorithm proposed in this study has better recommendation accuracy compared with other comparison algorithms, and will be able to guarantee the recommendation effect in a more sparse dataset.

자력이상 3차원 모델링 및 역산 (3D Modeling and Inversion of Magnetic Anomalies)

  • 조인기;강혜진;이근수;고광범;김종남;유영준;한경수;신홍준
    • 지구물리와물리탐사
    • /
    • 제16권3호
    • /
    • pp.119-130
    • /
    • 2013
  • 자력탐사자료의 3차원 역산법을 개발하였다. 자력탐사자료의 역산에서 가장 문제가 되는 점은 비유일해 문제와 방대한 계산시간이다. 일반적으로 자력탐사자료의 역산은 모델변수의 수가 자료의 수보다 훨씬 많아 비유일해 문제를 더욱 심화시키게 된다. 또한 자력탐사자료는 심도 분해능이 매우 낮다. 비유일해 문제를 극복하기 위하여 분해능이 높은 모델변수에는 큰 제한을 가하고, 작은 모델변수에는 약한 제한을 가하는 분해능 모델제한자를 제안하고, 이를 적용하여 분해능이 낮은 모델변수도 효과적으로 추정할 수 있었다. 또한 대형 행렬식을 웨이블릿 변환을 통하여 희소행렬로 변환하고, 역행렬의 계산에 병렬계산 방식을 적용하여 계산시간을 획기적으로 절감하였다. 수치실험을 통하여 개발된 3차원 역산알고리듬의 타당성을 검토하였다. 또한 금산 지역에서 얻어진 항공자력탐사자료의 역산에 적용하였다.

SMOKE 모델의 입력 모듈 변경에 따른 영향 분석 (Assessment of Changed Input Modules with SMOKE Model)

  • 김지영;김정수;홍지형;정동일;반수진;이용미
    • 한국대기환경학회지
    • /
    • 제24권3호
    • /
    • pp.284-299
    • /
    • 2008
  • Emission input modules was developed to produce emission input data and change some profiles for Sparse Matrix Operator Kernel Emissions (SMOKE) using Clean Air Policy Support System (CAPSS)'s activities and previous studies. Specially, this study was focused to improve chemical speciation and temporal allocation profiles of SMOKE. At first, SCC cord mapping was done. 579 SCC cords of CAPSS were matched with EPA's one. Temporal allocation profiles were changed using CAPSS monthly activities. And Chemical speciation profiles were substituted using Kang et al. (2000) and Lee et al. (2005) studies and Kim et al. (2005) study. Simulation in Seoul Metropolitan Area (Seoul, Incheon, Gyeonggi) using MM5, SMOKE and CMAQ modeling system was done for effect analysis of changed input modules of SMOKE. Emission model results adjusted with new input modules were slightly changed as compared to using EPA's default modules. SMOKE outputs shows that aldehyde emissions were decreased 4.78% after changing chemical profiles, increased 0.85% after implementing new temporal profiles. Toluene emissions were decreased 18.56% by changing chemical speciation profiles, increased 0.67% by replacing temporal profiles as well. Simulated results of air quality were also slightly elevated by using new input modules. Continuous accumulation of domestic data and studies to develop input system for air quality modeling would produce more improved results of air quality prediction.

Korea Emissions Inventory Processing Using the US EPA's SMOKE System

  • Kim, Soon-Tae;Moon, Nan-Kyoung;Byun, Dae-Won W.
    • Asian Journal of Atmospheric Environment
    • /
    • 제2권1호
    • /
    • pp.34-46
    • /
    • 2008
  • Emissions inputs for use in air quality modeling of Korea were generated with the emissions inventory data from the National Institute of Environmental Research (NIER), maintained under the Clean Air Policy Support System (CAPSS) database. Source Classification Codes (SCC) in the Korea emissions inventory were adapted to use with the U.S. EPA's Sparse Matrix Operator Kernel Emissions (SMOKE) by finding the best-matching SMOKE default SCCs for the chemical speciation and temporal allocation. A set of 19 surrogate spatial allocation factors for South Korea were developed utilizing the Multi-scale Integrated Modeling System (MIMS) Spatial Allocator and Korean GIS databases. The mobile and area source emissions data, after temporal allocation, show typical sinusoidal diurnal variations with high peaks during daytime, while point source emissions show weak diurnal variations. The model-ready emissions are speciated for the carbon bond version 4 (CB-4) chemical mechanism. Volatile organic carbon (VOC) emissions from painting related industries in area source category significantly contribute to TOL (Toluene) and XYL (Xylene) emissions. ETH (Ethylene) emissions are largely contributed from point industrial incineration facilities and various mobile sources. On the other hand, a large portion of OLE (Olefin) emissions are speciated from mobile sources in addition to those contributed by the polypropylene industry in point source. It was found that FORM (Formaldehyde) is mostly emitted from petroleum industry and heavy duty diesel vehicles. Chemical speciation of PM2.5 emissions shows that PEC (primary fine elemental carbon) and POA (primary fine organic aerosol) are the most abundant species from diesel and gasoline vehicles. To reduce uncertainties in processing the Korea emission inventory due to the mapping of Korean SCCs to those of U.S., it would be practical to develop and use domestic source profiles for the top 10 SCCs for area and point sources and top 5 SCCs for on-road mobile sources when VOC emissions from the sources are more than 90% of the total.

전달 루틴의 병렬화를 통한 SAT 알고리즘의 GPGPU 가속화 (GPGPU Acceleration of SAT Algorithm with Propagation Routine Parallelization)

  • 강형주
    • 한국정보통신학회논문지
    • /
    • 제20권10호
    • /
    • pp.1919-1926
    • /
    • 2016
  • 대량의 데이터를 병렬적으로 처리할 수 있는 General-Purpose Graphics Processing Unit(GPGPU)가 최근 많은 분야에서 적용되고 있으며, 이는 전자 설계 자동화 분야에서도 예외가 아니다. SAT 알고리즘은 다양한 전자 설계 자동화 문제에 적용되는 대표적인 알고리즘 중 하나이다. GPGPU를 이용해서 SAT 알고리즘을 가속화하기 위해 노력이 이루어져 왔으나, SAT 알고리즘 자체의 특성으로 인해 병렬화에 어려움이 있어왔다. 이 논문에서는 SAT 알고리즘의 내부 과정 중 비교적 병렬화가 용이한 전달 루틴을 병렬화함으로써 GPGPU 가속화를 적용하였다. 전달 루틴이 희소 행렬의 곱셈과 유사한 점에 착안하여 데이터 구조를 구성하고 이에 맞추어서 병렬적인 전달 루틴을 작성하였다. 병렬적으로 동작하는 쓰레드들 사이의 데이터 손실을 방지하기 위해 아토믹(atomic) 연산을 이용하였다. 벤치마크 SAT 문제들에 대해 기존의 GPGPU 기반 SAT solver에 비해 성능이 10배 이상 향상되었음을 확인하였다.

카테고리 중립 단어 활용을 통한 주가 예측 방안: 텍스트 마이닝 활용 (Stock Price Prediction by Utilizing Category Neutral Terms: Text Mining Approach)

  • 이민식;이홍주
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.123-138
    • /
    • 2017
  • 주식 시장은 거래자들의 기업과 시황에 대한 기대가 반영되어 움직이기에, 다양한 원천의 텍스트 데이터 분석을 통해 주가 움직임을 예측하려는 연구들이 진행되어 왔다. 주가의 움직임을 예측하는 것이기에 단순히 주가의 등락 뿐만이 아니라, 뉴스 기사나 소셜 미디어의 반응에 따라 거래를 하고 이에 따른 수익률을 분석하는 연구들이 진행되어 왔다. 주가의 움직임을 예측하는 연구들도 다른 분야의 텍스트 마이닝 접근 방안과 동일하게 단어-문서 매트릭스를 구성하여 분류 알고리즘에 적용하여 왔다. 문서에 많은 단어들이 포함되어 있기 때문에 모든 단어를 가지고 단어-문서 매트릭스를 만드는 것보다는 단어가 문서를 범주로 분류할 때 기여도가 높은 단어들을 선정하여야 한다. 단어의 빈도를 고려하여 너무 적은 등장 빈도나 중요도를 보이는 단어는 제거하게 된다. 단어가 문서를 정확하게 분류하는 데 기여하는 정도를 측정하여 기여도에 따라 사용할 단어를 선정하기도 한다. 단어-문서 매트릭스를 구성하는 기본적인 방안인 분석의 대상이 되는 모든 문서를 수집하여 분류에 영향력을 미치는 단어를 선정하여 사용하는 것이었다. 본 연구에서는 개별 종목에 대한 문서를 분석하여 종목별 등락에 모두 포함되는 단어를 중립 단어로 선정한다. 선정된 중립 단어 주변에 등장하는 단어들을 추출하여 단어-문서 매트릭스 생성에 활용한다. 중립 단어 자체는 주가 움직임과 연관관계가 적고, 중립 단어의 주변 단어가 주가 상승에 더 영향을 미칠 것이라는 생각에서 출발한다. 생성된 단어-문서 매트릭스를 가지고 주가의 등락 여부를 분류하는 알고리즘에 적용하게 된다. 본 연구에서는 종목 별로 중립 단어를 1차 선정하고, 선정된 단어 중에서 다른 종목에도 많이 포함되는 단어는 추가적으로 제외하는 방안을 활용하였다. 온라인 뉴스 포털을 통해 시가 총액 상위 10개 종목에 대한 4개월 간의 뉴스 기사를 수집하였다. 3개월간의 뉴스 기사를 학습 데이터로 분류 모형을 수립하였으며, 남은 1개월간의 뉴스 기사를 모형에 적용하여 다음 날의 주가 움직임을 예측하였다. 본 연구에서 제안하는 중립 단어 활용 알고리즘이 희소성에 기반한 단어 선정 방안에 비해 우수한 분류 성과를 보였다.

상품 동시 발생 정보와 유사도 정보를 이용한 협업적 필터링 (Collaborative Filtering using Co-Occurrence and Similarity information)

  • 나광택;이주홍
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.19-28
    • /
    • 2017
  • 협업적 필터링(CF)은 사용자와 상품간의 관계를 해석하여 특정 사용자에게 상품을 추천 해주는 시스템이다. CF 모델은 컨텐츠 등 다른 추가 정보 없이 평점 데이터만으로 사용자에게 상품을 추천해 줄 수 있다는 장점이 있다. 하지만 사용자는 전체 상품의 극히 일부분만을 소비하고 상품을 소비한 후에도 평점을 부여하지 않는 경우가 매우 많다. 이는 관찰된 평점의 수가 매우 적으며 사용자 평점 행렬이 매우 희박함을 의미한다. 이러한 평점 데이터의 희박성은 CF의 성능을 끌어올리는데 문제를 야기한다. 본 논문에서는 CF 모델 중 하나인 잠재 요인 모델(특히 SVD)의 성능을 끌어올리는데 집중한다. SVD에 상품 유사도 정보와 상품 동시 발생(co occurrence) 정보를 포함시킨 새로운 모델을 제안한다. 평점 데이터로부터 얻어지는 유사도와 동시 발생 정보는 상품 잠재 요인에 대한 잠재 공간상의 표현력을 높여주어 기존방법보다 Recall은 약 16%, Precision과 NDCG는 각각 8%, 7% 상승하였다. 본 논문에서 제안하는 방법이 향후 다른 추천 시스템과 결합하면 기존의 방법보다 더 좋은 성능을 보여줄 것이다.

구조적 공백과 협업필터링을 이용한 추천시스템 (Recommender Systems using Structural Hole and Collaborative Filtering)

  • 김민건;김경재
    • 지능정보연구
    • /
    • 제20권4호
    • /
    • pp.107-120
    • /
    • 2014
  • 본 연구에서는 사회연결망분석기법 중 하나인 구조적 공백 분석 결과를 이용하여 추천과정에 사용자의 정성적이고 감성적인 정보를 반영할 수 있는 협업필터링 기반의 추천시스템을 제안한다. 협업필터링은 추천기술 중 가장 많이 활용되고 있지만 전통적으로 확장성과 희박성 등의 문제점뿐 만 아니라 사용자-상품 매트릭스의 선호도만을 이용하여 추천을 함으로써 사용자의 정성적이고 감성적인 정보를 추천과정에 반영하지 못한다는 한계점이 있다. 본 연구에서 제안하는 추천시스템은 사회연결망분석에서 중심성 분석과 함께 연결망 내의 주요개체를 탐지할 수 있는 구조적 공백 분석을 이용하여 연결망 내의 대표 사용자들을 추출한 후 이들을 중심으로 군집을 형성한 후 각 군집색인 협업필터링을 수행하는 과정을 통해 전통적인 협업필터링에서 반영하지 못했던 정성적, 감성적 정보를 반영한다. 한편, 군집색인 협업필터링을 수행함으로써 추천의 효율성을 높일 수 있는 장점도 있다. 본 연구에서는 실제 사용자들의 상품에 대한 선호도 평가점수와 사용자들의 사회연결망 정보를 수집하여 실험을 수행하고 전통적인 협업필터링과 다양한 형태의 협업필터링과의 추천성과 비교를 통하여 제안하는 시스템의 유용성을 확인한다. 비교모형으로는 전통적인 협업필터링, 임의 군집색인 기반 협업필터링, k평균 군집색인 기반 협업필터링을 이용한 추천시스템이며, 실험 결과, 제안한 모형이 다른 비교모형에 비해 추천성과의 정확도가 가장 우수하였다. 추천성과의 차이에 대한 통계적 유의성 검정 결과, 제안 모형은 전통적인 협업필터링 기반의 추천시스템과는 통계적으로 유의한 성과 차이가 없었으나, 다른 두 모형에 대해서는 통계적으로 유의한 성과의 차이가 있는 것으로 나타났다.

수도권 지역에서 기상-대기질 모델링을 위한 VOC와 PM2.5의 화학종 분류 및 시간분배계수 산정 (Estimation of Chemical Speciation and Temporal Allocation Factor of VOC and PM2.5 for the Weather-Air Quality Modeling in the Seoul Metropolitan Area)

  • 문윤섭
    • 한국지구과학회지
    • /
    • 제36권1호
    • /
    • pp.36-50
    • /
    • 2015
  • 본 연구의 목적은 휘발성 유기화합물(VOC)과 먼지(PM)의 배출원 프로파일로부터 화학종 분류를 할당하고, 성김 행렬 조작자 핵심 배출량 시스템(SMOKE) 내에 배출원 분류코드에 따른 배출원 프로파일의 화학종 분류와 시간분배계수를 수정하는 것이다. 기솔린, 디젤 증기, 도장, 세탁, LPG 등과 같은 VOC 배출원 프로파일로부터 화학 종 분류는 탄소 결합 IV (CBIV) 화학 메커니즘과 주 규모 대기오염연구센터 99 (SAPRC99) 화학 메커니즘을 위해 각각 12종과 34종을 포함한다. 또한 토양, 도로먼지, 가솔린, 디젤차, 산업기원, 도시 소각장, 탄 연소 발전소, 생체 연소, 해안 등과 같은 PM2.5 배출원 프로파일로부터 화학종 분류는 미세 먼지, 유기탄소, 원소 탄소, 질산염과 황산염의 5종으로 할당하였다. 게다가 점 및 선 배출원의 시간 프로파일은 2007년 수도권 지역에서의 굴뚝 원격감시시스템(TMS)과 시간별 교통 흐름 자료로부터 구하였다. 특별히 점 배출원에 있어 오존 모델링을 위한 시간분배계수는 굴뚝 원격감시시스템 자료의 $NO_X$ 배출량 인벤토리에 근거하여 추정하였다.