• Title/Summary/Keyword: 가중치 모델

Search Result 930, Processing Time 0.035 seconds

Deep Neural Network Weight Transformation for Spiking Neural Network Inference (스파이킹 신경망 추론을 위한 심층 신경망 가중치 변환)

  • Lee, Jung Soo;Heo, Jun Young
    • Smart Media Journal
    • /
    • v.11 no.3
    • /
    • pp.26-30
    • /
    • 2022
  • Spiking neural network is a neural network that applies the working principle of real brain neurons. Due to the biological mechanism of neurons, it consumes less power for training and reasoning than conventional neural networks. Recently, as deep learning models become huge and operating costs increase exponentially, the spiking neural network is attracting attention as a third-generation neural network that connects convolution neural networks and recurrent neural networks, and related research is being actively conducted. However, in order to apply the spiking neural network model to the industry, a lot of research still needs to be done, and the problem of model retraining to apply a new model must also be solved. In this paper, we propose a method to minimize the cost of model retraining by extracting the weights of the existing trained deep learning model and converting them into the weights of the spiking neural network model. In addition, it was found that weight conversion worked correctly by comparing the results of inference using the converted weights with the results of the existing model.

Compression of DNN Integer Weight using Video Encoder (비디오 인코더를 통한 딥러닝 모델의 정수 가중치 압축)

  • Kim, Seunghwan;Ryu, Eun-Seok
    • Journal of Broadcast Engineering
    • /
    • v.26 no.6
    • /
    • pp.778-789
    • /
    • 2021
  • Recently, various lightweight methods for using Convolutional Neural Network(CNN) models in mobile devices have emerged. Weight quantization, which lowers bit precision of weights, is a lightweight method that enables a model to be used through integer calculation in a mobile environment where GPU acceleration is unable. Weight quantization has already been used in various models as a lightweight method to reduce computational complexity and model size with a small loss of accuracy. Considering the size of memory and computing speed as well as the storage size of the device and the limited network environment, this paper proposes a method of compressing integer weights after quantization using a video codec as a method. To verify the performance of the proposed method, experiments were conducted on VGG16, Resnet50, and Resnet18 models trained with ImageNet and Places365 datasets. As a result, loss of accuracy less than 2% and high compression efficiency were achieved in various models. In addition, as a result of comparison with similar compression methods, it was verified that the compression efficiency was more than doubled.

Reranking Clusters based on Query Term Position and Context (질의의 위치와 문맥을 반영한 클러스터 기반 재순위화)

  • Jo, Seung-Hyeon;Jang, Gye-Hun;Lee, Kyung-Soon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.04a
    • /
    • pp.471-474
    • /
    • 2010
  • 질의와 질의 주변에 나오는 어휘는 의미적으로 연관되어있다는 가정하에 질의뿐만 아니라 질의 주변에 나오는 문맥 어휘들도 가중치를 높여준다면 검색에 효율을 높일 수 있을 것이다. 본 논문에서는 질의와 질의 주변에 나오는 문맥 어휘들에게 가중치를 주어 질의 어휘의 위치 가중치를 반영한 문서를 표현하고, 위치 가중치가 반영된 문서 벡터들 사이의 유사도를 계산하여 클러스터 기반 재순위화를 하여 성능을 향상시키는 방법을 제안한다. 뉴스 집합인 TREC AP 문서를 이용하여 언어모델, 위치 가중치를 이용한 언어모델, 클러스터 기반 재순위화 모델의 비교실험을 통해 유효성을 검증한다.

A Study on Weighting for Digital Maturity Model & Indicators based on AHP Technique: Focusing on Digital Curation Maturity Model of Korea Institute of Science and Technology Information (AHP 기법 기반 디지털 큐레이션 성숙도 모델·지표 가중치 연구: 한국과학기술정보연구원 디지털 큐레이션 성숙도 모델을 중심으로)

  • Seonghun Kim;Jinho Park
    • Journal of the Korean Society for information Management
    • /
    • v.40 no.2
    • /
    • pp.243-262
    • /
    • 2023
  • In the rapidly developing information technology environment, information management organizations need to effectively evaluate their digital maturity and clarify the direction of improvement to effectively respond to rapidly changing environments. This study derived weights for the digital curation maturity model developed by KISTI from the perspective of digital transformation to facilitate effective evaluation and direction setting of information management organizations. Relative importance was derived as a weight in the major and middle categories of the model through the AHP technique. Summarizing the results, when the major categories of the entire model are measured on the basis of 100 points, technology is 27 points, data is 24 points, strategy is 19 points, organization (manpower) is 16 points, and (social) influence is calculated as 14 points. In addition, weights for each subcategory were presented for each major classification based on a perfect score of 100 points. It is expected that a more objective and reasonable evaluation will be possible by applying the weights for each area derived from this study to the digital transformation maturity evaluation model.

Weighted Markov Model for Recommending Personalized Broadcasting Contents (개인화된 방송 컨텐츠 추천을 위한 가중치 적용 Markov 모델)

  • Park, Sung-Joon;Hong, Jong-Kyu;Kang, Sang-Gil;Kim, Young-Kuk
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.12 no.5
    • /
    • pp.326-338
    • /
    • 2006
  • In this paper, we propose the weighted Markov model for recommending the users' prefered contents in the environment with considering the users' transition of their content consumption mind according to the kind of contents providing in time. In general, TV viewers have an intention to consume again the preferred contents consumed in recent by them. In order to take into the consideration, we modify the preference transition matrix by providing weights to the consecutively consumed contents for recommending the users' preferred contents. We applied the proposed model to the recommendation of TV viewer's genre preference. The experimental result shows that our method is more efficient than the typical methods.

Visual Object Tracking Using Multiple Object Models (다수 객체 모델을 이용한 객체 추적 기법)

  • Kim, Han-Ul;Kim, Chang-Su
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2015.11a
    • /
    • pp.104-105
    • /
    • 2015
  • 본 논문에서는 다수 객체 모델을 통해 잘못된 객체 모델 갱신의 영향을 줄이고 객체 추적의 정확도를 향상시키기 위한 방법을 제안한다. 객체 모델 집합은 다수의 객체 모델과 대응하는 가중치들로 정의된다. 각 델과의 유사도 가중 합을 고려 하여 객체 위치를 추정하고, 각 모델의 추정 신뢰도를 계산하여 가중치를 갱신한다. 실험 결과를 통해 제안하는 기법이 오클루젼, 밝기 변화로 인하여 객체 외형이 왜곡되었을 때 추적 성능을 크게 개선함을 보이고 기존 기법들보다 더 정확한 추적 결과를 제공함을 확인한다.

  • PDF

A data mining approach for efficient matching of engineering document schemata (엔지니어링 문서 스키마의 효율적 매칭을 위한 데이터마이닝 기법의 활용방안)

  • Park, Sang-Il;An, Hyun-Jung;Kim, Hyo-Jin;Lee, Sang-Ho
    • Proceedings of the Computational Structural Engineering Institute Conference
    • /
    • 2010.04a
    • /
    • pp.226-229
    • /
    • 2010
  • 본 연구에서는 데이터 저장의 질적 향상을 도모하는 XML 스키마 매칭의 효율적 활용방안을 제시하였다. 이를 위하여 매칭의 가중치의 변화에 따라 달라지는 정확도 데이터를 수집하고, 수집한 데이터를 활용하여 데이터 마이닝 기법 중 하나인 의사결정나무 모델을 수립하였다. 수립모델을 응용하여 구현한 가중치 자동선정 모듈은 설명변수인 교량의 형식, 문서가 포함하고 있는 요소의 수, 문서를 작성한 회사 등의 값에 따라 의사결정나무 모델의 목표변수인 정확도뿐만 아니라, 가장 높은 정확도를 보일 수 있는 가중치까지 간접적으로 제안가능하다. 본 연구로 구현한 모듈을 통해 제안된 XML 스키마 매칭 가중치를 활용하면 그렇지 않은 경우에 비하여 약 10% 정확도 상승효과가 있음을 알 수 있었다.

  • PDF

Real-time blending method development of radar-based QPF and numerical weather prediction models for hydrological application (수문학적 활용을 위한 레이더와 수치예보모델 예측강우의 실시간 병합 기법 개발)

  • Yoon, Seong-Sim;Lee, Dong-Ryul
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2018.05a
    • /
    • pp.99-99
    • /
    • 2018
  • 기상이변으로 인해 국지성 호우의 발생 증가와 그로 인한 수재해 피해가 증가하고 있다. 따라서 수재해를 사전에 예측하고 저감하기 위해 비구조물적 대책인 실시간 홍수예보시스템 개발 및 운영에 관한 연구들이 수행되고 있다. 일반적으로 홍수예보시스템은 대피선행시간 확보를 위해서 초단시간 혹은 단기 수치예보모델을 수문해석모형이나 예보기법의 입력으로 활용하고 있다. 초단시간 예측은 기상레이더를 기반으로 외삽, 이류, 셀 추적 등의 기법을 활용하여 0~3시간 이내의 강수예측을 수행한다. 그러나 역학이나 물리적 과정이 동반되지 못하여 0~ 2시간 이내에서의 예측성은 높은 반면, 예측시간이 길어질수록 예측력이 낮아진다. 단기수치예보모델은 종관관측에 의존하면서 역학이나 물리과정을 동반하므로 0~6시간 혹은 12시간 이상의 예측을 수행하지만, 수치모델의 고유특성인 스핀업 등의 예측 불확실성이 내재되어 있어 예측 초기시간에서의 예측력이 낮은 한계가 있다. 따라서 강수예측의 정확도 향상을 위해 레이더와 수치예보모델의 병합기법이 필요하다. 본 연구에서는 통계분석을 통해 경험적으로 산출된 시간적 가중치를 이용한 기존 병합기법의 한계를 극복하면서 호우에 따른 가변성을 반영하는 실시간 병합기법을 개발하고, 수문학적인 활용성을 평가하고자 하였다. 사용된 예측강우 자료는 레이더 기반인 MAPLE, KONOS, 공간규모분할 예측강우와 수치예보모델 기반인 UM와 ASAPS의 예측강우이며, 제시한 가중치 산정기법은 직전 예측강우의 오차가 현 시점의 예측강우의 오차와 유사하다는 가정하에 오차항을 포함한 과거 1시간 예측강우들간의 가중치 조합이 과거 지상관측강우와의 평균제곱근오차가 최소가 되도록 화음 탐색법을 이용하여 찾는 것이다. 가중치 조합은 예측강우의 생산 시간 간격을 고려하여 매 10분마다 산정하며, 미래 3시간 예측까지 산정된 가중치를 적용한다. 수도권 영역을 대상으로 병합된 예측강우와 레이더 관측강우를 비교한 결과, 정량적 정확도가 향상됨을 확인할 수 있었다. 또한, 예측강우의 수문학적 활용성은 도시유출해석모의를 통해 평가하였다. 그 결과, 병합된 예측강우로 모의된 수심이 관측수심과 유사하여 수문학적 활용성 확인할 수 있었다.

  • PDF

MPEG Compression of Neural Network (NNC) 국제표준 기술 동향

  • 문현철;정진우;김성제
    • Broadcasting and Media Magazine
    • /
    • v.28 no.1
    • /
    • pp.61-80
    • /
    • 2023
  • 인공신경망 모델이 다양한 분야에서 뛰어난 성능을 보이고 있지만, 동시에 모델의 복잡도도 크게 증가하였다. 따라서, 모바일 같은 저전력 디바이스에 인공신경망 모델이 실시간으로 추론/배포되기 위해서는 모델의 가중치 파라미터의 수 혹은 메모리 소모량을 줄이는 경량화 기술이 필수적이다. 이에 MPEG에서는 인공신경망 모델을 다양한 프레임워크에서 상호 운용 가능하고 파라미터를 압축 표현하는 NNC (Compression of Neural Networks) 표준화를 진행 중에 있다. 본고에서는 NNC 표준의 개요와 가중치 파라미터를 압축하는 압축 기술, 그리고 HLS (High-Level Syntax)들을 소개하고자 한다.

  • PDF

Compression of CNN Using Local Nonlinear Quantization in MPEG-NNR (MPEG-NNR 의 지역 비선형 양자화를 이용한 CNN 압축)

  • Lee, Jeong-Yeon;Moon, Hyeon-Cheol;Kim, Sue-Jeong;Kim, Jae-Gon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.662-663
    • /
    • 2020
  • 최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

  • PDF