• 제목/요약/키워드: Neural Network Compression

검색결과 122건 처리시간 0.025초

A Robust Principal Component Neural Network

  • Changha Hwang;Park, Hyejung;A, Eunyoung-N
    • Communications for Statistical Applications and Methods
    • /
    • 제8권3호
    • /
    • pp.625-632
    • /
    • 2001
  • Principal component analysis(PCA) is a multivariate technique falling under the general title of factor analysis. The purpose of PCA is to Identify the dependence structure behind a multivariate stochastic observation In order to obtain a compact description of it. In engineering field PCA is utilized mainly (or data compression and restoration. In this paper we propose a new robust Hebbian algorithm for robust PCA. This algorithm is based on a hyperbolic tangent function due to Hampel ef al.(1989) which is known to be robust in Statistics. We do two experiments to investigate the performance of the new robust Hebbian learning algorithm for robust PCA.

  • PDF

Prediction of UCS and STS of Kaolin clay stabilized with supplementary cementitious material using ANN and MLR

  • Kumar, Arvind;Rupali, S.
    • Advances in Computational Design
    • /
    • 제5권2호
    • /
    • pp.195-207
    • /
    • 2020
  • The present study focuses on the application of artificial neural network (ANN) and Multiple linear Regression (MLR) analysis for developing a model to predict the unconfined compressive strength (UCS) and split tensile strength (STS) of the fiber reinforced clay stabilized with grass ash, fly ash and lime. Unconfined compressive strength and Split tensile strength are the nonlinear functions and becomes difficult for developing a predicting model. Artificial neural networks are the efficient tools for predicting models possessing non linearity and are used in the present study along with regression analysis for predicting both UCS and STS. The data required for the model was obtained by systematic experiments performed on only Kaolin clay, clay mixed with varying percentages of fly ash, grass ash, polypropylene fibers and lime as between 10-20%, 1-4%, 0-1.5% and 0-8% respectively. Further, the optimum values of the various stabilizing materials were determined from the experiments. The effect of stabilization is observed by performing compaction tests, split tensile tests and unconfined compression tests. ANN models are trained using the inputs and targets obtained from the experiments. Performance of ANN and Regression analysis is checked with statistical error of correlation coefficient (R) and both the methods predict the UCS and STS values quite well; but it is observed that ANN can predict both the values of UCS as well as STS simultaneously whereas MLR predicts the values separately. It is also observed that only STS values can be predicted efficiently by MLR.

해마신경망을 이용한 관심 객체 기반의 효율적인 멀티미디어 검색 시스템의 개발 (The Development of Efficient Multimedia Retrieval System of the Object-Based using the Hippocampal Neural Network)

  • 정석훈;강대성
    • 대한전자공학회논문지SP
    • /
    • 제43권2호
    • /
    • pp.57-64
    • /
    • 2006
  • 본 논문에서는 해마신경망(HCNN:HippoCampal Neural Network)을 이용하여 사용자 친화적인 객체 기반 멀티미디어 검색시스템을 제안한다. 내용 기반 검색(Content-based Retrieval)에 관한 대부분의 기존의 질의 방법은 입력 영상에 의한 질의 또는 컬러(color), 형태(shape), 질감(texture)등과 같은 low-level의 특징을 사용한다. 본 논문에서 제안하는 방법은 MPEG 기반의 압축 비디오 스트림으로부터 장면 전환 검출을 수행하여 샷을 검출한다. 이 샷 프레임에서 컬러 객체의 자동 추출을 위하여 similar colorization과 ACE(Adaptive Circular filter and Edge) 알고리즘을 사용한다. 그리고 이렇게 추출된 특징을 해마 신경망을 통하여 학습한 후 멀티미디어 검색 시스템을 구성한다. 제안하는 해마 신경망은 호감도 조정에 의해서 입력되는 영상패턴의 특징들을 흥분학습과 억제학습을 이용하여 불필요한 특징은 억제시키고 중요한 특징은 흥분학습을 통해 장기기억 시켜서 적응성 있는 실시간 검색 시스템을 구현한다.

심층신경망의 더블 프루닝 기법의 적용 및 성능 분석에 관한 연구 (Application and Performance Analysis of Double Pruning Method for Deep Neural Networks)

  • 이선우;양호준;오승연;이문형;권장우
    • 융합정보논문지
    • /
    • 제10권8호
    • /
    • pp.23-34
    • /
    • 2020
  • 최근 인공지능 딥러닝 분야는 컴퓨팅 자원의 높은 연산량과 가격문제로 인해 상용화에 어려움이 존재했다. 본 논문은 더블 프루닝 기법을 적용하여 심층신경망 모델들과 다수의 데이터셋에서의 성능을 평가하고자 한다. 더블 프루닝은 기본의 네트워크 간소화(Network-Slimming)과 파라미터 프루닝(Parameter-Pruning)을 결합한다. 이는 기존의 학습에 중요하지 않는 매개변수를 절감하여 학습 정확도를 저해하지 않고 속도를 향상시킬 수 있다는 장점이 있다. 다양한 데이터셋 학습 이후에 프루닝 비율을 증가시켜, 모델의 사이즈를 감소시켰다. NetScore 성능 분석 결과 MobileNet-V3가 가장 성능이 높게 나타났다. 프루닝 이후의 성능은 Cifar 10 데이터셋에서 깊이 우선 합성곱 신경망으로 구성된 MobileNet-V3이 가장 성능이 높았고, 전통적인 합성곱 신경망으로 이루어진 VGGNet, ResNet또한 높은 폭으로 성능이 증가함을 확인하였다.

Isometric SOM 신경망을 이용한 지문 영상의 후처리 알고리듬 (Postprocessing Algorithm of Fingerprint Image Using Isometric SOM Neural Network)

  • 김상희;김영정;이성구
    • 전자공학회논문지CI
    • /
    • 제45권5호
    • /
    • pp.110-116
    • /
    • 2008
  • 본 논문은 Isometric SOM(ISOSOM)신경망을 이용하여 지문의 영상의 세선화 과정에서 발생하는 거짓 특징점의 제거를 위한 새로운 후처리 방법과 영상압축에 관한 것이다. SOM은 간단한 구조와 빠른 실행 시간, 그리고 비교적 뛰어난 분류 성능 등의 장점을 가지므로, 영상압축, 패턴분류 등과 같이 많은 영상관련 분야에 적용되고 있으나, 단층의 구조를 가지고 있으므로 패턴의 분류에 한계성을 가지고 있다. 본 논문은 적은 벡터 코드북 개수로 SOM의 패턴분류 특성을 최대화시키기 위하여 fractal의 isometry를 적용한 Isometric SOM을 사용하였다. 제안된 Isometric SOM을 이용한 지문영상의 후처리 및 압축 알고리즘은 거짓 특징점의 추출에 좋은 성능을 보였으며 동시에 압축을 수행하는 우수한 성능을 확인할 수 있었다.

콘크리트 압축강도 추정을 위한 확률 신경망 (Probabilistic Neural Network for Prediction of Compressive Strength of Concrete)

  • 김두기;이종재;장성규
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제8권2호
    • /
    • pp.159-167
    • /
    • 2004
  • 콘크리트의 압축강도는 콘크리트를 생산하는 기준으로 사용된다. 콘크리트 압축강도 시험은 복잡하고 시간이 걸리는 일이고, 보통 건설현장에서 타설 후 28일 후에 실행되기 때문에, 시험결과가 필요강도를 만족하지 않을 경우에 구조물의 시공에 문제를 초래할 수도 있다. 따라서, 콘크리트 타설 전에 강도를 예측하는 것이 요구되고 있다. 본 연구에서는 콘크리트 배합비를 기초로 하여 콘크리트 압축강도를 예측하기 위한 확률론적 방법을 제시하였다. 패턴인식 분야에서 많이 활용되어온 확률신경망 기법을 활용하여 콘크리트 압축강도 추정을 수행하였다. 콘크리트 압축강도 시험결과를 활용하여 확률신경망 기법의 적용성을 검증하였으며, 실제 시험결과와 비교를 수행하였다. 비교결과, 본 연구에서 제시된 확률신경망을 활용한 콘크리트 압축강도 추정기법이 콘크리트의 압축강도를 확률적으로 추정하는데 매우 효과적으로 적용될 수 있음을 확인하였다.

Web access prediction based on parallel deep learning

  • Togtokh, Gantur;Kim, Kyung-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권11호
    • /
    • pp.51-59
    • /
    • 2019
  • 웹에서 정보 접근에 대한 폭발적인 주문으로 웹 사용자의 다음 접근 페이지를 예측하는 필요성이 대두되었다. 웹 접근 예측을 위해 마코브(markov) 모델, 딥 신경망, 벡터 머신, 퍼지 추론 모델 등 많은 모델이 제안되었다. 신경망 모델에 기반한 딥러닝 기법에서 대규모 웹 사용 데이터에 대한 학습 시간이 엄청 길어진다. 이 문제를 해결하기 위하여 딥 신경망 모델에서는 학습을 여러 컴퓨터에 동시에, 즉 병렬로 학습시킨다. 본 논문에서는 먼저 스파크 클러스터에서 다층 Perceptron 모델을 학습 시킬 때 중요한 데이터 분할, shuffling, 압축, locality와 관련된 기본 파라미터들이 얼마만큼 영향을 미치는지 살펴보았다. 그 다음 웹 접근 예측을 위해 다층 Perceptron 모델을 학습 시킬 때 성능을 높이기 위하여 이들 스파크 파라미터들을 튜닝 하였다. 실험을 통하여 논문에서 제안한 스파크 파라미터 튜닝을 통한 웹 접근 예측 모델이 파라미터 튜닝을 하지 않았을 경우와 비교하여 웹 접근 예측에 대한 정확성과 성능 향상의 효과를 보였다.

K-Means 와 GHA를 이용한 위성영상 구름영역 검출 (Cloudy Area Detection in Satellite Image using K-Means & GHA)

  • 서석배;김종우;최해진
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 신호처리소사이어티 추계학술대회 논문집
    • /
    • pp.405-408
    • /
    • 2003
  • This paper proposes a new algorithm for cloudy area detection using K-Means and GHA (Generalized Hebbian Algorithm). K-Means is one of simple classification algorithm, and GHA is unsupervised neural network for data compression and pattern classification. Proposed algorithm is based on block based image processing that size is l6$\times$l6. Experimental results shows good performance of cloudy area detection except blur cloudy areas.

  • PDF

음향 이벤트 검출을 위한 DenseNet-Recurrent Neural Network 학습 방법에 관한 연구 (A study on training DenseNet-Recurrent Neural Network for sound event detection)

  • 차현진;박상욱
    • 한국음향학회지
    • /
    • 제42권5호
    • /
    • pp.395-401
    • /
    • 2023
  • 음향 이벤트 검출(Sound Event Detection, SED)은 음향 신호에서 관심 있는 음향의 종류와 발생 구간을 검출하는 기술로, 음향 감시 시스템 및 모니터링 시스템 등 다양한 분야에서 활용되고 있다. 최근 음향 신호 분석에 관한 국제 경연 대회(Detection and Classification of Acoustic Scenes and Events, DCASE) Task 4를 통해 다양한 방법이 소개되고 있다. 본 연구는 다양한 영역에서 성능 향상을 이끌고 있는 Dense Convolutional Networks(DenseNet)을 음향 이벤트 검출에 적용하기 위해 설계 변수에 따른 성능 변화를 비교 및 분석한다. 실험에서는 DenseNet with Bottleneck and Compression(DenseNet-BC)와 순환신경망(Recurrent Neural Network, RNN)의 한 종류인 양방향 게이트 순환 유닛(Bidirectional Gated Recurrent Unit, Bi-GRU)을 결합한 DenseRNN 모델을 설계하고, 평균 교사 모델(Mean Teacher Model)을 통해 모델을 학습한다. DCASE task4의 성능 평가 기준에 따라 이벤트 기반 f-score를 바탕으로 설계 변수에 따른 DenseRNN의 성능 변화를 분석한다. 실험 결과에서 DenseRNN의 복잡도가 높을수록 성능이 향상되지만 일정 수준에 도달하면 유사한 성능을 보임을 확인할 수 있다. 또한, 학습과정에서 중도탈락을 적용하지 않는 경우, 모델이 효과적으로 학습됨을 확인할 수 있다.

신경망 기반 블록 단위 위상 홀로그램 이미지 압축 (Block-based Learned Image Compression for Phase Holograms)

  • 최승미;박수용;반현민;차준영;김휘용
    • 방송공학회논문지
    • /
    • 제28권1호
    • /
    • pp.42-54
    • /
    • 2023
  • 방대한 홀로그램 데이터를 디지털 형식으로 압축하는 것은 중요한 문제이다. 특히, 상용화를 위해 위상 전용 홀로그램의 압축에 관한 연구가 주목된다. 자연 영상에 최적화된 기존 표준 압축 기술은 위상 신호를 압축하는데 적합하지 않으며, 위상 신호에 대해 최적화 가능한 신경망 기반 압축 기술은 좋은 성능을 기대할 수 있으나 고해상도 홀로그램 데이터를 학습하는 데 메모리 문제가 존재한다. 본 논문에서는 메모리 문제를 해결할 수 있는 학습 가능한 신경망 기반의 블록 단위 압축 기술을 위상 전용 홀로그램에 적용해봄으로써 블록 기반이라는 동일 조건 내에서도 제안 방식이 표준 코덱보다 상당한 성능향상을 보일 수 있음을 밝혔다. 신경망 기반의 블록 단위 압축은 기존 코덱과의 호환성을 제공할 수 있으며, 메모리 문제를 해결하는 동시에 위상 전용 홀로그램 압축에 대해 월등히 좋은 성능을 보일 수 있다.