• 제목/요약/키워드: 1-Bit Neural Network

검색결과 33건 처리시간 0.021초

1-Bit 합성곱 신경망을 위한 정확도 향상 기법 (Accuracy Improvement Method for 1-Bit Convolutional Neural Network)

  • 임성훈;이재흥
    • 전기전자학회논문지
    • /
    • 제22권4호
    • /
    • pp.1115-1122
    • /
    • 2018
  • 본 논문에서는 기존 1-Bit 합성곱 신경망의 성능 하락에 대한 분석과 이를 완화하기 위한 방안을 제시한다. 기존의 연구는 첫 번째 층과 마지막 층만 32-Bit 연산을 적용하고 나머지 연산은 1-Bit 연산을 적용한 것과 달리 본 논문에서는 두 번째 층도 32-Bit로 연산한다. 또한 입력과 가중치를 이진화하고 1-Bit 연산을 적용한 후에는 비선형 활성화 함수를 제거할 수 있음을 제시한다. 본 논문에서 제시한 방법을 검증하기 위해 차량 번호판 검출을 위한 객체 검출 신경망을 실험하였다. 기존의 방법으로 학습한 결과보다 정확도가 74%에서 96.1%로 상승하였다.

Convolutional Neural Network 기반의 악성코드 이미지화를 통한 패밀리 분류 (Visualized Malware Classification Based-on Convolutional Neural Network)

  • 석선희;김호원
    • 정보보호학회논문지
    • /
    • 제26권1호
    • /
    • pp.197-208
    • /
    • 2016
  • 본 논문에서는 악성코드를 실행시키지 않고 패밀리를 분류하는 방법으로 악성 코드 파일을 8-bit gray-scale 이미지로 시각화 하고 이미지 인식분야에서 널리 쓰이고 있는 convolutional neural network를 통해 악성코드를 분류해내는 기법을 제안한다. 9개의 악성코드 패밀리로 분류해 내는 실험의 Top-1,2 예측 정확도는 각각 96.2%, 98.7%을 기록하였고, 27개의 패밀리를 분류하는 실험의 경우 Top-1 예측 정확도는 82.9%, Top-2는 89%로 악성코드 패밀리를 분류할 수 있다.

신경회로망을 이용한 심전도 데이터 압축 알고리즘에 관한 연구 (A Study on ECG Oata Compression Algorithm Using Neural Network)

  • 김태국;이명호
    • 대한의용생체공학회:의공학회지
    • /
    • 제12권3호
    • /
    • pp.191-202
    • /
    • 1991
  • This paper describes ECG data compression algorithm using neural network. As a learning method, we use back error propagation algorithm. ECG data compression is performed using learning ability of neural network. CSE database, which is sampled 12bit digitized at 500samp1e/sec, is selected as a input signal. In order to reduce unit number of input layer, we modify sampling ratio 250samples/sec in QRS complex, 125samples/sec in P & T wave respectively. hs a input pattern of neural network, from 35 points backward to 45 points forward sample Points of R peak are used.

  • PDF

A Comparative Study on the Prediction of KOSPI 200 Using Intelligent Approaches

  • Bae, Hyeon;Kim, Sung-Shin;Kim, Hae-Gyun;Woo, Kwang-Bang
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제3권1호
    • /
    • pp.7-12
    • /
    • 2003
  • In recent years, many attempts have been made to predict the behavior of bonds, currencies, stock or other economic markets. Most previous experiments used the neural network models for the stock market forecasting. The KOSPI 200 (Korea Composite Stock Price Index 200) is modeled by using different neural networks and fuzzy logic. In this paper, the neural network, the dynamic polynomial neural network (DPNN) and the fuzzy logic employed for the prediction of the KOSPI 200. The prediction results are compared by the root mean squared error (RMSE) and scatter plot, respectively. The results show that the performance of the fuzzy system is little bit worse than that of the DPNN but better than that of the neural network. We can develop the desired fuzzy system by optimization methods.

A New Recurrent Neural Network Architecture for Pattern Recognition and Its Convergence Results

  • Lee, Seong-Whan;Kim, Young-Joon;Song, Hee-Heon
    • Journal of Electrical Engineering and information Science
    • /
    • 제1권1호
    • /
    • pp.108-117
    • /
    • 1996
  • In this paper, we propose a new type of recurrent neural network architecture in which each output unit is connected with itself and fully-connected with other output units and all hidden units. The proposed recurrent network differs from Jordan's and Elman's recurrent networks in view of functions and architectures because it was originally extended from the multilayer feedforward neural network for improving the discrimination and generalization power. We also prove the convergence property of learning algorithm of the proposed recurrent neural network and analyze the performance of the proposed recurrent neural network by performing recognition experiments with the totally unconstrained handwritten numeral database of Concordia University of Canada. Experimental results confirmed that the proposed recurrent neural network improves the discrimination and generalization power in recognizing spatial patterns.

  • PDF

ResNet-50 합성곱 신경망을 위한 고정 소수점 표현 방법 (Efficient Fixed-Point Representation for ResNet-50 Convolutional Neural Network)

  • 강형주
    • 한국정보통신학회논문지
    • /
    • 제22권1호
    • /
    • pp.1-8
    • /
    • 2018
  • 최근 합성곱 신경망은 컴퓨터 비전에 관련된 여러 분야에서 높은 성능을 보여 주고 있으나 합성곱 신경망이 요구하는 많은 연산양은 임베디드 환경에 도입되는 것을 어렵게 하고 있다. 이를 해결하기 위해 ASIC이나 FPGA를 통한 합성곱 신경망의 구현에 많은 관심이 모이고 있고, 이러한 구현을 위해서는 효율적인 고정 소수점 표현이 필요하다. 고정 소수점 표현은 ASIC이나 FPGA에서의 구현에 적합하나 합성곱 신경망의 성능이 저하될 수 있는 문제가 있다. 이 논문에서는 합성곱 계층과 배치(batch) 정규화 계층에 대해 고정 소수점 표현을 분리해서, ResNet-50 합성곱 신경망의 합성곱 계층을 표현하기 위해 필요한 비트 수를 16비트에서 10비트로 줄일 수 있게 하였다. 연산이 집중되는 합성곱 계층이 더 간단하게 표현되므로 합성곱 신경망 구현이 전체적으로 더 효율적으로 될 것이다.

CDMA System에서 협대역 간섭제거 적응 상관기에 관한 연구 (A Study On Adaptive Correlator Receiver with Narrow-band Interferance in CDMA System)

  • 정찬주;양화섭;김용식;오승재;김재갑
    • 경영과정보연구
    • /
    • 제3권
    • /
    • pp.201-214
    • /
    • 1999
  • Adaptive correlator receiver with neural network based on complex multilayer perceptron is persented for suppressing interference of narrow-band of direct spread spectrum communication systems. Recursive least square algorithm with backpropagation error is used for fast convergence and better performance in adaptive correlator scheme. According to signal noise and transmission power, computer simulation results show that bit error ratio of adaptive correlator using neural network improved that of adative transversal filter of direct sequence spread spectrum considering of jamming and narrow-band interference. Bit error ratio of adaptive correlator with neural network is reduced about 10-1 than that of adaptive transversal filter where interference versus signal ratio is 5dB.

  • PDF

GPU 가속기를 통한 비트 연산 최적화 및 DNN 응용 (Bit Operation Optimization and DNN Application using GPU Acceleration)

  • 김상혁;이재흥
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1314-1320
    • /
    • 2019
  • 본 논문에서는 소프트웨어 환경에서 비트연산을 최적화 하고 DNN으로 응용하는 방법을 제안한다. 이를 위해 비트연산 최적화를 위한 패킹 함수와 DNN으로 응용을 위한 마스킹 행렬 곱 연산을 제안한다. 패킹 함수의 경우는 32bit의 실제 가중치값을 2bit로 변환하는 연산을 수행한다. 연산을 수행할 땐, 임계값 비교 연산을 통해 2bit 값으로 변환한다. 이 연산을 수행하면 4개의 32bit값이 1개의 8bit 메모리에 들어가게 된다. 마스킹 행렬 곱 연산의 경우 패킹된 가중치 값과 일반 입력 값을 곱하기 위한 특수한 연산으로 이루어져 있다. 그리고 각각의 연산은 GPU 가속기를 이용해 병렬로 처리되게 하였다. 그 결과 HandWritten 데이터 셋에 환경에서 32bit DNN 모델에 비해 약 16배의 메모리 절약을 볼 수 있었다. 그럼에도 정확도는 32bit 모델과 비슷한 1% 이내의 차이를 보였다.

이동 무선 통신에서 신경망을 이용한 간섭 신호 제어 (Interference Signal Control using Neural Network in Digital Mobile Communication)

  • 나상동;배철수
    • 한국정보통신학회논문지
    • /
    • 제2권1호
    • /
    • pp.109-116
    • /
    • 1998
  • 본 논문은 DS-SS 이동 통신 시스템에서 복합 다계층 퍼셉트론 신경망을 이용한 간섭 신호 제어로써 직접순차 확산 스펙트럼의 협대역 간섭 신호를 역전파 학습 알고리즘을 이용하여 억압하고, 컴퓨터 시뮬레이션을 통해 동일 채널 간섭과 협대역 간섭의 실제 톤(Tone)에서 빠른 수렴 비율과 더 좋은 성능을 가지는 복소수 역전파 알고리즘으로부터 제안된 새로운 복합 (CBPRLS)알고리즘은 기존의 RAKE 수신기보다 더 낮은 비트 에러 율을 가지는 NNAC(Neural Network Adaptive Correlator)를 통해 간섭 신호가 보다 효율적으로 제어됨을 분석 고찰한다.

  • PDF

신경망 기반의 멜로디 작곡법 (The Melody Composition by using Neural Network)

  • 조재영;김윤호
    • 한국정보전자통신기술학회논문지
    • /
    • 제1권3호
    • /
    • pp.77-82
    • /
    • 2008
  • 본 논문에서는 대중음악 코드진행 과정에 있어서 패턴 분석을 이용하여 멜로디를 추가하는 방법을 소개한다. 먼저, 멜로디를 신경망의 입력으로 사용되는 비트패턴으로 변환하는 방법을 기술한다. 멜로디 추가 방법은 역전파 신경망 학습을 통해 멜로디 작곡 패턴을 학습시키고 학습 된 데이터를 바탕으로 멜로디를 생성하도록 설계하였다. 실험결과 신경망 학습을 이용한 컴퓨터의 작곡 가능성을 확인하였다.

  • PDF