• 제목/요약/키워드: 1-Bit Neural Network

검색결과 33건 처리시간 0.023초

시정수 제어 기법이 적용된 Multi-Rate CDMA 시스템을 위한 Hopfield 신경망 기반 다중 사용자 검출기 (Time Constant Control Method for Hopfield Neural Network based Multiuser Detector of Multi-Rate CDMA system)

  • 김홍열;장병관;전재춘;황인관
    • 한국통신학회논문지
    • /
    • 제28권6A호
    • /
    • pp.379-385
    • /
    • 2003
  • 본 논문에서는 다수의 사용자가 있는 주파수 선택성 페이딩 환경하의 multi-rate CDMA 시스템에서Hopfield 신경망의 시정수를 제어하는 알고리즘을 이용하여 Hopfeld 신경망 기반 다중 사용자 검출기의 국부 최소점 문제를 간단히 해결하고 설계된 검출기의 성능을 병렬 간섭 제거기와 비교 분석하였다 또한 역방향 링크는 부호 길이가 256 칩인 short 스크램블링 부호를 가정하고, short 스크램블링 부호의 주기성을 이용한 간단한 상관계수 예측 알고리즘을 사용하여 주기적인 확산부호간 상관계수 행렬을 계산하고 Hopfield 신경망의 입력으로 사용하여 확산 코드의 주기에 상응하는 연산에 필요한 신경망회로의 복잡도를 1/(64*64) 배로 단순화하였다. 그, 결과 Hopfield 신경망을 이용한 다중 사용자 검출기(HNN-MUD)는 다중 사용자 간섭(MAI)을 효과적으로 제거하여 기존의 검출기에 비해 낮은 비트 오류율을 보였고 근원거리상황(near-far situation)에서도 타 사용자의 전력의 크기에 관계없이 거의 일정한 비트 오류율을 보여, 기존의 검출기 보다 성능이 향상됨을 보였다.

Energy-Efficient DNN Processor on Embedded Systems for Spontaneous Human-Robot Interaction

  • Kim, Changhyeon;Yoo, Hoi-Jun
    • Journal of Semiconductor Engineering
    • /
    • 제2권2호
    • /
    • pp.130-135
    • /
    • 2021
  • Recently, deep neural networks (DNNs) are actively used for action control so that an autonomous system, such as the robot, can perform human-like behaviors and operations. Unlike recognition tasks, the real-time operation is essential in action control, and it is too slow to use remote learning on a server communicating through a network. New learning techniques, such as reinforcement learning (RL), are needed to determine and select the correct robot behavior locally. In this paper, we propose an energy-efficient DNN processor with a LUT-based processing engine and near-zero skipper. A CNN-based facial emotion recognition and an RNN-based emotional dialogue generation model is integrated for natural HRI system and tested with the proposed processor. It supports 1b to 16b variable weight bit precision with and 57.6% and 28.5% lower energy consumption than conventional MAC arithmetic units for 1b and 16b weight precision. Also, the near-zero skipper reduces 36% of MAC operation and consumes 28% lower energy consumption for facial emotion recognition tasks. Implemented in 65nm CMOS process, the proposed processor occupies 1784×1784 um2 areas and dissipates 0.28 mW and 34.4 mW at 1fps and 30fps facial emotion recognition tasks.

A Biological Fuzzy Multilayer Perceptron Algorithm

  • Kim, Kwang-Baek;Seo, Chang-Jin;Yang, Hwang-Kyu
    • Journal of information and communication convergence engineering
    • /
    • 제1권3호
    • /
    • pp.104-108
    • /
    • 2003
  • A biologically inspired fuzzy multilayer perceptron is proposed in this paper. The proposed algorithm is established under consideration of biological neuronal structure as well as fuzzy logic operation. We applied this suggested learning algorithm to benchmark problem in neural network such as exclusive OR and 3-bit parity, and to digit image recognition problems. For the comparison between the existing and proposed neural networks, the convergence speed is measured. The result of our simulation indicates that the convergence speed of the proposed learning algorithm is much faster than that of conventional backpropagation algorithm. Furthermore, in the image recognition task, the recognition rate of our learning algorithm is higher than of conventional backpropagation algorithm.

CNN-based Fast Split Mode Decision Algorithm for Versatile Video Coding (VVC) Inter Prediction

  • Yeo, Woon-Ha;Kim, Byung-Gyu
    • Journal of Multimedia Information System
    • /
    • 제8권3호
    • /
    • pp.147-158
    • /
    • 2021
  • Versatile Video Coding (VVC) is the latest video coding standard developed by Joint Video Exploration Team (JVET). In VVC, the quadtree plus multi-type tree (QT+MTT) structure of coding unit (CU) partition is adopted, and its computational complexity is considerably high due to the brute-force search for recursive rate-distortion (RD) optimization. In this paper, we aim to reduce the time complexity of inter-picture prediction mode since the inter prediction accounts for a large portion of the total encoding time. The problem can be defined as classifying the split mode of each CU. To classify the split mode effectively, a novel convolutional neural network (CNN) called multi-level tree (MLT-CNN) architecture is introduced. For boosting classification performance, we utilize additional information including inter-picture information while training the CNN. The overall algorithm including the MLT-CNN inference process is implemented on VVC Test Model (VTM) 11.0. The CUs of size 128×128 can be the inputs of the CNN. The sequences are encoded at the random access (RA) configuration with five QP values {22, 27, 32, 37, 42}. The experimental results show that the proposed algorithm can reduce the computational complexity by 11.53% on average, and 26.14% for the maximum with an average 1.01% of the increase in Bjøntegaard delta bit rate (BDBR). Especially, the proposed method shows higher performance on the sequences of the A and B classes, reducing 9.81%~26.14% of encoding time with 0.95%~3.28% of the BDBR increase.

Long Short-Term Memory Neural Network assisted Peak to Average Power Ratio Reduction for Underwater Acoustic Orthogonal Frequency Division Multiplexing Communication

  • Waleed, Raza;Xuefei, Ma;Houbing, Song;Amir, Ali;Habib, Zubairi;Kamal, Acharya
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권1호
    • /
    • pp.239-260
    • /
    • 2023
  • The underwater acoustic wireless communication networks are generally formed by the different autonomous underwater acoustic vehicles, and transceivers interconnected to the bottom of the ocean with battery deployed modems. Orthogonal frequency division multiplexing (OFDM) has become the most popular modulation technique in underwater acoustic communication due to its high data transmission and robustness over other symmetrical modulation techniques. To maintain the operability of underwater acoustic communication networks, the power consumption of battery-operated transceivers becomes a vital necessity to be minimized. The OFDM technology has a major lack of peak to average power ratio (PAPR) which results in the consumption of more power, creating non-linear distortion and increasing the bit error rate (BER). To overcome this situation, we have contributed our symmetry research into three dimensions. Firstly, we propose a machine learning-based underwater acoustic communication system through long short-term memory neural network (LSTM-NN). Secondly, the proposed LSTM-NN reduces the PAPR and makes the system reliable and efficient, which turns into a better performance of BER. Finally, the simulation and water tank experimental data results are executed which proves that the LSTM-NN is the best solution for mitigating the PAPR with non-linear distortion and complexity in the overall communication system.

Enhanced Fuzzy Single Layer Perceptron

  • Chae, Gyoo-Yong;Eom, Sang-Hee;Kim, Kwang-Baek
    • Journal of information and communication convergence engineering
    • /
    • 제2권1호
    • /
    • pp.36-39
    • /
    • 2004
  • In this paper, a method of improving the learning speed and convergence rate is proposed to exploit the advantages of artificial neural networks and neuro-fuzzy systems. This method is applied to the XOR problem, n bit parity problem, which is used as the benchmark in the field of pattern recognition. The method is also applied to the recognition of digital image for practical image application. As a result of experiment, it does not always guarantee convergence. However, the network showed considerable improvement in learning time and has a high convergence rate. The proposed network can be extended to any number of layers. When we consider only the case of the single layer, the networks had the capability of high speed during the learning process and rapid processing on huge images.

영상 품질 및 전송효율 최적화를 위한 심층신경망 기반 영상전송기법 (Video Transmission Technique based on Deep Neural Networks for Optimizing Image Quality and Transmission Efficiency)

  • 이종만;김기훈;박현;최증원;김경우;배성호
    • 방송공학회논문지
    • /
    • 제25권4호
    • /
    • pp.609-619
    • /
    • 2020
  • 고품질 비디오 스트리밍 요구에 따라 제한된 대역폭에서 높은 전송률이 필요하고, 트래픽 혼재 상황이 더 발생한다. 특히 실시간 영상 서비스를 제공 시 패킷 손실 및 비트 오류 확률이 더 크게 증가한다. 이러한 문제를 해결하기 위해 실시간 서비스 품질향상을 위한 방법으로 FEC 기술의 한 종류인 랩터 코드가 어플리케이션 영역에서 활발히 사용되고 있다. 본 논문에서는 랩터 코드를 활용하여 유사한 수준의 화질에서 전송 효율을 높이기 위한 다양한 심층 신경망(Deep Neural Network, DNN) 기반 영상전송 파라미터를 결정하는 방법을 제안한다. 제안된 신경망은 패킷 손실율(Packet Loss Rate), 비디오 인코딩 속도 및 전송속도를 입력으로 사용하고 랩터 FEC 파라미터와 패킷 크기를 출력으로 한다. 제안한 방법은 기존 멀티미디어 전송 기법과 유사한 수준의 PSNR(Peak Signal-to-Noise Ratio)에서 전송 효율을 최적화하여 평균 1.2% 높은 스루풋(throughput)을 보였다.

내부 트리거 발생회로를 이용한 고속의 디지털 Maximum Selector 회로의 설계 (Development of A High-Speed Digital Maximum Selector Circuit With Internal Trigger-Signal Generator)

  • 윤명철
    • 대한전자공학회논문지SD
    • /
    • 제48권2호
    • /
    • pp.55-60
    • /
    • 2011
  • 그동안 신경망칩의 설계에는 주로 아날로그 Maximum Selector (MS) 회로를 사용하였다. 그러나 집적도가 높아질수록 아날로그 MS회로는 신호의 해상도(Resolution)을 높이는데 어려움이 있다. 반면 디지털 MS 회로는 높은 해상도를 얻기는 쉬우나 속도가 느린 단점이 있었다. 본 논문에서는 신경망칩의 디지털화에 사용하기 위한 MSIT(Maximum Selector with Internal Trigger-Signal) 라는 고속의 디지털 MS회로를 개발하였다. MSIT는 제어신호 발생기를 내장하여 안정적인 동작을 확보하고, 불필요한 대기시간을 없애도록 이를 최적화 함으로써 높은 속도를 얻을 수 있다. 1.2V-$0.13{\mu}m$ 프로세스의 모델파라메터를 사용하여 32 개의 10 비트 데이터에 대하여 시뮬레이션을 수행한 결과 3.4ns의 응답시간을 얻을 수 있었다. 이는 동급의 해상도를 갖는 아날로그 MS회로 보다 훨씬 빠른 속도로써, MSIT와 같은 디지털 MS 회로가 아날로그 MS회로에 비하여 높은 해상도와 빠른 속도를 구현할 수 있음을 보여준다.

이종 디바이스 환경에 효과적인 신규 딥러닝 기반 프로파일링 부채널 분석 (Novel Deep Learning-Based Profiling Side-Channel Analysis on the Different-Device)

  • 우지은;한동국
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.987-995
    • /
    • 2022
  • 딥러닝 기반 프로파일링 부채널 분석은 사전에 소비전력과 같은 부채널 정보와 중간값과의 관계를 신경망이 학습한 뒤, 학습된 신경망을 이용하여 공격 파형의 비밀키를 찾아내는 기법이다. 최근에는 실제 부채널 분석 환경을 고려하기 위하여 교차 디바이스 환경에서의 분석 방안들이 제안되고 있다. 그러나 이러한 환경은 프로파일링 디바이스와 공격 디바이스의 칩이 다르면 공격 성능이 낮아지는 한계점이 존재한다. 따라서 본 논문에서는 공격자가 프로파일링 디바이스와 다른 칩을 가지는 공격 디바이스를 가지고 있는 환경을 이종 디바이스라고 정의하고, 이러한 환경을 고려한 분석 방안을 제안하고자 한다. 프로파일링 데이터와 공격 데이터에서 발생하는 도메인 차이를 줄이기 위해 비지도 도메인 적응을 사용하였다. 또한, 각 데이터의 특징을 잘 추출하기 위하여 여러 전처리 데이터와 원본 데이터를 학습하는 신경망 구조인 MCNN를 이용하였다. 이종 디바이스 환경을 구성하기 위해 8-bit 기반 프로세서 1개, 32-bit 기반 프로세서 5개를 이용하여 AES-128 전력 파형을 수집하였다. 제안한 방법론을 적용한 신경망과 적용하지 않은 신경망의 공격 성능을 비교했을 때, 제안한 방법론을 적용한 신경망의 최소 분석 파형 수가 최대 25배 이상 낮아졌다.

Hybrid Technique for Locating and Sizing of Renewable Energy Resources in Power System

  • Durairasan, M.;Kalaiselvan, A.;Sait, H. Habeebullah
    • Journal of Electrical Engineering and Technology
    • /
    • 제12권1호
    • /
    • pp.161-172
    • /
    • 2017
  • In the paper, a hybrid technique is proposed for detecting the location and capacity of distributed generation (DG) sources like wind and photovoltaic (PV) in power system. The novelty of the proposed method is the combined performance of both the Biography Based Optimization (BBO) and Particle Swarm Optimization (PSO) techniques. The mentioned techniques are the optimization techniques, which are used for optimizing the optimum location and capacity of the DG sources for radial distribution network. Initially, the Artificial Neural Network (ANN) is applied to obtain the available capacity of DG sources like wind and PV for 24 hours. The BBO algorithm requires radial distribution network voltage, real and power loss for determining the optimum location and capacity of the DG. Here, the BBO input parameters are classified into sub parameters and allowed as the PSO algorithm optimization process. The PSO synthesis the problem and develops the sub solution with the help of sub parameters. The BBO migration and mutation process is applied for the sub solution of PSO for identifying the optimum location and capacity of DG. For the analysis of the proposed method, the test case is considered. The IEEE standard bench mark 33 bus system is utilized for analyzing the effectiveness of the proposed method. Then the proposed technique is implemented in the MATLAB/simulink platform and the effectiveness is analyzed by comparing it with the BBO and PSO techniques. The comparison results demonstrate the superiority of the proposed approach and confirm its potential to solve the problem.