• 사물인터넷융복합논문지
• /
• 제9권1호
• /
• pp.9-17
• /
• 2023

많은 연산량을 가진 딥러닝은 초소형 IoT 장치나 모바일 장치에 구현하기가 어렵다. 최근에는 이러한 장치에서도 딥러닝을 구현할 수 있도록 모델의 연산량을 줄이는 딥러닝 경량화 기술이 소개되었다. 양자화는 연속적인 분포를 가지는 파라미터 값들을 고정된 비트의 이산 값으로 표현하여 모델의 메모리 및 크기 등을 줄여 효율적으로 사용할 수 있는 경량화 기법이다. 그러나 양자화로 인한 이산 값 표현으로 인해 모델의 정확도가 낮아지게 된다. 본 논문에서는 정확도를 개선할 수 있는 다양한 양자화 기술을 소개한다. 먼저 기존 양자화 기술 중 APoT와 EWGS를 선택하여 동일한 환경에서 실험을 통해 결과를 비교 분석하였다. 선택된 기술은 ResNet모델에서 CIFAR-10 또는 CIFAR-100 데이터 세트로 훈련되고 테스트 되었다. 실험 결과 분석을 통해 기존 양자화 기술의 문제점을 파악하고 향후 연구에 대한 방향성을 제시하였다.

• 스마트미디어저널
• /
• 제13권6호
• /
• pp.90-97
• /
• 2024

This paper focuses on detecting Alzheimer's Disease (AD). The most usual form of dementia is Alzheimer's disease, which causes permanent cause memory cell damage. Alzheimer's disease, a neurodegenerative disease, increases slowly over time. For this matter, early detection of Alzheimer's disease is important. The purpose of this work is using Magnetic Resonance Imaging (MRI) to diagnose AD. A Convolution Neural Network (CNN) model, Reset, and VGG the pre-trained learning models are used. Performing analysis and validation of layers affects the effectiveness of the model. T1-weighted MRI images are taken for preprocessing from ADNI. The Dataset images are taken from the Alzheimer's Disease Neuroimaging Initiative (ADNI). 3D MRI scans into 2D image slices shows the optimization method in the training process while achieving 96% and 94% accuracy in VGG 16 and ResNet 18 respectively. This study aims to classify AD from brain 3D MRI images and obtain better results.

• 한국콘텐츠학회논문지
• /
• 제5권5호
• /
• pp.33-42
• /
• 2005

본 논문에서는 ART 신경회로망의 성능을 개선하기 위해, 불필요한 클러스터의 생성과 변화를 억제하여 효율적인 패턴 분류가 가능하도록 하는 학습 알고리즘을 제안한다. 또한, 패턴 분류의 정확성을 향상시키기 위해 한글의 구조적 특징을 이용한 위치추출 알고리즘을 적용하였다. 제안하는 학습 알고리즘은 현재 학습되는 패턴과 최초 패턴간의 일치도를 비교한 후 리세트 시스템을 작동케 한다. 그 결과, 신경회로 망은 이미 입력되었던 패턴이 다시 입력되어도 새로운 클러스터의 생성을 방지하여 오인식율을 줄이게 된다.

• 로봇학회논문지
• /
• 제17권2호
• /
• pp.133-141
• /
• 2022

This paper introduces model compression algorithms which make a deep neural network smaller and faster for embedded systems. The model compression algorithms can be largely categorized into pruning, quantization and knowledge distillation. In this study, gradual pruning, quantization aware training, and knowledge distillation which learns the activation boundary in the hidden layer of the teacher neural network are integrated. As a large deep neural network is compressed and accelerated by these algorithms, embedded computing boards can run the deep neural network much faster with less memory usage while preserving the reasonable accuracy. To evaluate the performance of the compressed neural networks, we evaluate the size, latency and accuracy of the deep neural network, DenseNet201, for image classification with CIFAR-10 dataset on the NVIDIA Jetson Xavier.

• 대한임베디드공학회논문지
• /
• 제16권5호
• /
• pp.179-186
• /
• 2021

For stereo matching based on deep learning, the design of network structure is crucial to the calculation of matching cost, and the time-consuming problem of convolutional neural network in image processing also needs to be solved urgently. In this paper, a method of stereo matching using sparse loss volume in parallax dimension is proposed. A sparse 3D loss volume is constructed by using a wide step length translation of the right view feature map, which reduces the video memory and computing resources required by the 3D convolution module by several times. In order to improve the accuracy of the algorithm, the nonlinear up-sampling of the matching loss in the parallax dimension is carried out by using the method of multi-category output, and the training model is combined with two kinds of loss functions. Compared with the benchmark algorithm, the proposed algorithm not only improves the accuracy but also shortens the running time by about 30%.

• 한국지능시스템학회논문지
• /
• 제14권3호
• /
• pp.290-297
• /
• 2004

운반차-막대 시스템을 위한 제어 법칙들의 계략을 관찰하여, 운반차-막대 시스템의 상태 벡터와 제어 법칙의 출력 사이에 우함수적인 대칭성이 내재하는 것을 규명하였다. 제어 법칙을 look-up table에 구현하는데 있어서 상태 변수들의 양자화와 제어 법칙의 학습에 대칭성을 반영하는 문제를 토의하고, CMAC이 대칭성을 반영하여 운반차-막대 시스템의 비선형 제어 법칙을 학습한 결과를 관찰하였다. 대칭성을 반영함으로써 look-up table에 제어 법칙이 구현되는 학습 기간이 단축되고 소요되는 메모리 량을 크게 줄일 수 있으면서도, 시스템의 상태와 제어 법칙 사이의 대칭성이 보존되는 학습 성능의 개선을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제19권1호
• /
• pp.149-156
• /
• 2014

중첩형 일반화 사례 (NGE, Nested Generalized Exemplar) 기법은 거리 기반 분류를 최적 일치 규칙으로 사용하며, 노이즈에 대한 내구력을 증가시켜 주는 동시에 모델 크기를 감소시키는 장점이 있다. NGE 학습 중 생성된 교차(cross)나 중첩(overlap) 현상은 분류성능을 저해하는 요인으로 작용한다. 따라서 본 논문은 NGE 학습 중 생성된 교차나 중첩 현상이 발생한 초월 평면에대해 상호정보가 가장 큰 구간을 분리하여, 새로운 초월평면을 구성하게 하여, 분류성능 향상시키고 초월평면의 개수를 감소시키는 기법인 DHGen(Dominant Hyperrectangle Generation) 알고리즘을 제안하였다. 제안한 DHGen은 분류성능면에서 kNN과 유사하고 NGE이론으로 구현한 EACH보다 우수함을 UCI Machine Learning Repository에서 벤치마크데이터를 발췌한 실험자료로 입증하였다.

• 한국정보처리학회논문지
• /
• 제6권4호
• /
• pp.988-998
• /
• 1999

본 논문에서는 LVQ(Learning vector Quantization)을 이용하여 퍼지 규칙의 수를 줄이는 방안을 제안하였다. 훈련 패턴이 많이지면 퍼지 규칙 수가 증가하게 되어 많은 기억용량과 많은 분류시간이 요구된다. 따라서 이러한 문제를 해결하기 위해서는 퍼지규칙의 수를 줄일 수 있는 방법이 강구되어야 한다. 그러나, 퍼지 규칙의 수가 줄어듦으로써 발생하는 성능의 하락을 최소화하기 위하여 양질의 초기 참조 패턴으로 훈련 한 후에, 퍼지 규칙을 생성한다. 시뮬레이션을 통해서 제안된 방법이 매우 효과적임을 알 수 있었다.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.177-189
• /
• 2023

Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.

• 마이크로전자및패키징학회지
• /
• 제30권4호
• /
• pp.69-78
• /
• 2023

산업 인공지능의 발달과 함께 반도체의 수요가 크게 증가하고 있다. 시장 수요에 대응하기 위해 패키징 공정에서 자동 결함 검출의 중요성 역시 증가하고 있다. 이에 따라, 패키지의 자동 불량 검사를 위한 딥러닝 기반의 방법론들의 연구가 활발히 이루어 지고 있다. 딥러닝 기반의 모델은 학습을 위해서 대량의 고해상도 데이터를 필요로 하나, 보안이 중요한 반도체 분야의 특성상 관련 데이터의 공유 및 레이블링이 쉽지 않아 모델의 학습이 어려운 한계를 지니고 있다. 또한 고해상도 이미지를 생성하기 위해 상당한 컴퓨팅 자원이 요구되는데, 본 연구에서는 분할정복 접근법을 통해 적은 컴퓨팅 자원으로 딥러닝 모델 학습을 위한 충분한 양의 데이터를 확보하는 방법을 소개한다. 제안된 방법은 높은 해상도의 이미지를 분할하고 각 영역에 조건 레이블을 부여한 후, 독립적인 부분 영역과 경계를 학습시켜, 경계 손실이 일관적인 이미지를 생성하도록 유도한다. 이후, 분할된 이미지를 하나로 통합하여, 최종적으로 모델이 고해상도의 이미지를 생성하도록 구성하였다. 실험 결과, 본 연구를 통해 증강된 이미지들은 높은 효율성, 일관성, 품질 및 범용성을 보였다.