• Journal of Information Processing Systems
• /
• 제18권2호
• /
• pp.188-196
• /
• 2022

Recently, neural architecture search (NAS) has received increasing attention as it can replace human experts in designing the architecture of neural networks for different tasks and has achieved remarkable results in many challenging tasks. In this study, a path-based computation neural architecture encoder (PCE) was proposed. Our PCE first encodes the computation of information on each path in a neural network, and then aggregates the encodings on all paths together through an attention mechanism, simulating the process of information computation along paths in a neural network and encoding the computation on the neural network instead of the structure of the graph, which is more consistent with the computational properties of neural networks. We performed an extensive comparison with eight encoding methods on two commonly used NAS search spaces (NAS-Bench-101 and NAS-Bench-201), which included a comparison of the predictive capabilities of performance predictors and search capabilities based on two search strategies (reinforcement learning-based and Bayesian optimization-based) when equipped with different encoders. Experimental evaluation shows that PCE is an efficient encoding method that effectively ranks and predicts neural architecture performance, thereby improving the search efficiency of neural architectures.

• 센서학회지
• /
• 제30권5호
• /
• pp.290-294
• /
• 2021

Experts have designed popular and successful model architectures, which, however, were not the optimal option for different scenarios. Despite the remarkable performances achieved by deep neural networks, manually designed networks for classification tasks are the backbone of object detection. One major challenge is the ImageNet pre-training of the search space representation; moreover, the searched network incurs huge computational cost. Therefore, to overcome the obstacle of the pre-training process, we introduce a network adaptation technique using a pre-trained backbone model tested on ImageNet. The adaptation method can efficiently adapt the manually designed network on ImageNet to the new object-detection task. Neural architecture search (NAS) is adopted to adapt the architecture of the network. The adaptation is conducted on the MobileNetV2 network. The proposed NAS is tested using SSDLite detector. The results demonstrate increased performance compared to existing network architecture in terms of search cost, total number of adder arithmetics (Madds), and mean Average Precision(mAP). The total computational cost of the proposed NAS is much less than that of the State Of The Art (SOTA) NAS method.

• 방송공학회논문지
• /
• 제26권7호
• /
• pp.855-861
• /
• 2021

Neural Architecture Search (NAS) is cutting-edge technology in the machine learning community. NAS Without Training (NASWOT) recently has been proposed to tackle the high demand of computational resources in NAS by leveraging some indicators to predict the performance of architectures before training. The advantage of these indicators is that they do not require any training. Thus, NASWOT reduces the searching time and computational cost significantly. However, NASWOT only considers high-performing networks which does not guarantee a fast inference speed on hardware devices. In this paper, we propose a multi objectives reward function, which considers the network's latency and the predicted performance, and incorporate it into the Reinforcement Learning approach to search for the best networks with low latency. Unlike other methods, which use FLOPs to measure the latency that does not reflect the actual latency, we obtain the network's latency from the hardware NAS bench. We conduct extensive experiments on NAS-Bench-201 using CIFAR-10, CIFAR-100, and ImageNet-16-120 datasets, and show that the proposed method is capable of generating the best network under latency constrained without training subnetworks.

• 문화기술의 융합
• /
• 제9권1호
• /
• pp.649-654
• /
• 2023

본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.512-513
• /
• 2023

CNN 기반 Deep Learning 분야에서 객체 탐지 정확도를 높이기 위해 모델의 많은 Parameter 가 사용된다. 많은 Parameter 를 사용하게 되면 최소 하드웨어 성능 요구치가 상승하고 처리속도도 감소한다는 문제가 있어, 최소한의 정확도 하락으로 Parameter 를 줄이기 위한 여러 Pruning 기법이 사용된다. 본 연구에서는 Neural Architecture Search(NAS) 기반 Channel Pruning 인 Artificial Bee Colony(ABC) 알고리즘을 사용하였고, 기존 NAS 기반 Channel Pruning 논문들이 Classification Task 에서만 실험한 것과 달리 Object Detection Task 에서도 NAS 기반 Channel Pruning 을 적용하여 기존 Uniform Pruning 과 비교할 때 파라미터 수 대비 정확도가 개선됨을 확인하였다.

• 전자통신동향분석
• /
• 제34권4호
• /
• pp.32-42
• /
• 2019

The performance of machine learning algorithms significantly depends on how a configuration of hyperparameters is identified and how a neural network architecture is designed. However, this requires expert knowledge of relevant task domains and a prohibitive computation time. To optimize these two processes using minimal effort, many studies have investigated automated machine learning in recent years. This paper reviews the conventional random, grid, and Bayesian methods for hyperparameter optimization (HPO) and addresses its recent approaches, which speeds up the identification of the best set of hyperparameters. We further investigate existing neural architecture search (NAS) techniques based on evolutionary algorithms, reinforcement learning, and gradient derivatives and analyze their theoretical characteristics and performance results. Moreover, future research directions and challenges in HPO and NAS are described.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.221-223
• /
• 2021

본 논문에서는 손동작 데이터에서 추출한 데이터를 다변수 시계열 데이터 분류를 자동으로 찾는 NAS 모델에 적용하여 손동작 인식 모델을 찾는 방법을 제안한다. NAS를 통해 모델을 구하는 과정은 프로그래머의 시간과 노력을 절감시켜준다. 손동작 인식을 위해 DHG-14/28 데이터셋과 SHREC'17 Track 데이터셋에 논문에서 제안한 방법을 적용하여 손동작 인식 정확도가 기존의 모델보다 높은 손동작 인식률을 얻음을 실험을 통하여 확인하였다. 실험에서 DHG-14/28 데이터셋의 손동작 인식 정확도는 96.38%, 96.63%, SHREC'17 Track 데이터셋의 정확도는 96.88%, 96.57%를 얻었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.518-520
• /
• 2021

본 논문에서는 텍스트 분류에 사용된 textNAS를 다변수 시계열 데이터에 적용 가능하도록 수정하여 이를 통한 손동작 인식 방법을 제안한다. 이를 사용하면 다변수 시계열 데이터 분류를 통한 행동 인식, 감정 인식, 손동작 인식 등 다양한 분야에 적용 가능하다. 그리고 분류에 적합한 딥러닝 모델을 학습을 통해 자동으로 찾아줘 사용자의 부담을 덜어주며 높은 성능의 클래스 분류 정확도를 얻을 수 있다. 손동작 인식 데이터셋인 DHG-14/28과 Shrec'17 데이터셋에 제안한 방법을 적용하여 기존의 모델보다 높은 클래스 분류 정확도를 얻을 수 있었다. 분류 정확도는 DHG-14/28의 경우 98.72%, 98.16%, Shrec'17 14 class/28 class는 97.82%, 98.39%를 얻었다.

• 대한원격탐사학회지
• /
• 제37권5_1호
• /
• pp.1149-1161
• /
• 2021

컴퓨터 비전 기술이 위성영상에 적용되면서, 최근 들어 딥러닝 영상인식을 이용한 구름 탐지가 관심을 끌고 있다. 본연구에서는 SPARCS (Spatial Procedures for Automated Removal of Cloud and Shadow) Cloud Dataset과 영상자료증대 기법을 활용하여 U-Net 구름탐지 모델링을 수행하고, 10폴드 교차검증을 통해 객관적인 정확도 평가를 수행하였다. 512×512 화소로 구성된 1800장의 학습자료에 대한 암맹평가 결과, Accuracy 0.821, Precision 0.847, Recall 0.821, F1-score 0.831, IoU (Intersection over Union) 0.723의 비교적 높은 정확도를 나타냈다. 그러나 구름그림자 중 14.5%, 구름 중 19.7% 정도가 땅으로 잘못 예측되기도 했는데, 이는 학습자료의 양과 질을 보다 더 향상시킴으로써 개선 가능할 것으로 보인다. 또한 최근 각광받고 있는 DeepLab V3+ 모델이나 NAS(Neural Architecture Search) 최적화 기법을 통해 차세대중형위성 1, 2, 4호 등의 구름탐지에 활용 가능할 것으로 기대한다.