• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.89-100
• /
• 2023

Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.

• 방송공학회논문지
• /
• 제19권6호
• /
• pp.942-956
• /
• 2014

본 논문은 단안의 RGB 카메라를 이용하는 실시간 손 추적 방법을 제안한다. 손은 높은 degrees of freedom을 가지고 있기 때문에 손 추적은 높은 모호성을 가지고 있다. 따라서 제안하는 방법에서는 손 추적의 모호성을 줄이기 위해서 단계별 손 추적 전략을 채택하였다. 제안하는 방법의 추적 과정은 손바닥 포즈 추적, 손가락 yaw 움직임 추적, 그리고 손가락 pitch 움직임 추적, 세 단계로 구성되어 있으며, 각 단계는 순서대로 수행된다. 제안하는 방법은 손은 평면으로 간주할 수 있다고 가정하고, 평면 손 모델을 이용한다. 평면 손 모델은 손 모델을 현재의 사용자 손 모양에 맞춰서 변경하는 손 모델 재생성을 가능하게 하는데, 이는 제안하는 방법의 강건성과 정확도를 증가시킨다. 그리고 제안하는 방법은 실시간 연산이 가능하고 GPU 기반 연산을 요구하지 않기 때문에, Google Glass와 같은 모바일 장비를 포함한 다양한 환경에 적용가능하다. 본 논문은 다양한 실험을 통해서 제안하는 방법의 성능과 효용성을 입증한다.

• 한국멀티미디어학회논문지
• /
• 제13권2호
• /
• pp.298-307
• /
• 2010

게임이나 실시간 시뮬레이션 시스템과 같은 분야에서 잔디는 광범위한 지표면을 구성하는 중요한 요소 중 하나이다. 실제 넓은 지형에 자라나는 많은 수의 잔디를 효율적으로 렌더링 하는 작업은 결코 쉬운 일이 아니다. 이러한 문제를 해결하려면 모델의 질과 계산 비용 절약의 두 가지 문제에 늘 직면하게 된다. 본 논문에서는 이러한 두 가지 문제를 해결하기 위한 방안으로 프랙탈 이론과 인스턴싱 기법을 도입하여 자연스러운 잔디의 효율적인 표현 방법을 제안한다. 기존의 잔디 표현의 경우 동일한 모델을 반복적으로 적용하였지만 본 연구에서는 프랙탈의 자기 유사성의 기본 이론을 활용하되 지형의 성질과 빛의 양을 인자로 도입하여 조건에 맞는 다양한 잔디의 자연스러운 표현 방법을 설계하고 또한 많은 수의 잔디 모델을 실시간으로 렌더링하기 위하여 GPU를 활용한 셰이더 인스턴싱 기법을 적용한다.

• 한국인터넷방송통신학회논문지
• /
• 제19권3호
• /
• pp.165-171
• /
• 2019

컴퓨터 구조의 연구 결과, 특정 영역의 하드웨어를 개발하는 과정에서 가격 대 에너지 성능의 획기적인 개선이 이뤄진다고 알려져 있다. 본 논문은 인공신경망(NN)의 추론을 가속화시킬 수 있는 텐서 처리부(TPU) ASIC에 대한 분석을 수행하였다. 텐서 처리부의 핵심장치는 고속의 연산이 가능한 MAC 행렬곱셈기와 소프트웨어로 관리되는 온칩 메모리이다. 텐서 처리부의 실행모델은 기존의 CPU와 GPU의 실행모델보다 인공신경망의 반응시간 요구사항을 제대로 충족시킬 수 있으며, 수많은 MAC과 큰 메모리를 장착함에도 불구하고 면적이 작고 전력 소비가 낮다. 텐서플로우 벤치마크 프레임워크에 대하여 텐서 처리부를 활용함으로써, CPU 또는 GPU보다 높은 성능과 전력 효율을 나타낼 수가 있다. 본 논문에서는 텐서 처리부를 분석하고, 파이썬을 이용하여 모델링한 OpenTPU에 대하여 모의실행을 하였으며, 그 핵심장치인 행렬 곱셈부에 대한 합성을 시행하였다.

• 말소리와 음성과학
• /
• 제13권3호
• /
• pp.71-78
• /
• 2021

인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스 환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다.

• 한국게임학회 논문지
• /
• 제20권4호
• /
• pp.77-88
• /
• 2020

최근 클라우드 기반 게이밍에서 게임 스트리밍에 대한 관심이 높다. 게임 스트리밍에서는 원격지의 게임 서버가 그래픽 렌더링 작업을 수행하고 렌더링 결과물인 씬 이미지들을 플레이어 장치에 인터넷을 통해 스트리밍하게 된다. 우리는 다중 게임 서버 기반의 게임 스트리밍 환경에서, 서버간의 GPU 부하 균등을 위한 CSA (Client-Server Allocation) 문제를 최적화 문제로 모델링하고, 그 해를 구하는 시뮬레이티드 어닐링 기반 방법을 제안한다. 우리 방법의 특징은, 네트워크 지연에 대한 제약을 고려한 것과, 필요시 신규 게임 세션의 프레임 레이트를 자동으로 하향 조절하는 기능을 지원하는 것이다.

• Nuclear Engineering and Technology
• /
• 제53권10호
• /
• pp.3264-3274
• /
• 2021

In a severe accident of light water reactor (LWR), molten core material (corium) can be released into the wet cavity, and a fuel-coolant interaction (FCI) can occur. The molten jet with high speed is broken and fragmented into small debris, which may cause a steam explosion or a molten core concrete interaction (MCCI). Since the premixing stage where the jet breakup occurs has a large impact on the severe accident progression, the understanding and evaluation of the jet breakup phenomenon are highly important. Therefore, in this study, the jet breakup simulations were performed using the Smoothed Particle Hydrodynamics (SPH) method which is a particle-based Lagrangian numerical method. For the multi-fluid system, the normalized density approach and improved surface tension model (CSF) were applied to the in-house SPH code (single GPU-based SOPHIA code) to improve the calculation accuracy at the interface of fluids. The jet breakup simulations were conducted in two cases: (1) jet breakup without structures, and (2) jet breakup with structures (control rod guide tubes). The penetration depth of the jet and jet breakup length were compared with those of the reference experiments, and these SPH simulation results are qualitatively and quantitatively consistent with the experiments.

• 스마트미디어저널
• /
• 제11권3호
• /
• pp.18-25
• /
• 2022

뉴로모픽 컴퓨팅은 일반적으로 CPU와 GPU를 이용하여 신경망 연산을 하는 것보다 전력, 면적, 속도 측면에서 매우 뛰어난 성능을 보여준다. 이러한 특성은 에너지 사용량이 중요시되는 자원 제약적인 IoT 환경에 매우 적합하다. 하지만 뉴로모픽 컴퓨팅을 지원하는 이기종 IoT 기기에 따라 환경설정 및 응용 프로그램 동작을 위한 소스코드의 수정이 필요하다는 문제점을 가지고 있다. 이러한 문제점을 해결하고자 본 논문에서는 NAAL을 제안하고 구현하였다. NAAL은 공통의 API를 기반으로 다양한 이기종 IoT 기기 환경에서 IoT 기기의 제어와 뉴로모픽 아키텍처의 추상화 및 추론 모델 동작에 필요한 기능을 제공한다. NAAL은 향후 새로운 이기종 IoT 기기 및 뉴로모픽 아키텍처와 컴퓨팅 장치의 추가적인 지원이 가능하다는 장점을 가진다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.723-726
• /
• 2021

현재 단일 이미지에서 Object Detection 성능은 매우 좋은 편이다. 하지만 동영상에서는 처리 속도가 너무 느리고 임베디드 시스템에서는 real-time이 힘든 상황이다. 연구 논문에서는 하이엔드 GPU에서 다른 기능 없이 YOLO만 구동했을 때 real-time이 가능하다고 하지만 실제 사용자들은 상대적으로 낮은 사양의 GPU를 사용하거나 CPU를 사용하기 때문에 일반적으로는 자연스러운 real-time을 하기가 힘들다. 본 논문에서는 이러한 제한점을 해결하고자 계산량이 많은 Object Detection model 사용을 줄이는 방안은 제시하였다. 현재 Video영상에서 Object Detection을 수행할 때 매 frame마다 YOLO모델을 구동하는 것에서 YOLO 사용을 줄임으로써 계산 효율을 높였다. 본 논문의 알고리즘은 카메라가 움직이거나 배경이 바뀌는 상황에서도 사용이 가능하다. 속도는 최소2배에서 ~10배이상까지 개선되었다.

• 반도체디스플레이기술학회지
• /
• 제22권2호
• /
• pp.128-132
• /
• 2023

Recently, with the development of deep learning technology, research on pedestrian attribute recognition technology using deep neural networks has been actively conducted. Existing pedestrian attribute recognition techniques can be obtained in such a way as global-based, regional-area-based, visual attention-based, sequential prediction-based, and newly designed loss function-based, depending on how pedestrian attributes are detected. It is known that the performance of these pedestrian attribute recognition technologies varies greatly depending on the type of backbone network that constitutes the deep neural networks model. Therefore, in this paper, several backbone networks are applied to the baseline pedestrian attribute recognition model and the performance changes of the model are analyzed. In this paper, the analysis is conducted using Resnet34, Resnet50, Resnet101, Swin-tiny, and Swinv2-tiny, which are representative backbone networks used in the fields of image classification, object detection, etc. Furthermore, this paper analyzes the change in time complexity when inferencing each backbone network using a CPU and a GPU.