• Broadcasting and Media Magazine
• /
• v.25 no.2
• /
• pp.52-60
• /
• 2020

최근 생체 정보를 이용한 사용자 인증 기술이 발전하면서 이를 모바일 기기에 적용하는 사례가 크게 증가하고 있다. 특히, 얼굴 기반 인증 방식은 비접촉식이며 사용이 편리하여 적용 범위가 점점 확대되고 있는 추세이다. 그러나, 사용자의 얼굴 사진이나 동영상 등을 이용한 위변조가 용이하기 때문에 모바일 기기 내 보안 유지에 어려움을 야기한다. 본 고에서는 이러한 문제를 해결하기 위해 최근 활발히 연구되고 있는 심층신경망 기반 얼굴 위변조 검출 연구의 최신 동향을 소개하고자 한다. 먼저, 기본 합성곱 신경망 구조부터 생성모델 기반의 위변조 검출 방법까지 다양한 신경망 구조를 이용한 위변조 검출 방법에 대해 설명한다. 또한, 심층신경망 학습을 위해 사용되는 얼굴 위변조 데이터셋에 대해서도 간략히 살펴보고자 한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.457-460
• /
• 2023

본 연구는 시설작물의 병충해 진단을 위해 딥러닝 모델을 응용한 인공지능 서비스 앱, Dr. Vegetable을 제안하고자 한다. 농업 현장에서 숙련된 농부는 한눈에 농작물의 병충해를 판단할 수 있지만 미숙련된 농부는 병충해 피해를 발견하더라도 그 종류와 해결 방법을 찾아내기가 매우 어렵다. 또한 아무리 숙련된 농부라고 할지라도 육안검사만으로 병충해를 조기에 발견하는 것은 쉽지 않다. 한편 시설작물의 경우 병충해에 의한 연쇄피해가 발생할 우려가 있으므로 병충해의 조기 발견 및 방제가 매우 중요하다. 즉, 농부의 경험에 따른 농작물 병해충 진단은 정확성을 장담할 수 없으며 비용과 시간적인 측면에서 위험성이 높다고 할 수 있다. 본 논문에서는 YOLOv5를 활용하여 상추, 고추, 토마토 등 농작물의 병충해를 진단하는 인공지능 서비스를 제안한다. 특히 한국지능정보사회진흥원이 운영하고 있는 AI 통합 플랫폼인 AI 허브에서 제공하는 노지 작물 질병 및 해충 진단 이미지를 사용하여 딥러닝 모델을 학습하였다. 본 연구를 통해 개발된 모바일 어플리케이션을 이용하여 실제 시설농장에서 병충해 진단 서비스를 적용한 결과 약 86%의 정확도, F1 Score 0.84, 그리고 0.98의 mAP 값을 얻을 수 있었다. 본 연구에서 개발한 병충해 진단 딥러닝 모델을 다양한 조도에서 강인하게 동작하도록 개선한다면 농업 현장에서 널리 활용될 수 있을 것으로 기대한다.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.6
• /
• pp.301-307
• /
• 2023

Deep learning requires building a deep neural network, collecting a large amount of training data, and then training the built neural network for a long time. If training does not proceed properly or overfitting occurs, training will fail. When using deep learning tools that have been developed so far, it takes a lot of time to collect training data and learn. However, due to the rapid advent of the mobile environment and the increase in sensor data, the demand for real-time deep learning technology that can dramatically reduce the time required for neural network learning is rapidly increasing. In this study, a real-time deep learning system was implemented using an Arduino system equipped with a fine dust sensor. In the implemented system, fine dust data is measured every 30 seconds, and when up to 120 are accumulated, learning is performed using the previously accumulated data and the newly accumulated data as a dataset. The neural network for learning was composed of one input layer, one hidden layer, and one output. To evaluate the performance of the implemented system, learning time and root mean square error (RMSE) were measured. As a result of the experiment, the average learning error was 0.04053796, and the average learning time of one epoch was about 3,447 seconds.

• Journal of Broadcast Engineering
• /
• v.27 no.3
• /
• pp.341-350
• /
• 2022

In this paper, we propose a deep learning based on-device augmented reality (AR) system in which multiple input images are used to implement the correct occlusion in a real environment. The proposed system is composed of three technical steps; camera pose estimation, depth estimation, and object augmentation. Each step employs various mobile frameworks to optimize the processing on the on-device environment. Firstly, in the camera pose estimation stage, the massive computation involved in feature extraction is parallelized using OpenCL which is the GPU parallelization framework. Next, in depth estimation, monocular and multiple image-based depth image inference is accelerated using the mobile deep learning framework, i.e. TensorFlow Lite. Finally, object augmentation and occlusion handling are performed on the OpenGL ES mobile graphics framework. The proposed augmented reality system is implemented as an application in the Android environment. We evaluate the performance of the proposed system in terms of augmentation accuracy and the processing time in the mobile as well as PC environments.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1322-1324
• /
• 2022

최근 딥러닝의 발전에 따라 단일 이미지 초해상도 분야에 좋은 성과를 보여주고 있다. 그러나 보다 더 높은 성능을 획득하기 위해 네트워크의 깊이 및 파라미터의 수가 크게 증가하였고, 모바일 및 엣지 디바이스에 원활하게 적용되기 위하여 딥러닝 모델 경량화의 필요성이 대두되고 있다. 이에 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 대조 학습 기반 지식 전이를 적용한 경량화 기법을 제안한다. 실험 결과 제안한 지식 전이 기법이 기존의 다른 지식 증류 기법보다 향상된 성능을 보임을 확인하였다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.24 no.4
• /
• pp.77-82
• /
• 2024

Recent advancements in artificial intelligence (AI) technology have led to an increase in the implementation of AI applications in mobile environments. However, due to the limited resources in mobile devices compared to desktops and servers, there is growing interest in research aimed at efficiently executing AI workloads on mobile platforms. While most studies focus on offloading to edge or cloud solutions to mitigate computing resource constraints, research on the characteristics of file I/O related to storage access in mobile settings remains underexplored. This paper analyzes file I/O traces generated during the execution of deep learning applications in mobile environments and investigates how they differ from traditional mobile workloads. We anticipate that the findings of this study will be utilized to design future smartphone system software more efficiently, considering the file access characteristics of deep learning.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.165-166
• /
• 2022

본 논문에서는 웹툰 플랫폼 서비스를 위한 모바일 엣지 컴퓨팅의 구조를 제안한다. 웹툰과 같이 모바일 디바이스에서 실행되는 데이터들을 클라우드 서버로 오프로드하거나 원격 서버로부터 필요한 응용프로그램들을 다운로드 받지 않고, 모바일과 가까운 곳에 캐싱 콘텐츠를 전개함으로써 전송 지연없는 서비스를 보장받으며, 데이터가 발생한 근접 지역에서 데이터 분석 및 처리가 가능하므로 딥러닝을 적용한 새로운 서비스 카테고리로 확장할 수 있음을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.647-648
• /
• 2019

눈의 개폐 검출은 졸음 운전 감지, 온라인 강의에서 수강자 모니터링, 인간 컴퓨터 상호작용(HCI) 등에 적용될 수 있다. 최근에는 모바일 장치에 적용 가능한 효율적인 기법들이 연구되고 있으며 객체 검출 기법과 결합하여 좋은 결과를 보여주고 있다. 본 논문에서는 임베디드 환경에서 적용할 수 있는 가볍고 빠른 딥러닝 방법을 살펴보고, 눈 개폐 검출에 적용하는 방법에 대해 검토한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.24 no.11
• /
• pp.1403-1410
• /
• 2020

Recently, as interest in non-face-to-face experiences and services increases, the demand for web video contents that can be easily consumed using mobile devices such as smartphones or tablets is rapidly increasing. To cope with these requirements, in this paper we propose a technique to efficiently produce video contents that can provide experience of visiting famous places (i.e., stage tour) in animation or movies. To this end, an image dataset was established by collecting images of stage areas using Google Maps and Google Street View APIs. Afterwards, a deep learning-based style transfer method to apply the unique style of animation videos to the collected street view images and generate the video contents from the style-transferred images was presented. Finally, we showed that the proposed method could produce more interesting stage-tour video contents through various experiments.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.7
• /
• pp.29-36
• /
• 2021

In this paper, we classify ECG signal data for mobile devices using deep learning models. To classify abnormal heartbeats with high accuracy, three factors of the deep learning model are selected, and the classification accuracy is compared according to the changes in the conditions of the factors. We apply a CNN model that can self-extract features of ECG data and compare the performance of a total of 48 combinations by combining conditions of the depth of model, optimization method, and activation functions that compose the model. Deriving the combination of conditions with the highest accuracy, we obtained the highest classification accuracy of 97.88% when we applied 19 convolutional layers, an optimization method SGD, and an activation function Mish. In this experiment, we confirmed the suitability of feature extraction and abnormal beat detection of 1-channel ECG signals using CNN.