• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제6권3호
• /
• pp.159-168
• /
• 2017

스마트폰 사용자가 증가하고 스마트폰이 다양한 서비스와 함께 일상생활에서 널리 사용됨에 따라 스마트폰 사용자를 노리는 악성코드 또한 증가하고 있다. 안드로이드는 2012년 이후로 가장 많이 사용되고 있는 스마트폰 운영체제이지만, 안드로이드 마켓의 개방성으로 인해 수많은 악성 앱이 마켓에 존재하며 사용자에게 위협이 되고 있다. 현재 대부분의 안드로이드 악성 앱 탐지 프로그램이 사용하는 규칙 기반의 탐지 방법은 쉽게 우회가 가능할 뿐만 아니라, 새로운 악성 앱에 대해서는 대응이 어렵다는 문제가 존재한다. 본 논문에서는 앱의 정적 분석과 딥러닝을 결합하여 스마트폰에서 직접 악성 앱을 탐지할 수 있는 방법을 제안한다. 수집한 6,120개의 악성 앱과 7,000개의 정상 앱 데이터 셋을 가지고 제안하는 방법을 평가한 결과 98.05%의 정확도로 악성 앱과 정상 앱을 분류하였고, 학습하지 않은 악성 앱 패밀리의 탐지에서도 좋은 성능을 보였으며, 스마트폰 환경에서 평균 10초 내외로 분석을 수행하였다.

• 전기전자학회논문지
• /
• 제26권3호
• /
• pp.364-372
• /
• 2022

본 논문에서는 FMCW(frequency modulated continuous wave) 레이다 센서를 활용한 사람과 사물을 분류하는 시스템 설계 및 구현 결과를 제시한다. 해당 시스템은 다중 객체 탐지를 위한 레이다 센서 신호처리 과정과 객체를 사람 및 사물로 분류하는 딥러닝 과정을 수행한다. 딥러닝의 경우 높은 연산량과 많은 양의 메모리를 요구하기 때문에 경량화가 필수적이다. 따라서 CNN (convolution neural network) 연산을 이진화하여 동작하는 BNN (binary neural network) 구조를 적용하였으며, 실시간 동작을 위해 하드웨어 가속기를 설계하고 FPGA 보드 상에서 구현 및 검증하였다. 성능 평가 및 검증 결과 90.5%의 다중 객체 구분 정확도, CNN 대비 96.87% 감소된 메모리 구현이 가능하며, 총 수행 시간은 5ms로 실시간 동작이 가능함을 확인하였다.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1330-1339
• /
• 2022

3D 물체검출은 대체로 자동차, 버스, 사람, 가구 등과 같은 비교적 크기가 큰 데이터를 검출하는 것을 목표로 두어 작은 객체 검출에는 취약하다. 또한, 임베디드 기기와 같은 자원이 제한적인 환경에서는 방대한 연산량 때문에 모델의 적용이 어렵다. 본 논문에서는 1개의 레이어만을 사용하여 로컬 특징에 중점을 두어 작은 객체 검출의 정확도를 높였으며, 제안한 사전 학습된 큰 네트워크에서 작은 네트워크로의 지식 증류법과 파라미터 크기에 따른 적응적 양자화를 통해 추론 속도를 향상시켰다. 제안 모델은 SUN RGB-D Val 와 자체 제작한 모형 사과나무 데이터 셋을 이용하여 성능을 평가하였고 최종적으로 mAP@0.25에서 62.04%, mAP@0.5에서 47.1%의 정확도 성능을 보였으며, 추론 속도는 120.5 scenes per sec로 빠른 실시간 처리속도를 보였다.

• 스마트미디어저널
• /
• 제12권3호
• /
• pp.49-59
• /
• 2023

차세대 무선 통신기술로 알려져 있는 Optical Camera Communication(OCC)은 많은 연구가 진행 되고 있다. 이러한 OCC 기술은 통신 환경에 의해 성능이 좌우되며 이를 개선하기 위해 다양한 전략이 연구되고 있다. 그중 가장 두각을 나타내고 있는 방법은 딥러닝 기술을 사용하여 OCC의 수신기에 CNN을 적용하는 방법이다. 하지만 대부분의 연구에서는 CNN을 단순히 송신기를 검출하는데 사용하고 있다. 본 논문에서는 CNN을 송신기 검출 뿐만 아니라 Rx 복조 시스템에 적용하여 실험한다. 그리고 OCC 시스템의 데이터 이미지는 다른 이미지 데이터셋과는 다르게 비교적 분류가 간단하기 때문에 대부분의 CNN 모델에서 높은 정확도의 결과가 나타날 것이라는 가설을 세웠다. 가설을 증명하기 위해 OCC 시스템을 설계 및 구현하여 데이터를 수집하였고 12가지의 다양한 CNN 모델에 적용하여 실험했다. 실험 결과 파라미터수가 많은 고성능의 CNN 모델 뿐만 아니라 경량화 CNN 모델에서도 99% 이상의 정확도를 달성하였고 이를 통해 스마트폰과 같은 저성능 계산 장치에 OCC 시스템 적용이 가능함을 확인했다.

• 지능정보연구
• /
• 제29권1호
• /
• pp.249-263
• /
• 2023

대표적인 추천 시스템 방법론인 협업 필터링(Collaborative Filtering)에는 이웃기반 방법(Neighbor Methods)과 잠재 요인 모델(Latent Factor model)이라는 두 가지 접근법이 있다. 이중 행렬 분해(Matrix Factorization)를 이용하는 잠재 요인 모델은 사용자-아이템 상호작용 행렬을 두 개의 보다 낮은 차원의 직사각형 행렬로 분해하고 이들의 행렬 곱으로 아이템의 평점(Rating)을 예측한다. 평점 패턴으로부터 추출된 요인 벡터들을 통해 사용자와 아이템 속성을 포착할 수 있기 때문에 확장성, 정확도, 유연성 측면에서 이웃기반 방법보다 우수하다고 알려져 있다. 하지만 평점이 지정되지 않은 아이템에 대해서는 선호도가 다른 개개인의 다양성을 반영하지 못하는 근본적인 한계가 있고 이는 반복적이고 부정확한 추천을 초래하게 된다. 이러한 잠재요인 모델의 한계를 개선하고자 각각의 아이템 별로 사용자의 선호도를 적응적으로 학습하는 적응 심층 잠재요인 모형(Adaptive Deep Latent Factor Model; ADLFM)이 등장하였다. ADLFM은 아이템의 특징을 설명하는 텍스트인 아이템 설명(Item Description)을 입력으로 받아 사용자와 아이템의 잠재 벡터를 구하고 어텐션 스코어(Attention Score)를 활용하여 개인의 다양성을 반영할 수 있는 방법을 제시한다. 하지만 아이템 설명을 포함하는 데이터 셋을 요구하기 때문에 이 방법을 적용할 수 있는 대상이 많지 않은 즉 일반화에 있어 한계가 있다. 본 연구에서는 아이템 설명 대신 추천시스템에서 보편적으로 사용하는 아이템 ID를 입력으로 하고 Self-Attention, Multi-head attention, Multi-Conv1d 등 보다 개선된 딥러닝 모델 구조를 적용함으로써 ADLFM의 한계를 개선할 수 있는 일반화된 적응 심층 잠재요인 추천모형 G-ADLFRM을 제안한다. 다양한 도메인의 데이터셋을 가지고 입력과 모델 구조 변경에 대한 실험을 진행한 결과, 입력만 변경했을 경우 동반되는 정보손실로 인해 ADLFM 대비 MAE(Mean Absolute Error)가 소폭 높아지며 추천성능이 하락했지만, 처리할 정보량이 적어지면서 epoch 당 평균 학습속도는 대폭 향상되었다. 입력 뿐만 아니라 모델 구조까지 바꿨을 경우에는 가장 성능이 우수한 Multi-Conv1d 구조가 ADLFM과 유사한 성능을 나타내며 입력변경으로 인한 정보손실을 충분히 상쇄시킬 수 있음을 보여주었다. 결론적으로 본 논문에서 제시한 모형은 기존 ADLFM의 성능은 최대한 유지하면서 빠른 학습과 추론이 가능하고(경량화) 다양한 도메인에 적용할 수 있는(일반화) 새로운 모형임을 알 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제22권5호
• /
• pp.17-22
• /
• 2022

본 논문에서는 지능형 엣지 컴퓨팅을 지원할 수 있는 경량 임베디드 기기를 설계하고, 영상 기기로부터 입력되는 이미지에서 객체를 실시간으로 빠르게 검출할 수 있음을 보인다. 제안하는 시스템은 산업 현장이나 군 지역과 같이 사전에 설치된 인프라가 없는 환경에 적용되는 지능형 영상 관제 시스템이나 드론과 같은 자율이동체에 탑재된 영상 보안 시스템에 적용될 수 있다. 지능형 비전 인지 시스템이 확산 적용되기 위해 온디바이스 AI(On-Device Artificial intelligence) 기술 적용 필요성이 증대되고 있다. 영상 데이터 취득 장치에서 가까운 엣지 기기로의 컴퓨팅 오프 로딩은 클라우드를 중심으로 수행되는 인공지능 서비스 대비 적은 네트워크 및 시스템 자원으로도 빠른 서비스 제공이 가능하다. 또한, 다양한 해킹 공격에 취약한 공격 표면의 감소와 민감한 데이터의 유출을 최소화 할 수 있어 다양한 산업에 안전하게 적용될 수 있을것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4420-4438
• /
• 2021

Image dehazing is an ill-posed problem which is far from being solved. Traditional image dehazing methods often yield mediocre effects and possess substandard processing speed, while modern deep learning methods perform best only in certain datasets. The haze removal effect when processed by said methods is unsatisfactory, meaning the generalization performance fails to meet the requirements. Concurrently, due to the limited processing speed, most dehazing algorithms cannot be employed in the industry. To alleviate said problems, a lightweight fast dehazing network based on a multiple scale-patch framework (MSP) is proposed in the present paper. Firstly, the multi-scale structure is employed as the backbone network and the multi-patch structure as the supplementary network. Dehazing through a single network causes problems, such as loss of object details and color in some image areas, the multi-patch structure was employed for MSP as an information supplement. In the algorithm image processing module, the image is segmented up and down for processed separately. Secondly, MSP generates a clear dehazing effect and significant robustness when targeting real-world homogeneous and nonhomogeneous hazy maps and different datasets. Compared with existing dehazing methods, MSP demonstrated a fast inference speed and the feasibility of real-time processing. The overall size and model parameters of the entire dehazing model are 20.75M and 6.8M, and the processing time for the single image is 0.026s. Experiments on NTIRE 2018 and NTIRE 2020 demonstrate that MSP can achieve superior performance among the state-of-the-art methods, such as PSNR, SSIM, LPIPS, and individual subjective evaluation.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.205-208
• /
• 2022

Multi-exposure high dynamic range (HDR) image reconstruction, the task of reconstructing an HDR image from multiple low dynamic range (LDR) images in a dynamic scene, often produces ghosting artifacts caused by camera motion and moving objects and also cannot deal with washed-out regions due to over or under-exposures. While there has been many deep-learning-based methods with motion estimation to alleviate these problems, they still have limitations for severely moving scenes. They also require large parameter counts, especially in the case of state-of-the-art methods that employ attention modules. To address these issues, we propose a frequency domain approach based on the idea that the transform domain coefficients inherently involve the global information from whole image pixels to cope with large motions. Specifically we adopt Residual Fast Fourier Transform (RFFT) blocks, which allows for global interactions of pixels. Moreover, we also employ Depthwise Overparametrized convolution (DO-conv) blocks, a convolution in which each input channel is convolved with its own 2D kernel, for faster convergence and performance gains. We call this LFFNet (Lightweight Frequency Fusion Network), and experiments on the benchmarks show reduced ghosting artifacts and improved performance up to 0.6dB tonemapped PSNR compared to recent state-of-the-art methods. Our architecture also requires fewer parameters and converges faster in training.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.309-316
• /
• 2024

얼굴 인식 기술은 다양한 분야에서 활용되고 있지만, 이는 사진 스푸핑과 같은 위조 공격에 취약하다는 문제를 가지고 있다. 이를 극복하기 위한 여러 연구가 진행되고 있지만, 대부분은 멀티모달 카메라와 같은 특별한 장비를 장착하거나 고성능 환경에서 동작하는 것을 전제로 하고 있다. 본 연구는 얼굴 인식 위조 공격 문제를 해결하기 위해, 특별한 장비 없이 일반적인 웹캠에서 동작할 수 있는 LH-FAS v2를 제안한다. 제안된 방법에서는, 머리 자세 추정에는 FSA-Net을, 얼굴 식별에는 ArcFace를 활용하여 사진 스푸핑 여부를 판별한다. 실험을 위해, 사진 스푸핑 공격 비디오로 구성된 VD4PS 데이터셋을 제시하였으며, 이를 통해 LH-FAS v2의 균형 잡힌 정확도와 속도를 확인하였다. 본 방법은 향후 사진 스푸핑 방어에 효과적일 것으로 기대한다.

• 방송공학회논문지
• /
• 제28권3호
• /
• pp.333-336
• /
• 2023

최근 자연어 처리에서 사용되던 트랜스포머 모델이 이미지 초해상화 분야에서도 적용되면서 좋은 성능을 보여주고 있다. 그러나 이러한 트랜스포머 기반 모델들은 복잡하고 많은 학습 파라미터를 가지고 있어 많은 하드웨어 자원을 요구하기 때문에 작은 모바일 기기에서는 사용하기 어렵다는 단점을 가지고 있다. 따라서 본 논문에서는 트랜스포머 기반 초해상화 모델의 크기를 효과적으로 줄일 수 있는 지식 증류 기법을 제안한다. 실험 결과 트랜스포머 블록의 개수를 줄인 학생 모델에서 제안 기법을 적용해 교사 모델과 비슷한 성능을 내거나 더 높일 수 있음을 확인하였다.