• 문화기술의 융합
• /
• 제8권5호
• /
• pp.735-740
• /
• 2022

건설업은 사망자 수가 가장 많이 발생하는 산업이며, 다양한 제도 개선에도 사망자는 크게 줄어들지 않고 있다. 이에 따라, CCTV 영상에 인공지능(AI)을 적용한 실시간 안전관리가 부각되고 있다. 건설현장의 영상에 대한 AI를 적용한 근로자 탐지연구가 진행되고 있지만, 건설업의 특성상 복잡한 배경 등의 문제로 인해 성능 발현에 제한이 있다. 본 연구에서는 근로자의 탐지 및 자세 추정에 대한 성능 향상을 위해 YOLO 모델과 OpenPose 모델을 융합하여, 복잡 다양한 조건에서의 근로자에 대한 탐지 성능을 향상시켰다. 이는 향후 근로자의 불안전안 행동 및 건강관리 측면에서 활용도가 높을 것으로 예상된다.

• 한국인터넷방송통신학회논문지
• /
• 제23권2호
• /
• pp.103-111
• /
• 2023

본 논문은 시계열 데이터에 존재하는 이상값을 정상값으로 변환하는 새로운 데이터 보정기법을 제안한다. 최근 IT기술의 발전으로 센서를 통해 방대한 시계열 데이터가 수집되고 있다. 하지만 센서의 고장, 비정상적 환경으로 인해, 대부분의 시계열 데이터는 다수의 이상값을 포함할 수 있다. 이상값이 포함된 원천 데이터를 그대로 사용하여 예측모델을 구축하는 경우, 고신뢰도의 예측 서비스가 실현되기 어렵다. 이에 본 논문은 LSTM-GAN 모델을 활용하여 원천 시계열 데이터에 존재하는 이상값을 탐지하고, DTW(Dynamic Time Warping) 및 GAN 기법을 결합하여 분할된 윈도우 단위로 이상값을 정상값으로 보정하는 기법을 제안한다. 기본 아이디어는 탐지된 이상값이 포함된 윈도우에 인접한 정상 분포 데이터의 통계정보를 DTW에 적용하여 연쇄적으로 GAN 모델을 구축하여 정상적 시계열 데이터를 생성하는 것이다. 오픈 NAB 데이터를 활용한 실험을 통해, 우리는 제안 기법이 기존 2개의 보정기법보다 성능이 우수함을 보인다.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.132-140
• /
• 2023

본 논문에서는 클리핑 감지기를 이용하여 음성 신호의 클리핑 제거 성능을 향상시키는 방법을 제안한다. 클리핑은 입력 음성 신호의 크기가 마이크의 동적 범위를 넘을 때 발생하며, 음성 품질을 저하시키는 요인이 된다. 최근 머신러닝을 이용한 많은 클리핑 제거 기술이 개발되었고 우수한 성능을 제공하고 있다. 그러나 머신러닝 기반의 클리핑 제거 방법은 신호 복원 과정의 왜곡으로 인해 클리핑이 심하지 않을 때 출력 신호의 품질이 저하되는 문제를 가진다. 이를 해결하기 위해 클리핑 제거기를 클리핑 감지기와 연동시켜 클리핑 수준에 따라 클리핑 제거 동작을 선택적으로 적용하는 방법을 제안하고, 이를 통해 모든 클리핑 수준에서 우수한 품질의 신호를출력하도록 한다. 다양한 평가 지표로 클리핑 제거 성능을 측정하였고, 제안 방법이 기존 방법에 비해 모든 클리핑 수준에 대한 평균성능을 향상시키고, 특히 클리핑 왜곡이 작을 때 성능을 크게 향상시키는 것을 확인하였다.

• 방송공학회논문지
• /
• 제28권1호
• /
• pp.3-20
• /
• 2023

물체의 진폭과 위상 정보가 free space에서 전달되는 과정을 디지털로 계산하여 기록한 것을 컴퓨터 생성 홀로그램(CGH)라고 한다. 이 CGH는 복소 홀로그램의 형태이지만, 이를 Phase-only 공간광 변조기(SLM)를 통해 디스플레이 하기 위해 위상 홀로그램의 형태로변환하게 된다. 본 논문에서는, 물체의 진폭 정보를 위상 정보에 포함시키는 과정에서 DPAC 등 subsampling이 포함된 기법을 사용한다면 위상 홀로그램의 대역폭이 커지며, 그 결과로 복소 홀로그램 복원 시에는 없던 aliasing이 발생할 수 있음을 실험적으로 밝혔다. 또한, 이렇게 aliasing에 의해 복원성능이 저하되는 거리에서도 공간 주파수 범위를 제약하는 방법을 통해 좋은 화질의 위상 홀로그램 생성이 가능함을 보였다.

• Smart Structures and Systems
• /
• 제31권4호
• /
• pp.335-349
• /
• 2023

Bridges constantly undergo deterioration and damage, the most common ones being concrete damage and exposed rebar. Periodic inspection of bridges to identify damages can aid in their quick remediation. Likewise, identifying components can provide context for damage assessment and help gauge a bridge's state of interaction with its surroundings. Current inspection techniques rely on manual site visits, which can be time-consuming and costly. More recently, robotic inspection assisted by autonomous data analytics based on Computer Vision (CV) and Artificial Intelligence (AI) has been viewed as a suitable alternative to manual inspection because of its efficiency and accuracy. To aid research in this avenue, this study performs a comparative assessment of different architectures, loss functions, and ensembling strategies for the autonomous segmentation of bridge components and damages. The experiments lead to several interesting discoveries. Nested Reg-UNet architecture is found to outperform five other state-of-the-art architectures in both damage and component segmentation tasks. The architecture is built by combining a Nested UNet style dense configuration with a pretrained RegNet encoder. In terms of the mean Intersection over Union (mIoU) metric, the Nested Reg-UNet architecture provides an improvement of 2.86% on the damage segmentation task and 1.66% on the component segmentation task compared to the state-of-the-art UNet architecture. Furthermore, it is demonstrated that incorporating the Lovasz-Softmax loss function to counter class imbalance can boost performance by 3.44% in the component segmentation task over the most employed alternative, weighted Cross Entropy (wCE). Finally, weighted softmax ensembling is found to be quite effective when used synchronously with the Nested Reg-UNet architecture by providing mIoU improvement of 0.74% in the component segmentation task and 1.14% in the damage segmentation task over a single-architecture baseline. Overall, the best mIoU of 92.50% for the component segmentation task and 84.19% for the damage segmentation task validate the feasibility of these techniques for autonomous bridge component and damage segmentation using RGB images.

• Current Optics and Photonics
• /
• 제7권3호
• /
• pp.237-247
• /
• 2023

In middle- and long-distance imaging systems, due to the atmospheric turbulence caused by temperature, wind speed, humidity, and so on, light waves propagating in the air are distorted, resulting in image-quality degradation such as geometric deformation and fuzziness. In remote sensing, astronomical observation, and traffic monitoring, image information loss due to degradation causes huge losses, so effective restoration of degraded images is very important. To restore images degraded by atmospheric turbulence, an image-restoration method based on improved compound multibranch feature fusion (CMFNetPro) was proposed. Based on the CMFNet network, an efficient channel-attention mechanism was used to replace the channel-attention mechanism to improve image quality and network efficiency. In the experiment, two-dimensional random distortion vector fields were used to construct two turbulent datasets with different degrees of distortion, based on the Google Landmarks Dataset v2 dataset. The experimental results showed that compared to the CMFNet, DeblurGAN-v2, and MIMO-UNet models, the proposed CMFNetPro network achieves better performance in both quality and training cost of turbulent-image restoration. In the mixed training, CMFNetPro was 1.2391 dB (weak turbulence), 0.8602 dB (strong turbulence) respectively higher in terms of peak signal-to-noise ratio and 0.0015 (weak turbulence), 0.0136 (strong turbulence) respectively higher in terms of structure similarity compared to CMFNet. CMFNetPro was 14.4 hours faster compared to the CMFNet. This provides a feasible scheme for turbulent-image restoration based on deep learning.

• 응용통계연구
• /
• 제36권2호
• /
• pp.129-139
• /
• 2023

변동성의 예측은 자산의 리스크에 대비하는 데에 중요한 역할을 하기때문에 필수적이다. 인공지능을 통하여 이러한 복잡한 특성을 지닌 변동성 예측을 시도하였는데 기존 시계열 예측에 적합하다 알려진 LSTM (1997)과 GRU (2014)은 기울기 소실로 인한 문제, 방대한 연산량의 문제, 그로 인한 메모리양의 문제 등이 존재하였다. 변동성 데이터는 비정상성(non-stationarity)과 정상성(stationarity)을 모두 가지고 있는 특성이 있으며, 자산 가격 하방 쇼크에 더 큰 폭으로 상승하는 비대칭성과 상당한 장기 기억성, 시장에 큰 사건이 발생할 때 기존의 값들에 비해 이상치라 할 수 있을 정도의 예측할 수 없는 큰 값이 발생하는 특성들이 존재한다. 이렇게 여러 가지 복잡한 특성들은 하나의 모형으로 구조화되기 어려워서 전통적인 방식의 모형으로는 변동성에 대한 예측력을 높이기 어려운 면이 있다. 이러한 문제를 해결하기 위해 1D CNN의 발전된 형태인 causal TCN (causal temporal convolutional network) 모형을 변동성 예측에 적용하고, 예측력을 최대화 할 수 있는 TCN 구조를 설계하고자 하였다. S&P 500, DJIA, Nasdaq 지수에 해당하는 변동성 지수 VIX, VXD, and VXN, 에 대하여 예측력 비교를 하였으며, TCN 모형이 RNN 계열의 모형보다도 전반적으로 예측력이 높음을 확인하였다.

• 한국ITS학회 논문지
• /
• 제22권2호
• /
• pp.133-146
• /
• 2023

도심지역의 교통 상태는 효과적인 교통 운영과 교통 제어를 수행하는 데 필수 요소이다. 하지만 교통 상태를 얻기 위해서 수많은 도로 구간에 교통 센서를 설치하는 것은 막대한 비용이 든다. 이를 해결하기 위해서 시장침투율이 높은 센서인 차량 블랙박스 카메라를 이용하여 교통 상태를 추정하는 것이 효과적이다. 하지만 기존의 방법론은 객체 추적 알고리즘이나 광학 흐름과 같이 계산 복잡도가 높고, 연속된 프레임이 있어야 연산을 수행할 수 있다는 단점이 존재한다. 이에 본 연구에서는 심층학습 모델로 차량과 차선을 탐지하고, 차선 사이의 공간을 관심 영역으로 설정하여 해당 영역의 교통밀도를 추정하는 방법을 제안하였다. 이 방법론은 객체 탐지 모델만을 이용해서 연산량이 적고, 연속된 프레임이 아닌 샘플링된 프레임에 대해 교통 상태를 추정할 수 있다는 장점이 있기에, 보유하고 있는 컴퓨팅 자원에 맞는 교통 상태 추정이 가능하다. 또, 도심지역에서 운행하는 서로 다른 특성의 2개의 버스 노선에서 수집한 블랙박스 영상을 검증한 결과, 교통밀도 추정 정확도가 90% 이상인 것을 확인하였다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.89-100
• /
• 2023

Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.