• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권4호
• /
• pp.959-979
• /
• 2024

Rice pest identification is essential in modern agriculture for the health of rice crops. As global rice consumption rises, yields and quality must be maintained. Various methodologies were employed to identify pests, encompassing sensor-based technologies, deep learning, and remote sensing models. Visual inspection by professionals and farmers remains essential, but integrating technology such as satellites, IoT-based sensors, and drones enhances efficiency and accuracy. A computer vision system processes images to detect pests automatically. It gives real-time data for proactive and targeted pest management. With this motive in mind, this research provides a novel farmland fertility algorithm with a deep learning-based automated rice pest detection and classification (FFADL-ARPDC) technique. The FFADL-ARPDC approach classifies rice pests from rice plant images. Before processing, FFADL-ARPDC removes noise and enhances contrast using bilateral filtering (BF). Additionally, rice crop images are processed using the NASNetLarge deep learning architecture to extract image features. The FFA is used for hyperparameter tweaking to optimise the model performance of the NASNetLarge, which aids in enhancing classification performance. Using an Elman recurrent neural network (ERNN), the model accurately categorises 14 types of pests. The FFADL-ARPDC approach is thoroughly evaluated using a benchmark dataset available in the public repository. With an accuracy of 97.58, the FFADL-ARPDC model exceeds existing pest detection methods.

• 대한임베디드공학회논문지
• /
• 제19권1호
• /
• pp.1-8
• /
• 2024

Robotic arms have been widely utilized in various labor-intensive industries such as manufacturing, agriculture, and food services, contributing to increasing productivity. In the development of industrial robotic arms, camera sensors have many advantages due to their cost-effectiveness and small sizes. However, estimating object positions is a challenging problem, and it critically affects to the robustness of object manipulation functions. This paper proposes a method for estimating the 3D positions of objects, and it is applied to a pick-and-place task. A deep learning model is utilized to detect 2D bounding boxes in the image plane, and the pinhole camera model is employed to compute the object positions. To improve the robustness of measuring the 3D positions of objects, we analyze the effect of lens distortion and introduce a false positive filtering process. Experiments were conducted on a real-world scenario for moving medicine bottles by using a camera-based manipulator. Experimental results demonstrated that the distortion removal and false positive filtering are effective to improve the position estimation precision and the manipulation success rate.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권8호
• /
• pp.2103-2118
• /
• 2024

Chinese herbal slices (CHS) automated recognition based on computer vision plays a critical role in the practical application of intelligent Chinese medicine. Due to the complexity and similarity of herbal images, identifying Chinese herbal slices is still a challenging task. Especially, easily-confused CHS have higher inter-class and intra-class complexity and similarity issues, the existing deep learning models are less adaptable to identify them efficiently. To comprehensively address these problems, a novel tiny easily-confused CHS dataset has been built firstly, which includes six pairs of twelve categories with about 2395 samples. Furthermore, we propose a ResNeSt-CHS model that combines multilevel perception fusion (MPF) and perceptive sparse fusion (PSF) blocks for efficiently recognizing easilyconfused CHS images. To verify the superiority of the ResNeSt-CHS and the effectiveness of our dataset, experiments have been employed, validating that the ResNeSt-CHS is optimal for easily-confused CHS recognition, with 2.1% improvement of the original ResNeSt model. Additionally, the results indicate that ResNeSt-CHS is applied on a relatively small-scale dataset yet high accuracy. This model has obtained state-of-the-art easily-confused CHS classification performance, with accuracy of 90.8%, far beyond other models (EfficientNet, Transformer, and ResNeSt, etc) in terms of evaluation criteria.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권9호
• /
• pp.2782-2804
• /
• 2024

The integration of artificial intelligence technology with medicine has rapidly evolved, with increasing demands for quality of life. However, falls remain a significant risk leading to severe injuries and fatalities, especially among the elderly. Therefore, the development and application of computer vision-based fall detection technologies have become increasingly important. In this paper, firstly, the keypoint detection algorithm ViTPose++ is used to obtain the coordinates of human body keypoints from the camera images. Human skeletal feature maps are generated from this keypoint coordinate information. Meanwhile, human dense feature maps are produced based on the DensePose algorithm. Then, these two types of feature maps are confused as dual-channel inputs for the model. The convolutional gated recurrent unit is introduced to extract the frame-to-frame relevance in the process of falling. To further integrate features across three dimensions (spatio-temporal-channel), a dual-channel fall detection algorithm based on video streams is proposed by combining the Convolutional Block Attention Module (CBAM) with the ConvGRU. Finally, experiments on the public UR Fall Detection Dataset demonstrate that the improved ConvGRU-CBAM achieves an F1 score of 92.86% and an AUC of 95.34%.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.279-282
• /
• 2017

마이크로소프트에서 게임용 자연스러운 사용자 인터페이스를 위해 개발된 깊이 카메라인 키넥트 깊이 측정 센서는 컴퓨터 비전 분야에 있어 매우 유용한 도구이다. 키넥트의 깊이 측정 센서와 그 높은 프레임률로 인해, 본 논문에서는 키넥트 카메라를 사용해 거리 측정 시스템을 개발하였으며, 이를 이동 시 인간과 같이 사물을 감지하는데 주변 환경을 인지하기 위해 시각 시스템이 필요한 무인 차량에 시험하였다. 즉, 키넥트 깊이 측정 센서를 이용해 가시 범위 내 사물을 감지하고 사물에서 시각 센서의 거리 측정 시스템을 개선한다. 감지된 사물을 정밀하게 확인하여 실제 사물인지, 또는 픽셀 노즈(nose)인지 판단해 실제 사물이 아닌 픽셀을 무시함으로써 처리 시간을 줄인다. 이미지 처리를 위한 오픈 CV 라이브러리와 함께 깊이 분할 기법을 활용하여, 키넥트 카메라의 가시 범위 내 사물을 확인할 수 있으며, 해당 사물과 센서 사이의 거리를 측정할 수 있다. 시험 결과에 따르면 본 시스템은 저가 범위 센서인 키넥트 카메라가 장착된 자율주행차에 사용하여 감지된 사물로부터 측정 거리에 이르면 어플리케이션 방식에 따라 프로세스를 처리할 수 있는 것으로 나타났다.

• 한국산학기술학회논문지
• /
• 제15권12호
• /
• pp.7324-7330
• /
• 2014

미약한 광원 및 조명이 존재하는 환경에서 획득된 저조도 영상에는 많은 색 왜곡이 발생한다. 이러한 색 왜곡은 해당 비전 시스템의 성능 저하를 발생시킬 수 있는 원인이 된다. 따라서 저조도 영상의 원래 색을 찾는 과정은 비전 시스템의 성능 향상을 위한 중요한 과정이다. 이를 위해 본 논문에서는 저조도 영상을 대상으로 한 이색도 반사 모델 기반의 색 복원 기법을 제안한다. 제안한 기법은 이색도 반사 모델을 기반으로 저조도 영상을 확산 반사와 정반사의 영향을 받는 영역으로 구분한다. 이후 각 영역에 미치는 조명 효과를 제거하기 위하여 grey world 기법과 MSRCR 기법을 적용한다. 마지막으로, 두 기법을 적용하여 생성된 결과 영상에 대해 위치별 가중치를 이용하여 두 영상을 조합하여 최종 결과 영상을 생성한다. 본 논문에서는 성능 평가를 위하여 저조도 합성 영상을 사용하였고, 유클리드 거리 및 각 오차를 성능 평가 요소로 활용하였다. 또한 기존에 연구되었던 다양한 기법과의 성능 비교를 수행하여 성능 평가의 객관성을 확보하였다. 다양한 영상 셋을 이용한 실험에서 제안한 기법은 기존의 기법들에 비해 두 성능 평가요소 관점에서 GTD 영상에 가까운 색 복원이 가능함을 보였다.

• 대한전자공학회논문지SP
• /
• 제41권2호
• /
• pp.79-88
• /
• 2004

시선 위치 추적이란 현재 사용자가 응시하고 있는 위치를 컴퓨터 시각 인식 방법에 의해 파악하는 연구이다. 이러한 시선 위치 추적 기술은 많은 응용 분야를 가지고 있는데, 그 대표적인 예로는 양 손을 사용하지 못하는 심신 장애자를 위한 컴퓨터 인터페이스 및 3차원 시뮬레이터 프로그램에서 사용자의 시선 위치에 따른 화면 제어 등이 있다. 이 논문에서는 적외선 조명이 부착된 단일 카메라를 이용한 컴퓨터 비전 시스템으로 시선 위치 추적 연구를 수행하였다. 사용자의 시선 위치를 파악하기 위해서는 얼굴 특징점의 위치를 추적해야하는데, 이를 위하여 이 논문에서는 적외선 기반 카메라와 SVM(Support Vector Machine) 알고리즘을 사용하였다. 사용자가 모니터상의 임의의 지점을 쳐다볼 때 얼굴 특징점의 3차원 위치는 3차원 움식임량 추정(3D motion estimation) 및 아핀 변환(affine transformation)에 의해 계산되어 질 수 있다. 얼굴 특징점의 변화된 3차원 위치가 계산되면, 이로부터 3개 이상의 얼굴 특징점으로부터 생성되는 얼굴 평면 및 얼굴 평면의 법선 벡터가 구해지게 되며, 이러한 법선 벡터가 모니터 스크린과 만나는 위치가 사용자의 시선위치가 된다. 또한, 이 논문에서는 보다 정확한 시선 위치를 파악하기 위하여 사용자의 눈동자 움직임을 추적하였으면 이를 위하여 신경망(다층 퍼셉트론)을 사용하였다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 약 4.8㎝의 최소 자승 에러성능을 나타냈다.

• 한국산학기술학회논문지
• /
• 제19권11호
• /
• pp.295-302
• /
• 2018

얼굴인식(face recognition)은 스마트 감시 시스템, 공항 출입국관리, 스마트 기기의 사용자 인증 등 매우 다양한 용도로 활용되고 있다. 얼굴인식은 패턴인식(pattern recognition), 컴퓨터 비전(computer vision) 등에서 연구가 활발하게 진행되고 있으며 높은 인식 성능을 달성하였다. 하지만 입력된 얼굴영상의 특성(예 : 비 정면 얼굴)에 따라 동일한 얼굴인식 시스템의 성능이 크게 저하될 수 있는 문제점을 가지고 있다. 이러한 문제점을 극복하기 위해, 본 논문에서는 얼굴인식 시스템에 입력된 얼굴영상에 대하여 얼굴인식 측면에서의 사용 적합 여부를 판정하는 방법을 제안한다. 제안하는 방법은, 사전에 기준으로 정한 적합 얼굴영상들의 최적 조합으로 입력 얼굴영상을 복원하고, 복원 에러를 문턱값과 비교하여 사용 적합 여부를 결정한다. 얼굴영상에 포함된 조명변화가 사용 적합 여부를 판정하는데 미치는 영향을 감소시키기 위해, 기준 적합 얼굴영상들과 입력 얼굴영상들에 조명 보상을 위한 전처리(preprocessing) 과정을 수행한다. 실험결과, 제안하는 방법은 얼굴이 비 정면(non-frontal)인 경우나 얼굴정렬(face alignment)이 부정확한 경우 입력 얼굴영상을 얼굴인식에 부적합으로 판정할 수 있는 것으로 확인되었다. $64{\times}64$ 픽셀 크기의 얼굴영상 한 장을 판정하는데 불과 3ms의 처리시간을 가지므로 적합으로 판정된 입력 얼굴영상에 대해서만 얼굴인식을 수행함으로써 계산시간을 절약하고, 얼굴영상 특성에 따라 인식 성능이 급격히 저하되는 문제를 극복할 수 있을 것으로 기대한다.

• 대한토목학회논문집
• /
• 제43권5호
• /
• pp.667-674
• /
• 2023

건물에서 재난이 발생할경우, 건물 내 인원을 신속히 구조하여 사상자를 최소화하는 것은 단연 최우선순위가 된다. 이러한 구조활동을 위해서는 건물내 어디에 몇 명이 있는지를 알아야 하는데, 실시간으로 알기가 어렵다보니 주로 건물주나 경비원 등 관계자의 진술이나 층별 면적, 수용 인원과 같은 기초자료에 의존하는 실정이다. 따라서 빠르고 정확하게 재실인원 정보를 파악하여 현장에 대한 불확실성을 낮추고 골든타임내 효율적인 구조활동을 지원하는 것이 반드시 필요하다. 본 연구는 컴퓨터 비전 알고리즘을 활용하여 이미 건물에 설치되어 있는 여러대의 CCTV 가 촬영한 이미지 로부터 건물 위치별 재실인원을 계수하는 방법론을 제시한다. 계수 방법론은 (1)카메라별 관심선(LOI) 설정을 통한 다중카메라 네트워크 환경구축, (2)딥러닝을 활용한 모니터링 구역내 사람 탐지 및 추적, (3)다중 카메라 네트워크 환경을 고려한 인원 합산 세단계로 구성된다. 제안된 방법론은 5층 건물을 대상으로 세 개의 시간대 별로 수행된 현장 실험을 통해 검증되었다. 최종 결과는 89.9%의 정확도로 재실자를 인식하는 것으로 나타났으며, 층별, 구역별 합산결과도 93.1%, 93.3%의 정확도로 우수했다. 층별 평균MAE와 RMSE는 각각 0.178과 0.339이었다. 이 처럼 실시간으로 제공하는 건물내 재실자 정보는 초기 재난 대응단계에 신속하고 정확한 구조활동을 지원 할 수있다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제6권10호
• /
• pp.407-414
• /
• 2017

다수의 태스크로 구성된 돈사 감시 응용은 내재된 데이터 병렬성을 활용하고 성능가속기를 사용하여 병렬 처리가 가능하다. 본 논문에서는 멀티코어 CPU와 매니코어 GPU로 구성된 이기종 컴퓨팅 플랫폼에서 돈사 감시 응용 수행 시 태스크 분배 방법을 제안한다. 즉, 각 태스크별로 OpenCL을 이용한 병렬 프로그램을 작성한 뒤, deviceCPU와 deviceGPU 각각에서 수행시켜 측정된 수행시간을 기준으로 가장 적합한 처리기를 결정한다. 제안 방법은 간단하지만 매우 효과적이고, CPU와 GPU로 구성된 이기종 컴퓨팅 플랫폼에서 다수의 태스크로 구성된 다른 응용을 병렬화하는 경우에도 적용될 수 있다. 실험 결과, 상이한 이기종 컴퓨팅 플랫폼에서 최적의 태스크 분배로 수행한 경우 가 전체 태스크들을 deviceGPU에서 수행한 GPU-only 방법에 비교하여 각각 2.7배, 8.7배, 2.7배 성능 개선이 되었음을 확인하였다.