• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권2호
• /
• pp.91-98
• /
• 2023

인간-객체 상호작용 탐지는 객체 탐지와 상호작용 인식을 함께 풀어야하는 분야로 탐지 모델의 학습을 위해서 많은 데이터를 필요로 한다. 현재 공개된 데이터셋은 규모가 부족하여 데이터 증강 기법에 대한 요구가 커지고 있으나, 대부분의 연구에서 기존의 객체 탐지, 이미지 분할분야에서 활용하는 증강 기법을 활용하고 있는 실정이다. 이에 본 연구에서는 인간-객체 상호작용 탐지 분야에서 활용하는 데이터셋의 특성을 파악하고, 이를 통해 인간-객체 상호작용 탐지 모델 성능 향상에 효과적인 데이터 증강 기법을 제안한다. 본 연구에서 제안한 증강 기법에 대한 검증을 위하여 실험 환경을 구축하고, 기존의 학습 모델에 적용하여 증강 기법을 적용할 경우에 탐지 모델의 성능 향상이 가능함을 확인하였다.

• ETRI Journal
• /
• 제42권2호
• /
• pp.230-238
• /
• 2020

Human-object interaction (HOI) detection is a popular computer vision task that detects interactions between humans and objects. This task can be useful in many applications that require a deeper understanding of semantic scenes. Current HOI detection networks typically consist of a feature extractor followed by detection layers comprising small filters (eg, 1 × 1 or 3 × 3). Although small filters can capture local spatial features with a few parameters, they fail to capture larger context information relevant for recognizing interactions between humans and distant objects owing to their small receptive regions. Hence, we herein propose a three-stream HOI detection network that employs a context convolution module (CCM) in each stream branch. The CCM can capture larger contexts from input feature maps by adopting combinations of large separable convolution layers and residual-based convolution layers without increasing the number of parameters by using fewer large separable filters. We evaluate our HOI detection method using two benchmark datasets, V-COCO and HICO-DET, and demonstrate its state-of-the-art performance.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2009년도 춘계학술대회
• /
• pp.219-222
• /
• 2009

Rapid object recognition is one of the main stream research themes focusing to reveal how human recognizes object and interacts with environment in natural world. This field of study is of consequence in that it is highly important in evolutionary perspective to quickly see the external objects and judge their characteristics to plan future reactions. In this study, we investigated how human detect natural scene objects and categorize them in a limited time frame. We applied Magnetoencepahlogram (MEG) while participants were performing detection (e.g. object vs. texture) or basic-level categorization (e.g. cars vs. dogs) tasks to track the dynamic interaction in human brain for rapid object recognition process. The results revealed that detection and categorization involves different temporal and functional connections that correlated for the successful recognition process as a whole. These results imply that dynamics in the brain are important for our interaction with environment. The implication from this study can be further extended to investigate the effect of subconscious emotional factors on the dynamics of brain interactions during the rapid recognition process.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2006년 학술대회 논문집 정보 및 제어부문
• /
• pp.570-572
• /
• 2006

This paper discusses the method of moving object detection for biped robot walking. Most researches on vision based object detection have mostly focused on fixed camera based algorithm itself. However, developing vision systems for biped walking robot is an important and urgent issue since hired walking robots are ultimately developed not only for researches but to be utilized in real life. In the research, method for moving object detection has been developed for task assignment and execution of biped robot as well as for human robot interaction (HRI) system. But these methods are not suitable to biped walking robot. So, we suggest the advanced method which is suitable to biped walking robot platform. For carrying out certain tasks, an object detecting system using modified optical flow algorithm by wireless vision camera is implemented in a biped walking robot.

• 로봇학회논문지
• /
• 제18권4호
• /
• pp.463-471
• /
• 2023

This paper proposes a method to estimate the level of interest shown by visitors towards a specific target, a guide robot, in spaces where a large number of visitors, such as exhibition halls and museums, can show interest in a specific subject. To accomplish this, we apply deep learning-based behavior recognition and object tracking techniques for multiple visitors, and based on this, we derive the behavior analysis and interest level of visitors. To implement this research, a personalized dataset tailored to the characteristics of exhibition hall and museum environments was created, and a deep learning model was constructed based on this. Four scenarios that visitors can exhibit were classified, and through this, prediction and experimental values were obtained, thus completing the validation for the interest estimation method proposed in this paper.

• 한국CDE학회논문집
• /
• 제18권5호
• /
• pp.374-383
• /
• 2013

Various interaction techniques have been studied for providing the feeling of touch and improve immersion in augmented reality (AR) environments. Tangible AR interaction exploiting two types (product-type and pointer-type) of simple objects has earned great interest for cost-effective design evaluation of digital handheld products. When the sizes of markers attached to the objects are kept big to obtain better marker recognition, the pointer-type object frequently and significantly occludes the product-type object, which deteriorates natural visualization and level of immersion in an AR environment. In this paper, in order to overcome such problems, we propose tangible AR interaction using fingertip touch combined with small-sized markers. The proposed approach facilitates the use of convex polygons to recover the boundaries of AR markers which are partially occluded. It also properly enlarges the pattern area of each AR marker to reduce the sizes of AR markers without sacrificing the quality of marker detection. We empirically verified the quality of the proposed approach, and applied it in the process of design evaluation of digital products. From experimental results, we found that the approach is comparably accurate enough to be applied to the design evaluation process and tangible enough to provide a pseudo feeling of manipulating virtual products with human hands.

• 한국콘텐츠학회논문지
• /
• 제11권4호
• /
• pp.215-224
• /
• 2011

인간과 컴퓨터의 상호작용이 관심분야로 대두되면서 인체를 검출하고 추적하는 기술들에 관한 연구가 활발히 진행되고 있다. 본 논문에서는 단일카메라의 입력으로 인체의 비율을 이용하여 인체 부위를 연결하는 조인트를 자동으로 검출하고 객체를 추적하는 알고리즘을 제안한다. 제안방법은 입력영상과 배경영상의 회색조 영상과 색상 영상의 차영상을 구한 후 그 결과를 결합하여 배경과 전경을 분리하고 객체를 추출한다. 또한 얼굴길이와 인체 각 영역의 측정값을 이용하여 인체 비율을 모델링하고 추출된 객체 실루엣의 코너점과 모델링된 비율을 이용해 객체의 조인트를 자동으로 추출한다. 추출된 조인트의 움직임을 블록매칭 기법으로 객체의 움직임을 추적한다. 제안방법을 카메라로 입력되는 실험동영상에 적용한 결과 인체의 실루엣과 조인트를 자동 검출하며 추출된 조인트 또한 효율적으로 추적되었다.

• 국제학술발표논문집
• /
• The 10th International Conference on Construction Engineering and Project Management
• /
• pp.775-782
• /
• 2024

This systematic review comprehensively analyzes the application of computer vision in construction productivity measurement and emphasizes the importance of worker accountability in construction sites. It identifies a significant gap in the connection level between input (resources) and output data (products or progress) of productivity monitoring, a factor not adequately addressed in prior research. The review highlights three fundamental groups: input, output, and connection groups. Object detection, tracking, pose, and activity recognition, as the input stage, are essential for identifying characteristics and worker movements. The output phase will mostly focus on progress monitoring, and understanding the interaction of workers with other entities will be discussed in the connection groups. This study offers four research future research directions for the worker accountability monitoring process, such as human-object interaction (HOI), generative AI, location-based management systems (LBMS), and robotic technologies. The successful accountability monitoring will secure the accuracy of productivity measurement and elevate the competitiveness of the construction industry.

• 한국정보통신학회논문지
• /
• 제15권4호
• /
• pp.851-859
• /
• 2011

본 논문에서는 인간과 컴퓨터의 상호작용을 위해 연속된 입력영상에서 인체의 실루엣과 조인트를 자동추출하고 조인트를 추적함으로 객체를 추적하는 방법을 제안한다. 또한 추출된 조인트를 이용하여 인체를 매핑하여 사람의 동작을 재현한다. 이를 위해 인체의 치수를 이용하여 인체 움직임을 제어하는 14개의 조인트로 인체를 모델링한다. 제안방법은 단일카메라로 RGB 컬러로 입력되는 영상을 색상, 채도, 명암의 영상으로 변환한 후 차 영상기법을 이용하여 인체의 실루엣을 추출한다. 추출된 실루엣의 코너점과 인체 모델링 정보를 이용하여 조인트를 자동 검출한다. 객체의 움직임 추적은 전체 영상 중 조인트를 중심으로 블록매칭 기법을 이용하며 추출된 조인트의 위치정보를 이용하여 인체의 움직임을 매핑한다. 제안방법을 실험동영상에 적용한 결과 인체의 실루엣과 조인트를 자동 검출하며 추출된 조인트로 인체의 매핑이 효율적으로 이루어졌다. 또한 조인트의 추적이 매핑된 인체에 반영되어 인체의 움직임도 적절히 표현되었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 추계학술대회
• /
• pp.621-624
• /
• 2011

최근 HCI(Human Computer Interaction)의 한 분야인 증강현실은 크게 마커 기반과 비 마커기반으로 구분된다. 비 마커기반은 실세계 환경에서 자연적인 특징을 이용하여 객체를 증강한다. 반면, 마커기반은 사각형의 평면 마커를 이용하여 좌표를 쉽게 계산하고 객체를 정확하게 증강 시킨다. 그러나 마커기반은 제공되는 영상 안에 마커가 존재하기 때문에 비 마커기반 보다 사용자에게 주는 현실감 및 몰입감이 적다. 따라서 본 논문에서는 마커기반의 현실감 및 몰입감을 증대시키기 위해 감쇄 현실과 증강현실을 결합한 객체 제거 기법을 활용한 마커기반 증강현실 시스템 구조를 연구한다.