• Journal of Computational Design and Engineering
• /
• 제2권2호
• /
• pp.73-78
• /
• 2015

In this paper, we propose a new approach to providing interactive and collaborative lens among multi-users for supporting level-of-detailed views using smartphones in a public display. In order to provide smartphone-based lens capability, the locations of smartphones are effectively detected and tracked using Kinect, which provides RGB data and depth data (RGB-D). In particular, human skeleton information is extracted from the Kinect 3D depth data to calculate the smartphone location more efficiently and correctly with respect to the public display and to support head tracking for easy target selection and adaptive view generation. The suggested interactive and collaborative lens using smartphones not only can explore local spaces of the shared display but also can provide various kinds of activities such as LOD viewing and collaborative interaction. Implementation results are given to show the advantage and effectiveness of the proposed approach.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권8호
• /
• pp.3136-3150
• /
• 2015

A vision-based 3D tracking of articulated human hand is one of the major issues in the applications of human computer interactions and understanding the control of robot hand. This paper presents an improved approach for tracking and recovering the 3D position and orientation of a human hand using the Kinect sensor. The basic idea of the proposed method is to solve an optimization problem that minimizes the discrepancy in 3D shape between an actual hand observed by Kinect and a hypothesized 3D hand model. Since each of the 3D hand pose has 23 degrees of freedom, the hand articulation tracking needs computational excessive burden in minimizing the 3D shape discrepancy between an observed hand and a 3D hand model. For this, we first created a 3D hand model which represents the hand with 17 different parts. Secondly, Random Forest classifier was trained on the synthetic depth images generated by animating the developed 3D hand model, which was then used for Haar-like feature-based classification rather than performing per-pixel classification. Classification results were used for estimating the joint positions for the hand skeleton. Through the experiment, we were able to prove that the proposed method showed improvement rates in hand part recognition and a performance of 20-30 fps. The results confirmed its practical use in classifying hand area and successfully tracked and recovered the 3D hand pose in a real time fashion.

• 한국컴퓨터정보학회논문지
• /
• 제22권9호
• /
• pp.73-80
• /
• 2017

In this paper, we design and implement a mobile game based on Kinect sensor. This game is a motion recognition maze game based on Kinect sensor using XNA Game Studio. The game consists of three stages. Each maze has different size and clear time limit. A player can move to the next stage only if the player finds the exit within a limited time. However, if the exit is not found within the time limit, the game ends. In addition, two kinds of mini games are included in the game. The first game is a fruit catch game using motion recognition tracking of the Kinect sensor, and player have to pick up a certain number of randomly falling fruits. If a player acquire a certain number of fruits at this time, the movement speed of the player is increased. However, if a player takes a skeleton that appears randomly, the movement speed will decrease. The second game is a Quiz game using the speech recognition function of the Kinect sensor, and a question from random genres of common sense, nonsense, ancient creature, capital, constellation, etc. are issued. If a player correctly answers more than 7 of 10 questions, the player gets useful items to use in finding the maze. This item is a navigator fairy that helps the player to escape the forest.

• 한국정보통신학회논문지
• /
• 제19권6호
• /
• pp.1296-1300
• /
• 2015

본 논문에서는 초음파 영상에서 결절종을 추출하는 방법을 제안한다. 제안된 방법은 초음파 영상에서 퍼지 스트레칭 기법을 적용하여 명암 대비를 증가시킨다. 퍼지 스트레칭 기법이 적용된 초음파 영상에서 퍼지 이진화 기법을 적용한다. 퍼지 이진화 기법이 적용된 영상에서 잡음 영역을 제거하기 위해 8방향 윤곽선 추적 기법을 적용한후, 결절종 후보 영역을 추출한다. 추출된 결절종 후보 영역에서 침식과 팽창 기법을 적용한 후, labelling 기법을 적용하여 결절종이 형태학적으로 타원 형태를 가지는 정보를 이용하여 결절종 영역을 추출한다. 제안된 방법을 결절종 초음파 영상을 대상으로 실험한 결과, 결절종 초음파 영상에서 결절종 영역이 비교적 정확히 추출되는 것을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.1079-1080
• /
• 2017

Today multimedia technologies are playing an increasingly important role in games, movies, and live performances. In this paper, we design a flexible interactive system integrated with gesture recognition, skeleton tracking, internet communication, and content edition using multi-sensors to direct and control the performance on stage. In this system, the performer can control the elements showed on stage through corresponding gestures and body movements during the performance. The system provides an easier way for users to change the content of the performance if they intent to do.

• ETRI Journal
• /
• 제39권2호
• /
• pp.181-190
• /
• 2017

The movements of the human body are difficult to capture owing to the complexity of the three-dimensional skeleton model and occlusion problems. In this paper, we propose a motion capture system that tracks dynamic human motions in real time. Without using external markers, the proposed system adopts multiple depth sensors (Microsoft Kinect) to overcome the occlusion and body rotation problems. To combine the joint data retrieved from the multiple sensors, our calibration process samples a point cloud from depth images and unifies the coordinate systems in point clouds into a single coordinate system via the iterative closest point method. Using noisy skeletal data from sensors, a posture reconstruction method is introduced to estimate the optimal joint positions for consistent motion generation. Based on the high tracking accuracy of the proposed system, we demonstrate that our system is applicable to various motion-based training programs in dance and Taekwondo.

• 한국안전학회지
• /
• 제30권6호
• /
• pp.110-116
• /
• 2015

A 3D camera-based on-site work-related musculoskeletal disorder risk assessment(WMDs) tool has been developed. The device consists of Kinect a 3D camera manufactured by Microsoft, a servo-motor, and a mobile robot. To complement inherent narrow field of view(FOV) of Kinect, Kinect is rotated according to PID servo-control algorithm by a servo-motor attached underneath, to track movement of a subject, producing skeleton-based motion data. With servo-control, full 360 degrees tracking of a test subject is possible by single Kinect. It was found from experimental tests that the proposed device can be successfully employed for on-site WMDs risk assessing tool.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.335-337
• /
• 2019

본 연구에서는 키넥트와 아두이노 초음파센서를 이용하여 야구 경기 시 발생하는 센서 데이터를 획득하여 스트라이크 판단이 가능한 알고리즘 및 디바이스를 개발하였다. 개발된 디바이스는 야구 경기장 홈플레이트로 사용하며 스트라이크, 볼의 경우에 대해 판단하도록 하였다. 판단에는 스트라이크 존을 측정하기 위해 키넥트의 skeleton tracking 예제로 관절을 측정해 좌표를 알아내고 아두이노 초음파센서를 사용하여 스트라이크를 판단하도록 했다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.215-217
• /
• 2021

본 논문은 3D 공간에서 사용자를 추출한 뒤, 체적 정보 분석을 통한 3D 스켈레톤(skeleton) 분석 과정을 통해 정확도 높은 다수 사용자의 위치 추적 기술에 대해 연구하였다. 이를 위하여 YOLO(You Only Look Once)를 활용하여 실시간으로 객체를 검출(Real-Time Object Detection)한 뒤 Google의 Mediapipe를 활용해 스켈레톤 추출, 스켈레톤 정규화(normalization)를 통한 스켈레톤의 크기 및 상대적 비율 계산, RGB 영상 스케일링(Scaling) 후 주요 마디 인접 영역의 RGB 색상 정보를 추출하는 방법을 통해 정확도가 개선된 높은 성능의 다중 사용자 추적 기술을 연구하였다.

• 한국정보전자통신기술학회논문지
• /
• 제10권2호
• /
• pp.133-140
• /
• 2017

본 논문은 컴퓨터 비전 기술을 기반으로 자동 차량 감시 시스템을 제안하였다. 실시간 주행표시 시스템은 ITS의 필수 요건을 충족하면서, 자동 감시제어가 가능한 시스템이다. 이러한 장점은 확실한 자동차 추적에 대해 주요 장애물 처리 시스템 적용할 경우, 움직이는 물체에 대한 그림자 추적이다. 추적 차량 이미지에서 모든 종류의 정보를 획득하기 위해 차량을 확실하게 감시 화면에 나타나게 하였다. 시간이 지남에 따라 차량을 정밀 추적 제어 할 필요가 있고, 입체 모델 기반접근 방식 또한 필요한 방식으로 적용하였다. 일반적으로 개체 또는 와이어 프레임 모델의 골격에 의해 차량의 각각의 유형을 나타내었고, 시스템이 실시간 실행되지 않더라도 차량 궤적은 3D기반 방식에서 높은 정밀도로 측정 될 수 있다는 점을 보여 준다. 본 논문에서는 차량, 배경, 그림자에 적용 가능하고, 도로 교통 감시의 시스템을 분할 방법을 역시 적용하였다. 과속 자동차의 속도 추적을 통해 낮은 레벨의 차량제어 추적기의 유효성 역시 실행 하였다. 결론에서 개발된 추적 제어 시스템에서 향상된 자동차 추적의 방법을 개선하고자 하였으며 고속도로 감시제어 시스템을 개발하고자 하였다.