• Journal of the Institute of Electronics Engineers of Korea SD
• /
• v.46 no.10
• /
• pp.40-45
• /
• 2009

In this paper, we introduce a mobile-type tiny sensor device that can classify the activities of daily living based on the state-dependent motion analysis using a 3-axial accelerometer in real-time. The device consists of an accelerometer, GPS module, 32bit micro-controller for sensor data processing and activity classification, and a bluetooth module for wireless data communication. The size of device is 50*47*14(mm) and lasts about 10 hours in operation-mode and 160 hours in stand-by mode. Up to now, the device can recognize three user activities ("Upright", "Running", "Walking") based on the decision tree. This tree is constructed by the pre-learning process to activities of subjects. The accuracy rate of recognizing activities is over 90% for various subjects.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2016.10a
• /
• pp.872-875
• /
• 2016

본 연구에서는 무구속적으로 사용자의 활동상태를 모니터링하고 이를 기반으로 산만도를 추정하기 위한 연구를 수행하였다. 사용자의 활동상태 모니터링을 위해서는 키넥트 센서를 활용하여 머리에서의 관절정보와 어깨관절정보를 검출하고, 각 검출지점의 시간당 좌표변화를 인덱스화하여 움직임 변화정도를 측정하였다. 이러한 움직임정보로부터 산만도의 추정을 위하여 움직임의 빈도와 움직임의 강도를 분석하고 이로부터 산만도를 추정하기위한 인덱스를 개발하였다. 실제 사용자의 활동상태로부터 추출된 움직임정보 및 산만도 추정인덱스의 모니터링을 위하여 PC기반의 모니터링 및 스마트폰기반의 어플리케이션을 구현하였다. 구현된 시스템의 성능평가를 위하여 키넥트를 이용한 산만도 추정 어플리케이션과 동시에 비디오 계측을 통해 움직임의 정도에 따른 산만도 추정식의 결과를 비교분석한 결과 개발된 산만도 추정시스템과 비디오분석결과의 상관관계가 높음을 실험으로 확인하였다.

• Journal of KIISE
• /
• v.42 no.12
• /
• pp.1544-1550
• /
• 2015

Recently, the development of practical wearable robot interfaces has resulted in the emergence of wearable robots such as arm prosthetics or lower-limb exoskeletons. In this paper, we propose a novel method of wrist movement intention estimation based on a regression technique using electromyography of human bio-signals. In daily life, changes in user arm position changes cause decreases in performance by modulating EMG signals. Therefore, we propose an estimation method for robust wrist movement intention for arm position changes, combining several movement intention models based on the regression technique trained by different arm positions. In our experimental results, our method estimates wrist movement intention more accurately than previous methods.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.26 no.10B
• /
• pp.1390-1398
• /
• 2001

시선 위치 추적이란 사용자가 모니터 상의 어느 지점을 쳐다보고 있는 지를 파악해 내는 기술이다. 시선 위치를 파악하기 위해 본 논문에서는 2차원 카메라 영상으로부터 얼굴 영역 및 얼굴 특징점을 추출한다. 초기에 모니터상의 3 지점을 쳐다볼 때 얼굴 특징점들은 움직임의 변화를 나타내며, 이로부터 카메라 보정 및 매개변수 추정 방법을 이용하여 얼굴특징점의 3차원 위치를 추정한다. 이후 사용자가 모니터 상의 또 다른 지점을 쳐다볼 때 얼굴 특징점의 변화된 3차원 위치는 3차원 움직임 추정방법 및 아핀변환을 이용하여 구해낸다. 이로부터 변화된 얼굴 특징점 및 이러한 얼굴 특징점으로 구성된 얼굴평면이 구해지며, 이러한 평면의 법선으로부터 모니터 상의 시선위치를 구할 수 있다. 실험 결과 19인치 모니터를 사용하여 모니터와 사용자까지의 거리를 50∼70cm정도 유지하였을 때 약 2.08인치의 시선위치에러 성능을 얻었다. 이 결과는 Rikert의 논문에서 나타낸 시선위치추적 성능(5.08cm 에러)과 비슷한 결과를 나타낸다. 그러나 Rikert의 방법은 모니터와 사용자 얼굴까지의 거리는 항상 고정시켜야 한다는 단점이 있으며, 얼굴의 자연스러운 움직임(회전 및 이동)이 발생하는 경우 시선위치추적 에러가 증가되는 문제점이 있다. 동시에 그들의 방법은 사용자 얼굴의 뒤 배경에 복잡한 물체가 없는 것으로 제한조건을 두고 있으며 처리 시간이 상당히 오래 걸리는 문제점이 있다. 그러나 본 논문에서 제안하는 시선 위치 추적 방법은 배경이 복잡한 사무실 환경에서도 사용가능하며, 약 3초 이내의 처리 시간(200MHz Pentium PC)이 소요됨을 알 수 있었다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.47 no.4
• /
• pp.25-33
• /
• 2010

In this paper, we propose a simple and efficient algorithm for head pose estimation using a single camera. First, four subimages are obtained from the camera image for face feature extraction. These subimages are used as feature templates. The templates are then tracked by Kalman filtering, and camera projective matrix is computed by the projective mapping between the templates and their coordinate in the 3D coordinate system. And the user's face pose is estimated from the projective mapping between the user's face and image plane. The accuracy and the robustness of our technique is verified on the experimental results of several real video sequences.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.820-822
• /
• 2005

본 논문에서는 $CAVE^{TM}-like$ 시스템에서 역운동학을 이용하여 사용자의 인체 움직임을 실시간으로 추정하기 위한 기법을 제안한다. 사용자를 둘러싼 스크린으로 투사되는 빛에 인하여 매순간 변화하는 배경을 포함하는 영상으로부터 사용자 영역을 추출하기 위하여 적외선 반사 영상을 이용하였다. 이를 이용하여 추출된 사용자 컬러 영상에 프로젝션 기반 가상환경의 특성을 고려한 컬러 모델을 적용하여 사용자의 얼굴과 손 영역을 추출하였다. 위치 추정 단계를 통하여 다음 프레임에서의 관심영역 위치를 미리 예측하고 추출된 사용자의 손과 얼굴 위치 정보를 말단장치로 이용하고, 관절모델과 운동학적 제약조건을 기반으로 역운동학적인 방법을 통해 사용자의 동작을 추정하였다. 제안 기법에서는 별도의 마커나 도구를 사용하지 않기 때문에 비침입적이며 사용자 움직임의 제약을 최소화할 수 있기 때문에 보다 인간 중심적인 인터랙션을 위한 기반 기술로 이용될 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.379-385
• /
• 2007

관성 센서는 외부 장치의 도움 없이 3차원 공간상에서 움직임 측정이 가능하다. 최근 MEMS 기술의 발달로 소형 저가 관성 센서(가속도 센서 혹은 각속도 센서) 제작이 가능해져 관성 센서를 소형 휴대 기기에 내장하여 사용자의 움직임을 감지하거나 의도 파악하는 연구가 진행되고 있다. 본 연구에서는 관성 센서가 내장된 휴대 기기를 이용하여 3차원 공간상에서 6가지 위치에 따라서 각기 다른 6가지 소리를 발생하는 가상의 멀티 타악기 시스템을 제안한다. 즉, 휴대 기기를 상/하로 흔들면 가상 타악기의 타점 위치에 왔을 때 비트 음을 발생하고, 6개의 다른 위치를 구분하여 다른 타점의 위치에서 휴대 기기를 흔들면 각각 그 위치와 미리 지정된 소리가 발생하도록 하였다. 이러한 가상의 멀티 타악기 시스템을 위해서 3차원 공간상에서 실시간으로 사용자의 움직임을 감지하고 휴대 기기의 위치를 파악하는 것이 필요하다. 저가의 관성 센서를 이용하여 사용자가 휴대 기기를 움직이는 동작이 있는 상황에서 실시간으로 휴대 기기의 위치를 추정하는 것은 쉽지 않지만 본 연구에서는 다양한 사용자의 움직임 동작 분석을 통하여 사용자가 가상의 멀티 타악기를 상/하로 흔드는 동작을 감지하고 다른 위치로 이동하는 동작을 구분하였다. 개발된 동작 감지 알고리즘과 위치 구분 알고리즘을 휴대 기기에 적용되어 실제로 가상의 타악기 시스템을 구현하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.147-149
• /
• 2011

사용자에게 편리한 인터페이스를 제공하는 IT 기기가 널리 보급되면서 직관적인 인터페이스 기술에 대한 관심이 높아지고 있다. 이미지 센서로 입력된 사람의 손 모양이나 움직임을 이용하는 인터페이스가 그 중 하나이다. 한 편 이미지 센서 영상을 저장하기 위하여 H.264/AVC와 같은 영상 압축 기술이 사용된다. 영상을 압축하기 위해 부호기는 모든 Macroblock에서 움직임 추정을 수행한다. 추정된 움직임 정보는 손 움직임을 인식하는데 사용될 수 있고 이를 통해 전자 기기에 명령을 내리는 인터페이스 기술의 한 부분을 구현하는 것이 가능하다. 본 논문은 H.264/AVC 부호기의 Motion Vector를 이용하는 손 추적 알고리즘을 제시한다. 제시된 알고리즘은 손 움직임 추적의 정확도를 향상시키기 위하여 Motion Vector보다 신뢰도가 높은 Motion Density Map 정보를 사용한다. 이 정보를 이용하여 이동한 손을 포함하는 손 윈도우를 결정한다. 실험 결과를 통하여 제시된 알고리즘이 손의 움직임을 추적하는 것을 확인할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2001.11b
• /
• pp.103-106
• /
• 2001

본 논문에서는 MPEG2비디오 스트림에서 직접 얻을 수 있는 정보들을 활용하여 카메라의 움직임을 추정하여 이를 기반으로 하여 움직이는 객체를 추정하고자 한다. 이를 위해, 먼저 MPEG2의 움직임 벡터는 압축의 효율성 때문에 움직임의 예측이 순서적이지 못한데, 예측 프레임들의 속성을 이용하여 이를 광 플로우(Optical Flow)를 갖는 움직임 벡터(Motion Vector)로 변환하였다. 그리고 이러한 벡터들을 이용하여 카메라의 기본적인 움직임인 팬(Fan), 틸트(Tilt). 줌(Zoom) 등을 정의하였다. 이를 위하여 팬, 틸트-줌 카메라 모델의 매개변수와 같은 의미의 $\Delta$x, $\Delta$y, $\alpha$값을 정의하고자 움직임 벡터 성분의 Hough변환을 이용하여 $\Delta$x, $\Delta$y, $\alpha$값들을 구하였다. 또한 이러한 카메라 움직임(Camera Operation)은 시간적으로 연속적으로 발생하는 특징을 이용하여 각 프레임마다 구한 카메라의 움직임을 보정하였다. 마지막으로 움직이는 객체의 추정은 우선 사용자가 원하는 객체를 바운딩박스 형태로 정의한 후 카메라 움직임이 보정된 객체의 움직임 벡터를 한 GOF(Group of Pictures) 단위로 면적 기여도에 따라 누적하여 객체를 추적하고 해석하였으며 DCT 질감 정보를 이용하여 객체의 영역을 재설정 하였다. 물론 압축된 MFEG2비디오에서 얻을 수 있는 정보들은 최대 블록 단위이므로 객체의 정의도 블록단위 이상의 객체로 제한하였다. 제안된 방법은 비디오 스트림에서 직접 정보를 얻음으로써 계산속도의 향상은 물론 카메라의 움직임특성과 움직이는 객체의 추적들을 활용하여 기존의 내용기반의 검색 및 분석에도 많이 응용될 수 있다. 이러한 개발 기술들은 압축된 데이터의 검색 및 분석에 유용하게 사용되리라고 기대되며 , 특히 검색 툴이나 비디오 편집 툴 또는 교통량 감시 시스템, 혹은 무인 감시시스템 등에서 압축된 영상의 저장과 빠른 분석을 요구시 필요하리라고 기대된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.763-765
• /
• 2023

본 논문에서는 저성능 컴퓨터나 스마트폰의 카메라를 통해 입력받은 영상을 기반으로 사용자의 포즈를 추정하고, 실시간으로 사용자의 포즈에 따라 3D 모델의 모션이 제어되어 가시화 될 수 있는 클라이어트-서버 구조의 "자세추정 및 3D 모델 모션 제어 시스템"을 제안한다. 제안 시스템은 소켓통신 기반의 클라이언트-서버구조로 구성되어, 서버에서는 실시간 자세 추정을 위한 딥러닝 모델이 수행되고, 저성능 클라이언트에서는 실시간으로 카메라 영상을 획득하여 영상을 서버에 전송하고, 서버로부터 자세 추정 정보를 받아 이를 3D 모델에 반영하고 렌더링 함으로써 사용자와 함께 3D 모델이 같은 동작을 수행하는 증강현실 화면을 생성한다. 고성능을 요구하는 객체 자세 추정 모듈은 서버에서 실행하고, 클라이언트에서는 영상 획득 및 렌더링만을 실행하기 때문에, 모바일 앱에서의 실시간 증강현실을 위한 자세 추정 및 3D 모델 모션 제어가 가능하다. 제안 시스템은 "증강현실 기반 영상 찍기 앱" 에 반영되어 사용자의 움직임을 따라하는 3D 캐릭터들의 영상을 쉽게 생성할 수 있도록 할 수 있다.