• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.07a
• /
• pp.297-298
• /
• 2016

본 논문에서는 손을 보다 효과적으로 인식하기 위해 동작 검출과 피부색 검출을 이용하여 인식하는 시스템을 제안한다. 단순히 피부색만을 이용하여 손을 인식하는 경우 피부색과 유사한 색상의 물체나 다른 신체 부위를 인식하는 문제점이 발생하게 된다. 이러한 문제점을 해결하기 위해 동작 검출을 이용하여 움직이는 물체만을 손이라고 가정하였다. 이렇게 가정을 하고 피부색 검출과 동작 검출을 이용하여 인식하는 경우 신체부위를 제외하고는 거의 검출되지 않는다. 그리고 인식된 영역마다 뼈대를 찾아 손을 검출한다. 조명이나 주변 환경에 최대한 영향을 적게 받기위해 시스템을 설계하였으며 단순 피부색 검출을 이용한 손 검출보다 좋은 성능을 발휘하며 손가락의 개수와 손 모양, 손 추적까지 응용할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.147-149
• /
• 2011

사용자에게 편리한 인터페이스를 제공하는 IT 기기가 널리 보급되면서 직관적인 인터페이스 기술에 대한 관심이 높아지고 있다. 이미지 센서로 입력된 사람의 손 모양이나 움직임을 이용하는 인터페이스가 그 중 하나이다. 한 편 이미지 센서 영상을 저장하기 위하여 H.264/AVC와 같은 영상 압축 기술이 사용된다. 영상을 압축하기 위해 부호기는 모든 Macroblock에서 움직임 추정을 수행한다. 추정된 움직임 정보는 손 움직임을 인식하는데 사용될 수 있고 이를 통해 전자 기기에 명령을 내리는 인터페이스 기술의 한 부분을 구현하는 것이 가능하다. 본 논문은 H.264/AVC 부호기의 Motion Vector를 이용하는 손 추적 알고리즘을 제시한다. 제시된 알고리즘은 손 움직임 추적의 정확도를 향상시키기 위하여 Motion Vector보다 신뢰도가 높은 Motion Density Map 정보를 사용한다. 이 정보를 이용하여 이동한 손을 포함하는 손 윈도우를 결정한다. 실험 결과를 통하여 제시된 알고리즘이 손의 움직임을 추적하는 것을 확인할 수 있다.

• Journal of Digital Contents Society
• /
• v.13 no.3
• /
• pp.343-352
• /
• 2012

In this paper, we implemented a touchless interface for DID(Digital Information Display) system using gesture recognition technique which includes both hand motion and hand shape recognition. Especially this touchless interface without extra attachments gives user both easier usage and spatial convenience. For hand motion recognition, two hand-motion's parameters such as a slope and a velocity were measured as a direction-based recognition way. And extraction of hand area image utilizing YCbCr color model and several image processing methods were adopted to recognize a hand shape recognition. These recognition methods are combined to generate various commands, such as, next-page, previous-page, screen-up, screen-down and mouse -click in oder to control DID system. Finally, experimental results showed the performance of 93% command recognition rate which is enough to confirm the possible application to commercial products.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.577-579
• /
• 2005

본 논문에서는 손 제스처를 사용한 2족 보행로봇 제어방법을 제안한다. 제안된 방법은 연속된 입력 영상으로부터 사용자의 손을 검출하기 위해, 피부색 정보와 Hue의 불변 모멘트 정보를 사용한다. 검출된 손 영역은 Active Contour Model를 사용하여 추적한다. 손 제스처를 인식하기 위해 Hue의 불변 모멘 정보로부터, 검출된 손의 모양을판단하고 그 결과를 미리 정해둔 심벌 중에 하나로 할당한다. 이렇게 연속적으로 할당된 심벌들은 HMM(Hidden Markov Model) 인식기를 통해 인식 되고 로봇 명령어를 출력하며, 출력된 명령어에 따라 로봇이 제어된다. 제안된 방법의 효율성을 증명하기 위해, 자체 제작한 2족 보행로봇(KAI)으로 6개의 손 제스처를 이용하여 사용자가 원격지에 있는 로봇의 보행을 제어하는 원격 로봇 보행 제어 시스템에 응용해 보았다. 실험 결과, $94\%$의 인식률을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.502-504
• /
• 2001

본 논문은 동작자가 표현하는 수화 동작 중, 지문자 영상을 2차원 영상처리에 의하여 이식하는 방법을 제안한다. 손에 개인에 따라 변량이 존재하고 같은 동작을 표현하더라도 항상 일정하지 않기 때문에, 지문자 인식을 위하여 손의 구조적인 정보를 이용한다. 추출된 손 영역을 입력으로 하여 손의 외곽 정보를 이용한 MAT(Medial Axis Transform)를 수행한다. 여기에서 나온 골격의 변화에 따라 각각 손가락에 해당하는 2번 쇽(Shock)과 손 바닥에 해당하는 4번 쇽의 관계에 의하여 지문자를 인식한다. 이러한 구조적인 정보를 이용함으로써 개인에 의해 나타나는 표현의 차이를 제거할 수 있고, MAT를 이용할 때 나타나는 외곽영역의 잡음에 의한 구조 변화에도 안정적으로 대처할 수 있다. 제안한 알고리즘을 이용하여 31개의 단순 지문자에 대한 270개의 입력영상을 실험한 결과 81.1%, 모양이 흡사한 지문자를 통합하여 26개의 지문자로 식별할 경우에는 91.1%의 인식율을 나타내었다.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 1999.11a
• /
• pp.438-442
• /
• 1999

제스처 인식은 직관적일 뿐 아니라, 몇 가지의 기본 구성요소에 의하여 코드화(code)가 용이하여, 인간과 컴퓨터의 상호작용(HCI, Human-Computer Interaction)에 있어서 폭넓게 사용되고 있다. 본 논문에서는 손의 모양이나 크기와 같은 개인차 및 조명의 변화나 배율과 같은 입력환경의 영향을 최소화하여, 특별한 초기화 과정이나 모델의 준비과정 없이도 제스처를 인식할 수 있고, 적은 계산량으로 실시간 인식이 가능한 제스처 인식 시스템의 개발을 목표로 한다. 본 논문에서는 손에 부착하는 센서나 마커 없이, CCD 카메라에 의하여 입력된 컬러영상에서, 컬러정보 및 동작정보를 이용하여 손영역을 추출하고, 추출된 손의 경계선 정보를 이용하여 경계선-중심 거리 함수를 생성했다. 그리고, 손가락의 끝 부분에서는 경계선-중심 거리가 극대점을 이룬다는 원리를 이용하여 생성된 함수의 주파수를 분석하여 극대점을 구함으로써 각각의 손가락 끝 위치를 찾고, 손의 자세를 인식하여 제스처를 인식했다. 또한 본 논문에서 제안된 제스처 인식 방법은 PC상에서 구현되어 그 유용성과 실효성이 증명되었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2015.07a
• /
• pp.159-160
• /
• 2015

본 논문에서는 사용자의 제스처를 인식하여 동작하는 비 접촉식 크로마키 시스템을 제안한다. 이를 위해서 키넥트 카메라로부터 깊이(depth) 이미지와 RGB 이미지를 입력받는다. 먼저 깊이 카메라와 RGB 카메라의 위치 차이로 인한 불일치(disparity)를 보정하고, 깊이 이미지에 대해 모폴로지 연산을 수행하여 잡음을 제거한 후 RGB 이미지와 결합하여 객체 영역을 추출한다. 추출된 객체영역을 분석하여 사용자 손의 위치와 모양을 인식하고 손의 위치와 모양을 포인팅 장비로 간주하여 크로마키 시스템을 제어한다. 실험을 통해 비접촉식 크로마키 시스템이 실시간으로 동작함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.211-213
• /
• 2022

Lip Reading(독순술(讀脣術)) 이란 입술의 움직임을 보고 상대방이 무슨 말을 하는지 알아내는 기술이다. 본 논문에서는 MBC, SBS 뉴스 클로징 영상에서 쓰이는 문장 10개를 데이터로 사용하고 CNN(Convolutional Neural Network) 아키텍처 중 모바일 기기에서 동작을 목표로 한 MobileNet을 모델로 이용하여 발화자의 입모양을 통해 문장 인식 연구를 진행한 결과를 제시한다. 본 연구는 MobileNet과 LSTM을 활용하여 한국어 입모양을 인식하는데 목적이 있다. 본 연구에서는 뉴스 클로징 영상을 프레임 단위로 잘라 실험 문장 10개를 수집하여 데이터셋(Dataset)을 만들고 발화한 입력 영상으로부터 입술 인식과 검출을 한 후, 전처리 과정을 수행한다. 이후 MobileNet과 LSTM을 이용하여 뉴스 클로징 문장을 발화하는 입모양을 학습 시킨 후 정확도를 알아보는 실험을 진행하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.52-56
• /
• 2006

선천적인 원인으로 인해 언어 장애를 겪고 있는 사람들이나 후두암 등 후천적 질환이 원인이 되어 의사 소통에 불편을 겪는 사람들이 있다. 본 논문에서 제안하는 '손으로 말해요'는 이러한 사람들의 의사 표현을 돕기 위한 장치이다. 뇌에 손상이 있거나 성대에 손상이 있어 말하는 것이 어려운 장애인들이 장갑모양의 입력장치와 목 부위에 부착된 스피커를 이용해 말할 수 있다. 이 스피커를 통해 흘러나오는 인공의 목소리로 의사 소통할 수 있다. 언어장애인을 위한 본 웨어러블 PC 의 특징은 먼저 블루투스 모듈을 이용한 간단한 손가락 동작만으로도 입력이 가능한 장갑 모양의 입력장치이다. 사용이 불편한 엄지 손가락을 제외한 나머지 네 손가락에 각 하나씩 양손 총 8 개의 스위치가 부착되어 있다. 사용자는 손가락을 굽혀 손바닥에 스위치가 닿도록 하거나 책상 등과 같이 편평한 탁자에 손가락 끝을 닿게 하여 스위치를 누를 수 있다. 장갑의 키 배열은 PC 키보드의 배열과 같아 사용자가 쉽게 적응할 수 있다. 다음으로 본 장치는 자연스러운 목소리가 흘러나오는 음성 합성 모듈을 탑재하였다. 모듈의 출력 음성은 실제 말하는 것과 같은 자연스러운 억양을 지니고 있으며, 스피커는 목소리가 흘러나오는 위치가 자연스럽도록 목 부위에 부착되어 있다. 그리고 HMD(Head Mounted Display)를 탑재하여 자신이 텍스트를 정확하게 입력하고 있는지 이를 통해 확인할 수 있다. 장갑을 제외한 모든 장비는 가방에 탑재하여 착용이 편리하도록 하였고, 장갑은 블루투스 모듈을 이용하여 이용에 불편을 주는 전선을 제거하였다. 본 논문에서 제안하는 '손으로 말해요'는 간단한 손가락 동작을 이용하여 자연스러운 목소리로 말하고자 하는 내용을 전달할 수 있기 때문에 언어장애로 불편함을 겪는 사람들에게 도움을 줄 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.34-35
• /
• 2014

본 논문에서는 손가락 제스처 인식을 위해서 깊이 영상 카메라를 이용하여 손 영역을 추적하고 손가락 끝점을 찾는 방법을 제시하고자 한다. 실시간 영역 추적을 위해 적은 연산량으로 손 영역의 중심점을 검출하고 추적이 가능하여야 하며, 다양한 제스처를 효과적으로 인식하기 위해서는 손 모양에서 손가락을 인식하여야 하기 때문에 손가락 끝점을 찾는 방법도 함꼐 제시하고자 한다. 또한 손가락이 정확히 검출되었는지를 확인하기 위해서 손가락의 이동과 손가락의 클릭 제스처를 마우스에 연동하여 검출 결과를 테스트 하였다.