• 한국산학기술학회논문지
• /
• 제11권9호
• /
• pp.3465-3471
• /
• 2010

본 논문에서는 행동이 불편한 특히 손의 사용이 부자연스러운 장애인이나 일반인이 자신이 원하는 신체 부위를 이용하여 컴퓨터상의 프로그램을 자연스럽게 제어할 수 있는 카메라 기반 보조기기 시스템을 제안한다. 기존의 컴퓨터 보조기기의 경우 특수한 하드웨어를 사용하거나 높은 가격으로 인해 장애인들의 이용률이 매우 낮으며 대부분 외국산 제품에 의존하는 실정이다. 이러한 문제점을 해결하기 위해 본 논문에서는 저가의 웹캠을 활용하여 기존의 마우스 기능을 대신할 수 있고, 장애인들의 컴퓨터 접근성을 높일 수 있는 경제적이고 효과적인 인터페이스를 제안한다. 제안하는 방법은 사용자가 특정 색깔이나 특정 마크가 표시된 스티커를 임의의 기기(안경, 머리띠)나 신체 일부(이마, 코)등에 부착하여 카메라를 통해 색깔이나 마커에 대한 정보를 입력 받은 후 이 정보를 영상 처리 기술을 통해 분석 한 후 처리된 정보(좌표)를 특정 이벤트(키보드, 마우스)에 연결하여 다양한 응용 프로그램을 제어하는 방법이다. 실험 결과를 통해 제안하는 시스템이 기존의 방법에 비해 가격이나 성능 면에서 뛰어난 결과를 보임을 확인할 수 있다.

• 한국정보통신학회논문지
• /
• 제26권9호
• /
• pp.1279-1292
• /
• 2022

신체적 불편함으로 인해 기존의 마우스와 같은 입력 장치의 사용이 힘든 사용자에게 도움이 될 수 있는 시스템으로 얼굴 인식과 Pyautogui 마우스 제어 기반의 비접촉식 입력 기법을 제안한다. 본 연구는 특히 화면 확대/축소나 스크롤 기능과 같이 웹 서핑을 보다 편리하게 돕는 기능이 포함되어 있으며, 개인의 신체적 차이 및 웹 사용 습관을 고려해 여러 설정값을 조정할 수 있도록 하였다. 또한, 기존의 시스템에서 한계점으로 제시되었던 눈 피로도에 대한 문제도 해결하였다. 추가로 고성능 CPU나 GPU 환경이 요구되지 않고 별도의 트래커 장치나 고성능 카메라 또한 필요하지 않다. 이러한 연구를 통해 손을 쓰기 어려운 장애인 및 노인들의 웹 접근성을 높여 배리어프리 실현에 기여하고자 한다.

• 한국컴퓨터산업학회논문지
• /
• 제6권5호
• /
• pp.697-714
• /
• 2005

본 논문에서는 레이저 포인터 마우스를 이용한 윈도우 기반 인터랙티브 프리젠테이션 시스템을 구성하였다. 시스템은 발표자가 레이져 포인터를 사용하여 인터랙티브하게 프리젠테이션을 할 수 있도록 제공한다. 발표동안 디스플레이용 PC는 비트맵으로 포현되는 한 국부의 포인트 위치를 검출하고, 이 점은 프로젝터로 전달되어 디스플레이 된다. 디스플레이된 프리젠테이션 자료는 또한, 스크린에 있는 레이져 스폿을 모니터링하며 제어된다. 프로세싱 단에서는 미리 알고 있는 공간상의 패턴과 레이져 스폿을 일치 시키게 되며, 이에 따라 디스플레이 명령이 세팅된다. 이때, 디스플레이에 대한 명령은 컴퓨터로 전달되며 마우스 기능과 같은 동작을 얻을 수 있게 된다.

• 한국정보통신학회논문지
• /
• 제15권4호
• /
• pp.935-942
• /
• 2011

본 연구는 카메라를 통하여 취득한 지화를 자동으로 인식하고, 컴퓨터를 제어하는 지화인식 시스템을 설계하고 구현하는데 목적이 있다. 먼저 영상을 취득하기 위하여 일반 카메라를 개조하여 적외선 CCD 카메라를 제작하였고, 입력영상의 전처리와 손의 특징들을 찾아 분석하여 손 모양에 따라 해당되는 지화를 판독하고, 이벤트를 발생시켜 마우스 제어와 프리젠테이션을 수행할 수 있는 방법을 제시하였다. 본 연구에서 제안하는 지화인식 시스템은 미래형 정보기기의 마우스와 키보드를 대체할 수 있는 차세대 인터페이스로서의 사용가능성을 검증하였다.

• 한국정보통신학회논문지
• /
• 제10권9호
• /
• pp.1671-1678
• /
• 2006

본 논문은 컴퓨터 모니터 거리 30-40cm에서 실시간 쌍안 눈동자 추적 마우스 시스템 구현에 관한 연구이다. 눈동자 탐색과 커서 의 추적과정은 소형 CCD카메라에서 받은 안면영상은 2진영상으로 변환되고 눈 주위의 5영역 매스크 방법으로 눈을 찾고 측4점 대각선위치 지 정 방법으로 각 홍채를 탐색한다. 커서추적은 홍채중심좌표의 이동위치를 측정하여 이루어진다. 화면커서 제어는 홍채의 최대 이동거리를 측정하여 화면커서최대 이동거리와 비교하고 홍채의 움직임에 비례해서 커서가 이동해야 하는 거리를 계산하여 화면커서를 화면의 바라보는 지점에 위치시킴으로써 화면커서가 제어된다. 실험 결과 구현시스템은 비교적 간단하고 실시간으로 동작속도가 빠름을 보였다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.

• 한국HCI학회논문지
• /
• 제1권2호
• /
• pp.9-17
• /
• 2006

본 논문에서는 사지마비 장애인이 활용할 수 있는 동작을 이용하여 마우스, 키보드, 전동휠체어 제어 등에 적용 가능한 근전도 기반 입력 인터페이스 기술을 제안하였다. 먼저 사지마비 장애인이 활용 가능하면서도 데이터 획득 및 처리가 용이한 동작으로서 이 (치아) 물기 동작을 선택하였다. 또한 좌측, 우측 및 양측 이 물기 동작 및 이 물기 시간의 조절을 통해 사지마비 장애인의 경우에도 몇 가지 명령어 수행이 가능하다. 이때, 이 물기 동작의 인식은 관자놀이 부근에 위치한 관자근에서의 근전도 (electromyogram) 신호를 이용하였다. 본 논문에서는 데이터를 획득하여 전송하고 처리하기 위한 하드웨어 및 소프트웨어, 그리고 전동휠체어 제어, 마우스 제어, 게임 제어를 위한 시범 시스템도 개발하였다. 또한 개발된 시범 시스템을 사지마비 장애인에게 적용하여 그 효용성을 평가하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.222-227
• /
• 2007

본 논문에서는 지체장애인들이 유효한 말초신경신호를 이용하여 컴퓨터를 사용할 수 있는 인터페이스를 개발하였다. 손목의 움직임을 통해 아래팔 4부분으로부터 근전도 (electromyogram, EMG) 신호를 추출하였고, 다층 인식 신경망을 사용하여 사용자의 의도를 추출하였다. 이를 통하여 마우스 커서의 움직임을 제어하고, 마우스 버튼을 클릭하는 동작을 할 수 있으며, 시각 디스플레이 장치에 표시된 핸드폰 자판과 같은 유저 인터페이스를 통해 컴퓨터에 글자를 입력할 수 있게 하였다. 추가적으로 Fitts' law를 사용하여 본 인터페이스의 사용성을 평가하였고, 이를 기존연구와 비교함으로써 본 인터페이스의 효용성을 검증하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 춘계학술대회
• /
• pp.447-450
• /
• 2014

본 논문에서는 갤럭시노트를 사용하여 PC에 대한 무선 태블릿 장치의 효율적으로 구현하는 방안을 제시하였다. 무선 태블릿 장치는 갤럭시 노트, 스타일러스 펜과 블루투스 신호를 직렬 통신신호로 변환하는 장치로 구성된다. 무선 태블릿 장치는 스타일러스 펜이 가리키는 좌표정보를 PC로 전송하기 위해 블루투스 통신을 사용한다. 자체 개발한 윈도우 마우스 필터 드라이버는 전송받은 좌표를 X, Y값으로 분리한 후에 변환된 좌표값으로 윈도우 응용 프로그램이 동작하는 동안 마우스 포인터의 위치를 제어한다.

• 인지과학
• /
• 제21권2호
• /
• pp.309-338
• /
• 2010

본 논문에서는 사지가 마비되어 신체를 움직이지 못하지만 뇌의 기능은 살아있는 장애인들을 위하여, 생각만으로 외부의 장치를 제어할 수 있도록 하는 뇌-컴퓨터 인터페이스(BCI: Brain-Computer Interface) 기술을 연구하였다. 신경생리학 분야에서의 연구 결과에 의하면, 신체를 움직이는 상상을 할 경우, 뇌의 운동/감각 피질 영역에서는 $\beta$파(14-26 Hz)와 $\mu$파(8-12 Hz)가 억제/증가되는 ERD/ERS(Event-Related Desynchronization / Synchronization) 현상이 발생한다고 알려져 있다. 본 연구에서는 이를 기반으로 혀, 발, 왼손, 오른손의 동작 상상을 자극으로 이용하여 변화하는 뇌 신호 패턴을 실시간으로 분석하여 피험자의 생각을 읽을 수 있도록 하였으며, 상 하 좌 우의 네 방향으로 이동할 수 있도록 하는 마우스 제어 인터페이스를 구현하였다. 동작 상상 시 발생하는 뇌 신경 활동의 변화를 관측하기 위해서 뇌에 손상을 주지 않으면서도 높은 시간 해상도로 측정이 가능한 비침습적 뇌전도(EEG: ElectroEncephaloGraphy)를 이용하였다. 그러나 뇌전도 신호는 특성상 신호의 크기가 미약하고, 잡음의 영향을 많아 분석이 어렵다. 따라서 이를 극복하기 위해 통계적 방법을 기반으로 한 기계학습 기법인 CSP(Common Spatial Pattern)와 선형판별 분석(Linear Discriminant Analysis)을 이용하여 서로 다른 동작 상상에 의해 발생하는 뇌 신호들 간의 분산이 최대가 되도록 신호를 변환하여 인식 성능을 높일 수 있었다. 또한 분석된 뇌 신호의 시각화를 통해, 기존에 알려진 뇌의 해부학적, 신경생리학적 지식과 일치하는 ERD/ERS 현상이 발생하는 것을 확인할 수 있었다.