• 제어로봇시스템학회논문지
• /
• 제13권8호
• /
• pp.743-748
• /
• 2007

Recently, various types of camera mouse are developed using the image processing. The camera mouse showed limited performance compared to the traditional optical mouse in terms of the response time and the usability. These problems are caused by the mismatch between the size of the monitor and that of the active pixel area of the CMOS Image Sensor. To overcome these limitations, we designed a new input device that uses the face recognition as well as the speech recognition simultaneously. In the proposed system, the area of the monitor is partitioned into 'n' zones. The face recognition is performed using the web-camera, so that the mouse pointer follows the movement of the face of the user in a particular zone. The user can switch the zone by speaking the name of the zone. The multimodal mouse is analyzed using the Keystroke Level Model and the initial experiments was performed to evaluate the feasibility and the performance of the proposed system.

• 한국산학기술학회논문지
• /
• 제11권9호
• /
• pp.3465-3471
• /
• 2010

본 논문에서는 행동이 불편한 특히 손의 사용이 부자연스러운 장애인이나 일반인이 자신이 원하는 신체 부위를 이용하여 컴퓨터상의 프로그램을 자연스럽게 제어할 수 있는 카메라 기반 보조기기 시스템을 제안한다. 기존의 컴퓨터 보조기기의 경우 특수한 하드웨어를 사용하거나 높은 가격으로 인해 장애인들의 이용률이 매우 낮으며 대부분 외국산 제품에 의존하는 실정이다. 이러한 문제점을 해결하기 위해 본 논문에서는 저가의 웹캠을 활용하여 기존의 마우스 기능을 대신할 수 있고, 장애인들의 컴퓨터 접근성을 높일 수 있는 경제적이고 효과적인 인터페이스를 제안한다. 제안하는 방법은 사용자가 특정 색깔이나 특정 마크가 표시된 스티커를 임의의 기기(안경, 머리띠)나 신체 일부(이마, 코)등에 부착하여 카메라를 통해 색깔이나 마커에 대한 정보를 입력 받은 후 이 정보를 영상 처리 기술을 통해 분석 한 후 처리된 정보(좌표)를 특정 이벤트(키보드, 마우스)에 연결하여 다양한 응용 프로그램을 제어하는 방법이다. 실험 결과를 통해 제안하는 시스템이 기존의 방법에 비해 가격이나 성능 면에서 뛰어난 결과를 보임을 확인할 수 있다.

• 한국정보통신학회논문지
• /
• 제15권5호
• /
• pp.1060-1065
• /
• 2011

본 논문에서 제안 방법은 카메라로 들어오는 입력 영상에서 색상정보를 이용해 손을 인식한다. 이는 인식된 손을 이용해 마우스 포인터를 제어한다. 또한 마우스 포인터를 통해 특정 명령을 수행할 수 있도록 설계한다. 기존의 상호 작용 멀티미디어 시스템은 펜이나 마우스등과 같은 특정 외부 입력 장치들에 의존하였기 때문에 사용자가 불편함을 많이 느꼈다. 하지만 본 논문에서 제안하는 방법은 외부 입력 장치가 필요 없이 손을 이용하여 이러한 단점을 보완한다. 실험 방법으로는 카메라로부터 획득된 영상에서 색 정보를 이용하여 손 영역과 배경을 분리하고, 분리된 손 영역의 중심 좌표를 이용하여 모니터 상의 마우스 포인터 좌표를 결정한다. 이 좌표를 이용해 미리 입력된 영역에 마우스 포인터를 위치시키면 로봇에게 이동 명령을 실행하게 된다. 실험 결과로 제안한 알고리듬은 손 인식 률은 더 정확해졌지만, 여전히 조명에 따른 컬러 값의 변화에 민감하다.

• 전기전자학회논문지
• /
• 제18권4호
• /
• pp.478-484
• /
• 2014

본 논문에서는 Kinect Depth 카메라에서 손가락의 방향을 이용한 마우스 커서의 위치 선정에 관한 새로운 방법을 제안한다. 제안하는 방법은 손가락의 방향이 카메라를 향해 있을 경우는 거리변환을 이용한 손의 중점좌표를 이용한다. 손가락의 방향이 카메라를 향해 있지 않을 경우에는 손가락의 끝점 좌표를 이용한다. 손의 중점좌표는 전처리를 거친 영상의 거리변환 결과에서 가장 밝은 픽셀의 좌표를 이용하여 구한다. 손가락의 방향이 카메라를 향해 있을 경우에는 손가락의 끝점 좌표와 손의 중점 좌표 사이의 거리가 가까워지므로 중점좌표를 이용하여, 위치 선정의 정확도를 향상시킬 수 있게 된다. 손가락의 끝점 좌표는 손 영역만을 추출한 영상에서 팔 부분을 제거하여 영상의 중심에서 가장 멀리 떨어져있는 픽셀을 이용하여 구한다. 본 논문에서 제안하는 커서 위치 선정의 정확도를 측정하기 위해 임의의 5개의 기준 좌표를 선정하고 기준 좌표와 측정된 마우스 좌표사이의 오차를 500회 반복하여 측정하여 에러율을 측정한 결과, 평균 11 % 미만의 오차율을 나타내어 제안한 방법의 정확도를 확인할 수가 있었다.

• 한국멀티미디어학회논문지
• /
• 제20권4호
• /
• pp.671-685
• /
• 2017

We propose a finger detection algorithm for computer mouse control to control the most commonly actions of a computer mouse(left, right and double click, scroll up and down then we add open and close, minimize and maximize a window, control the mouse.) We use a built-in web camera to control the mouse tasks. We detected, segment, then recognize the hand in our previous papers [1, 2]. The user will be able to interact with the computer with the number of fingers detected.

• ETRI Journal
• /
• 제30권4호
• /
• pp.621-623
• /
• 2008

We propose a novel input pointing device called the multimodal mouse (MM) which uses two modalities: face recognition and speech recognition. From an analysis of Microsoft Office workloads, we find that 80% of Microsoft Office Specialist test tasks are compound tasks using both the keyboard and the mouse together. When we use the optical mouse (OM), operation is quick, but it requires a hand exchange delay between the keyboard and the mouse. This takes up a significant amount of the total execution time. The MM operates more slowly than the OM, but it does not consume any hand exchange time. As a result, the MM shows better performance than the OM in many cases.

• 한국멀티미디어학회논문지
• /
• 제23권12호
• /
• pp.1454-1463
• /
• 2020

An important factor in eye-tracking PC interface for general paralyzed patients is the implementation of the mouse interface, for manipulating the GUI. With a successfully implemented mouse interface, users can generate mouse events exactly at the point of their choosing. However, it is difficult to define this interaction in the eye-tracking interface. This problem has been defined as the Midas touch problem and has been a major focus of eye-tracking research. There have been many attempts to solve this problem using blink, voice input, etc. However, it was not suitable for general paralyzed patients because some of them cannot wink or speak. In this paper, we propose a mouth-pop-up, eye-tracking mouse interface that solves the Midas touch problem as well as becoming a suitable interface for general paralyzed patients using a common RGB camera. The interface presented in this paper implements a mouse interface that detects the opening and closing of the mouth to activate a pop-up menu that the user can select the mouse event. After implementation, a performance experiment was conducted. As a result, we found that the number of malfunctions and the time to perform tasks were reduced compared to the existing method.

• 한국컴퓨터정보학회논문지
• /
• 제12권6호
• /
• pp.69-76
• /
• 2007

강의 및 회의에서 발표자가 파일을 열거나 PC상의 모니터를 직접 조작하기 위하여 진행중인 발표를 멈추고 PC에 다가가 필요한 조작을 하게 되면 발표의 흐름이 끊기게 된다. 이러한 불편함을 개선하기 위한 여러 방법들이 제안되었으나 주로 레이저 빔 포인터[LBP]에 마우스 기능을 부착하여 처리하려는 시도들이 대부분이고 근본적인 해결은 되지 않고 있다. 본 논문에서는 한 개의 카메라와 영상처리 알고리즘을 적용하여 설치가 간단하고 저 가격으로도 실현이 가능하면서도 빔의 검지 위치 정도를 높인 마우스 기능이 부착된 LBP를 제안하고 구현하였으며, 실험을 통하여 마우스의 위치 인식 오차를 분석하였다. 본 연구의 결과 제안된 LBP가 카메라를 사용하였음에도 불구하고 조명의 변화나 시야각의 변화에 대해서도 검지된 빔의 위치인식의 반복성과 마우스의 커서로 사용하기에 충분한 고정도의 위치 인식 오차를 보여주고 있음을 확인하였다.

• 한국HCI학회논문지
• /
• 제5권2호
• /
• pp.1-6
• /
• 2010

본 연구에서는 장애인이나 게이머를 위해 눈의 움직임과 머리의 움직임으로 제어가 가능한 헤드 마우스를 제안하였고, 제안한 마우스를 기존의 마우스와 비교하였다. 마우스 포인터의 이동은 머리 움직임의 회전각도 정보를 활용하였고, 클릭이나 더블 클릭의 이벤트는 눈의 깜빡임을 이용하였다. 기존의 각속도계를 이용한 마우스에서 적분으로 인한 누적오차는 적분을 하지 않고 데드 존을 갖는 비선형 상대 좌표계 방식을 통하여 해결하였고, 추가적으로 이동 거리와 가속도를 함께 고려하여 직관적인 마우스 포인터 제어가 가능하도록 하였다. 주변광의 영향을 최소화하도록 광원 제어 회로를 설계하여 외부 광원의 변화에도 마우스 이벤트 검출에 영향을 받지 않도록 하였다. 제안한 마우스를 응시점을 이용한 마우스(퀵글랜스)와 비교한 결과, 20회 클릭하는 실험에서는 약 21%, Dasher를 이용한 문자입력실험에서도 약 25%, 화상키보드를 이용한 문자입력 실험에서도 약 37% 짧은 입력 시간을 보였다. 그리고 카메라 마우스와의 비교에서도 제안한 헤드 마우스가 우수한 성능을 보였다.

• 제어로봇시스템학회논문지
• /
• 제17권11호
• /
• pp.1168-1172
• /
• 2011

Beam projector is popularly used for presentation. In order to pay attention to local area of the beam projector display, a laser pointer is used together with a pointing device(Mouse). Simple wireless presenter has limited functions of a pointing device such as "go to next slide" or "back to previous slide" in a specific application(Microsoft PowerPoint) through wireless channel; thus, there is inconvenience to do other tasks e.g., program execution, maximize/minimize window etc. provided by clicking mouse buttons. The main objective of this paper is to implement a multi-functional laser-pointer mouse that has the same functions of a computer mouse. In order to get position of laser spot in the projector display, an image processing to extract the laser spot in the camera image is required. In addition, we propose a transformation of the spot position into computer display coordinates to execute mouse functions on computer display.