• 대한전자공학회논문지SP
• /
• 제48권3호
• /
• pp.1-12
• /
• 2011

대형 멀티터치스크린의 구현은 기존의 저항막, 정전용량, 초음파 방식으로는 기술 제약 및 비용 등의 문제로 구현에 어려움이 있어 주로 적외선을 이용하는 방식을 많이 사용한다. 적외선을 사용한 멀티터치스크린은 대형스크린을 구현하기 용이하지만 멀티터치에 기술적인 제한을 갖고 있는 경우가 많다. 이러한 단점을 보완하기 위해 적외선 카메라를 이용한 FTIR(Frustrated Total Internal Reflection), DI(Diffuse Illumination)방식들이 Microsoft의 차세대 유저인터페이스인 Surface를 통해 제안되었다. FTIR이나 DI 방식은 대형스크린의 구현이 쉽고 멀티터치의 개수에 제한을 받지 않는다. 하지만 FTIR은 터치 포인트의 검출은 쉬운 반면에 스크린의 크기와 재질, 적외선 LED 배열을 위한 모듈, 많은 소비전력 등의 단점을 가지고 있고 DI 방식은 구조상의 문제로 터치 검출이 어려운 반면 FTIR이 가지고 있는 단점을 해결할 수 있다. 본 논문에서는 기존에 제안된 DI 방식의 터치 포인트 검출시의 문제점을 해결하기 위해 손가락 외곽선을 이용한 영상처리 알고리즘, 광학 렌즈 왜곡 현상을 효과적으로 보정하기 위한 알고리즘에 대해 연구하였다. 또한 멀티터치의 터치 정확도를 높이기 위한 Calibration 알고리즘과 정확한 제스처 및 정확한 이동을 위한 Tracking 기법을 고안하였다. 연구 결과 DI 방식을 위해 본 논문에서 제안한 영상처리 알고리즘들은 간단하면서 쉽게 대형 멀티터치스크린 구현을 위한 효과적인 방법이 될 수 있을 것으로 판단된다.

• 전자공학회논문지
• /
• 제52권3호
• /
• pp.206-212
• /
• 2015

본 논문에서는 ITO 터치 패널 센서를 로봇의 피부로 이용하여 로봇 팔을 제어하는 물리적 인간-로봇 상호작용 방법을 제안한다. 사람과 로봇간의 물리적 상호작용을 구현하기 위해서는 힘/토크 센서를 사용하는 방법과 작은 소자 타입의 센서를 배치하여 만든 촉각 센서를 사용하는 방법이 연구되고 있다. 하지만, 이러한 센서들은 가격적인 측면이나 성능적인 측면에서 장단점이 존재하며, 본 연구에서는 터치 패널을 로봇의 피부로 사용하여 물리적 상호작용을 하는 방법을 제안하고 전체적인 시스템을 구축하여 실험을 통해 힘/토크 센서의 정확성과 소자 타입 센서의 경제성을 보이고자 한다. 실험은 터치 패널에서 기준점을 잡아 제스처를 생성하여 로봇 팔을 제어하는 방법과 엔드이펙터에 장착하여 로봇 팔을 제어하는 방법에 대해 진행하였다. 이러한 실험을 통해 터치 패널을 이용한 교시 제어의 가능성도 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제13권8호
• /
• pp.1235-1244
• /
• 2010

최근 아이폰을 필두로 급부상하는 스마트폰의 정전기식 입력 장치에서는 펜 입력장치나 감압식 입력 장치를 위해 만들어진 제스처기반 인터페이스가 적합하지 않다. 손가락 튕김 인터페이스는 기존의 제스처기반 인터페이스에서 사용했던 플릭 제스처와 달리 명령을 적용시킬 대상과 명령을 동시에 선택함으로 작업 단계를 절반으로 감소시킬 수 있다. 뿐만 아니라, 멀티터치 인터페이스와 병합하여 사용함으로 다양한 메뉴 지원이 가능하여 복잡한 제스처를 학습할 필요가 없고, 정전기식 입력 장치 장치에 사용하기 적합하여 입력 오류를 최소화 시킨다. 본 연구에서는 정전기식 입력 장치를 가지는 스마트 폰 장치에서의 파일 관리를 빠르게 해주는 다중 손가락 튕김 인터페이스를 설계하고 구현한다. 실험에서는 사용자 평가를 통해 제안하는 인터페이스가 정전기식 입력 장치에서 기존 방식보다 유용함을 증명한다.

• 한국전자통신학회논문지
• /
• 제18권6호
• /
• pp.1313-1320
• /
• 2023

본 논문에서는 그로브 제스처를 사용하여 스마트 미러의 화면을 제어하고 음성인식 기능을 통해 화면에 웹 브라우저 검색 기능과 거울화면을 제어할 수 있는 스마트 미러를 제안하였다. 스마트 미러의 하드웨어 구성은 LCD모니터에 아크릴 판을 결합하고 반사율 37% 투과율 36%의 하프미러필름을 아크릴판에 부착하여 거울처럼 사용함과 동시에 거울에 디스플레이를 표시하도록 제작하였다. 제안한 스마트 미러는 사용자가 직접 거울을 터치하거나 키보드를 조작하는 등의 번거로운 작업 없이 그로브 제스처 센서를 통해 간단한 손동작만으로 화면을 제어할 수 있는 기능을 구현하였으며 음성인식 기능과 GoogleAssistant를 도입하여 사용자가 내린 음성명령에 일치하는 결과를 화면에 출력하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.666-671
• /
• 2006

'Multi modal 인터페이스'란 인간과 기계의 통신을 위해 음성, 키보드, 펜을 이용, 인터페이스를 하는 방법을 말한다. 최근 들어 많은 휴대용 단말기가 보급 되고, 단말기가 소형화, 지능화 되어가고, 단말기의 어플리케이션도 다양해짐에 따라 사용자가 보다 편리하고 쉽게 사용할 수 있는 입력 방법에 기대치가 높아가고 있다. 현재 휴대용 단말기에 가능한 입력장치는 단지 단말기의 버튼이나 터치 패드(PDA 경우)이다. 하지만 장애인의 경우 버튼이나 터치 패드를 사용하기 어렵고, 휴대용 단말기로 게임을 하는데 있어서도, 어려움이 많으며 새로운 게임이나 어플리케이션 개발에도 많은 장애요인이 되고 있다. 이런 문제점들은 극복하기 위하여, 본 논문에서는 휴대용 단말기의 새로운 Multi Modal 인터페이스를 제시 하였다. PDA(Personal Digital Assistants)를 이용하여 더 낳은 재미와 실감을 줄 수 있는 Multi Modal 인터페이스를 개발하였다. 센서를 이용하여 휴대용 단말기를 손목으로 제어를 가능하게 함으로서, 사용자에게 편리하고 색다른 입력 장치를 제공 하였다. 향후 음성 인식 기능이 추가 된다면, 인간과 인간 사이의 통신은 음성과 제스처를 이용하듯이 기계에서는 전통적으로 키보드 나 버튼을 사용하지 않고 인간처럼 음성과 제스처를 통해 통신할 수 있을 것이다. 또한 여기에 진동자를 이용하여 촉감을 부여함으로써, 그 동안 멀티 모달 인터페이스에 소외된 시각 장애인, 노약자들에게도 정보를 제공할 수 있다. 실제로 사람은 시각이나 청각보다 촉각에 훨씬 빠르게 반응한다. 이 시스템을 게임을 하는 사용자한테 적용한다면, 능동적으로 게임참여 함으로서 좀더 실감나는 재미를 제공할 수 있다. 특수한 상황에서는 은밀한 정보를 제공할 수 있으며, 앞으로 개발될 모바일 응용 서비스에 사용될 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제20권6호
• /
• pp.41-50
• /
• 2020

본 논문에서는 기존의 점자 학습 제품의 단점들을 보완한 점자 교육 시스템을 다룬다. 시각장애인 전용 어플리케이션은 사용자 편의성을 위해 터치 제스처 및 음성 안내를 통하여 전체 기능을 수행할 수 있도록 구성한다. 점자키트는 아두이노와 3D 프린팅을 통해 교육 목적에 맞게 제작한다. 시스템은 다음과 같은 기능들을 지원한다. 첫 째, 초성·종성·모음·약어 등 기초적인 점자의 학습. 둘 째, 단계별 퀴즈를 풀어 학습한 점자를 확인하는 기능. 셋 째, 모르는 점자가 있을 때 번역하는 기능이다. 실험을 통한 터치 제스처의 인식률과 점자 표현의 정확도를 확인하였고 번역의 경우 의도한대로 번역이 되는 것을 확인하였다. 이 시스템을 통해 시각장애인이 효율적으로 점자를 학습할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.1059-1063
• /
• 2009

모바일 폰의 메뉴 구조는 하이퍼텍스트 형태로 정보를 제공하며 링크의 연결로 페이지 정보를 전달하거나 하부 카테고리로 연결하는 역할을 한다. 모바일 폰 사용자는 메뉴 조작을 통해 기능을 실행하며, 이 과정에서 선형구조, 계층형 구조, 대화형 구조, 데이터베이스 구조, 혼합구조와 같은 다양한 형태를 경험하게 된다. 사용자는 모바일 폰의 다양한 기능을 사용하면서 추상적 개념의 공간 인지를 구체적인 공간으로 이해하려 한다. 즉 UI, GUI에서 제시하고 있는 Label이나 방향표시를 따라 상하좌우라는 공간적 개념으로 은유하여 이해하는 것이다. 하드키 단말의 경우는 상하좌우키를 이용하여 공간을 이해했다면 최근에는 터치 및 제스처 동작 인식이 가능한 폰이 등장하면서 좌우 flick, 상하 flick 등과 같은 구체적인 행동으로 디바이스 화면에서 공간이 이동하는 것으로 이해하고 있다. 본 논문에서 사용자의 공간 은유를 이해하기 위해 상위 depth로 이동하는 [이전] 키의 기능을 중심으로 살펴보고자 한다. 첫째, 기능을 수행하기 위해 순차적으로 진행하는 방법보다는 [취소]를 이용하여 depth를 이동하는 것이 사용자의 모바일 폰의 공간 은유 파악에 더욱 도움을 줄 수 있을 것이라고 예상되기 때문이다. 둘째, [이전], [취소]라는 Label이 가지고 있는 모호성 때문이다. 모바일 폰의 다양한 기능 중에서 [이전]는 전체 사용에 있어 아주 작은 요소에 불과하지만 사용자는 정해진 순서의 process에 따라 기능을 수행할 때와는 다르게 역 방향 Process를 사용하면서 모바일 폰의 구조를 이해하고 모바일 공간을 인지하는 중요한 요소로 사용될 수 있을 것이라고 예상된다. 본 논문에서는 이전으로 돌아가는 [이전]의 기능을 통해 사용자가 메뉴의 층위 구조 및 공간 인지에 영향을 미칠 수 있을 것이다라는 가설을 설정하여 이를 실험을 통해 증명하고자 한다. 실험을 위해 모바일 폰을 자주 사용하고 있는 20~30대 남녀 10명의 피험자에게 전화번호부, 앨범, 문자메시지의 목록화면과 상세보기 화면을 제시한 후 마지막 상세보기 화면에서 실험에서 제시하는 제시어를 보고 어느 화면으로 이동하게 될 것인지를 예상하는 질문을 하였으며, 그러한 이유에 대해서는 인터뷰를 통해 확인하였다. 이 실험을 통해 사용자의 모바일 폰 공간인지는 동일한 레벨의 단계 즉 상세보기의 경우는 수평의 관계라고 보고 있으며, 목록화면과 상세화면의 관계는 상하의 관계라고 이해하고 있다. 이러한 이유를 인터뷰를 통해 질문하였을 때, 상세화면에서 좌우 방향표시가 존재하기 때문이라는 응답이 높았으며, 상세보기 화면이 좌우라고 인식하면 목록화면은 상하의 관계로 이해하고 있다고 응답하였다. 즉 하나의 정해진 공간인지를 통해 다른 공간을 유추하여 생각하고 있다고 볼 수 있다. 또한 결과적으로 실제 단말에서 [이전] 기능을 상위 depth로 이동하도록 설계하였다면 [한단계위]라는 Label 또는 e번과 같은 상위의 개념을 포함한 아이콘을 사용한다면 혼란을 줄일 수 있는 방법으로 활용될 수 있을 것으로 예상된다. 현재 논문에서는 [이전]라는 기능으로만 사용자의 공간 개념을 예측할 수 있었지만, 터치스크린의 등장과 함께 플릭과 같은 다양한 제스처에 의한 인터렉션이 가능한 현 시점에서 추상적인 공간은 방향성을 가진 제스처에 의해 구체적인 물리적 공간으로 인식하는 경향이 더욱 뚜렷이 나타나고 있다. 이러한 시점에서 사용자의 공간인지에 도움을 줄 수 있는 Label과 방향성 표시는 더욱 절실히 요구되고 있는 시점이며, 이후 모바일 환경에서 사용자의 공간인지에 대한 구체적인 연구가 필요하리라고 예상된다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(A)
• /
• pp.112-116
• /
• 2010

본 논문에서는 테이블탑 디스플레이을 기반으로한 RealBook에 대하여 제안한다. 전자책은 일반 종이책이 아닌 컴퓨터를 이용한 가상의 책으로써 사용자가 독서를 하는 도중 동영상 자료를 보거나 배경음악을 들을 수 있게 해주는 멀티미디어 콘텐츠이다. 또한, 테이블탑 디스플레이 플랫폼에서 사용하므로 손의 직접적인 터치를 이용하여 전자책과 사용자 간의 좀 더 다양한 상호작용이 가능하도록 한다. 테이블탑 디스플레이에서는 손가락의 터치 점을 이용하여 다양한 제스처를 정의할 수 있어서, 사용자가 기존 입력 장치에 비해 보다 효과적으로 전자책을 체험하는 것을 돕는다. 본 논문에서는 제안하는 방법은 기존 전자책과 차별화된 상호작용 디지털와 아날로그를 결함한 책(Real book)으로써 전자책에 대한 새로운 방향을 제시할 수 있고, 미디어 아트와 스토리텔링 기법을 접목시켜 사용자에게 정보 전달뿐만 아니라 예술과 오락 등을 제공할 수 있다. 앞으로 컴퓨터와 사용자간의 상호작용을 원활하게 할 수 있어 다양한 어플리케이션 개발에 활용될 수 있고 향후 미래 지향적 시스템이 될 것이다.

• 한국전자거래학회지
• /
• 제21권4호
• /
• pp.151-159
• /
• 2016

사용자 인터페이스는 어플리케이션 사용자에게 효율적인 서비스를 제공하는데 있어 중요한 요소이다. 특히 언제 어디서나 실행 가능한 모바일 어플리케이션들은 다른 도메인의 어플리케이션 보다 사용성의 우선순위가 높다. 기존의 연구들은 어플리케이션의 사용성 향상을 위해서 프로토타입과 스토리보드 방식을 활용하여 해당 어플리케이션의 사용성에 대한 설문을 수행했다. 하지만 이러한 방식은 특정 어플리케이션의 사용성 관련 문제점을 지속적으로 식별하고 개선하는데 한계가 있다. 따라서 본 논문에서는 터치 제스처 데이터를 이용하여 사용성을 분석하는 기법을 제안하고 있다. 이는 어플리케이션이 배포된 후에도 지속적으로 사용자의 의도를 파악하여 어플리케이션의 UI/UX 문제점을 식별하고 개선시킬 수 있다.

• 방송공학회논문지
• /
• 제21권1호
• /
• pp.11-23
• /
• 2016

터치 인터페이스는 가장 최근에 등장한 상호작용 인터페이스 중에서도 그 사용성과 응용성이 뛰어난 인터페이스이다. 기술의 발전과 더불어 터치 인터페이스는 현대 사회에서 시계에서부터 광고판까지 많은 영역에 걸쳐 빠르게 퍼져나가고 있다. 하지만 여전히 터치 상호작용은 접촉식 센서가 내장되어있는 유효한 영역 내에서만 이루어질 수 있다. 따라서 센서가 내장될 수 없는 일반적인 사물들과의 상호작용은 아직 불가능한 상황이다. 본 논문에서는 이와 같은 제약 사항을 극복하기 위해 RGB-D 카메라를 이용한 사람-사물 상호작용 프레임워크를 제안한다. 제안하는 프레임워크는 물체와 사용자의 손이 서로 가려지는 상황에서도 서로 문제없이 상호작용을 수행할 수 있는 장점을 가지고 있으며, 빠르고 크기 변화와 회전에 강인한 물체 인식 알고리즘과 윤곽 정보를 이용한 손 제스처 인식 알고리즘을 통해 실시간으로 사용자가 사물과 상호작용을 수행할 수 있다.