• 한국멀티미디어학회논문지
• /
• 제15권11호
• /
• pp.1384-1390
• /
• 2012

신체의 감각기관 중에서도 손가락의 운동과 감각 부분이 뇌에 가장 큰 영향을 미친다는 것은 널리 알려진 사실이다. 본 연구는 이러한 사실에 주목하여 교육, 훈련, 건강증진 등의 목적으로 다양하게 활용이 가능한 기능성 게임 장치를 개발하되, 주로 두뇌향상을 위한 다섯 손가락의 균형적 사용에 초점을 맞춘 게임 콘텐츠를 위한 장치 개발하고자 한다. 제안하고 있는 게임 장치는 본체 부분만을 독립적으로 사용하는 '오프라인' 방식과 스마트폰 등의 단말기와 연동하여 사용하는 '온라인' 방식의 2가지 방식으로 게임을 즐길 수 있다. '온라인' 방식으로 동작할 때는 블루투스를 통해서 연동되는 단말기에서 시각 정보를 표시하여 게임을 진행하는 것이 가능하고 '오프라인' 방식에서는 주로 청각과 촉각 등을 이용하여 두뇌 훈련을 하거나 정서를 함양하도록 고안되었다. 본 게임장치의 성능과 활용 가능성을 살펴보기 위해서, 연령에 관계없이 모두가 즐길 수 있는 온라인 모드의 슈팅게임과 촉각이나 청각에 의존하는 고령자 친화형 게임콘텐츠인 낚시게임을 개발하였다. 낚시 게임은 온라인 모드로 게임을 진행하는 것도 가능하지만 오프라인 모드에서는 청각과 순발력을 이용하여 다섯 손가락을 균형 있게 사용하게 함으로써 뇌활동이 저하되는 고령자가 게임을 통해 치매, 기억력 저하 등의 인지기능 장애를 예방하는데 도움을 줄 수 있다.

• 인터넷정보학회논문지
• /
• 제15권3호
• /
• pp.11-19
• /
• 2014

내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.666-671
• /
• 2006

'Multi modal 인터페이스'란 인간과 기계의 통신을 위해 음성, 키보드, 펜을 이용, 인터페이스를 하는 방법을 말한다. 최근 들어 많은 휴대용 단말기가 보급 되고, 단말기가 소형화, 지능화 되어가고, 단말기의 어플리케이션도 다양해짐에 따라 사용자가 보다 편리하고 쉽게 사용할 수 있는 입력 방법에 기대치가 높아가고 있다. 현재 휴대용 단말기에 가능한 입력장치는 단지 단말기의 버튼이나 터치 패드(PDA 경우)이다. 하지만 장애인의 경우 버튼이나 터치 패드를 사용하기 어렵고, 휴대용 단말기로 게임을 하는데 있어서도, 어려움이 많으며 새로운 게임이나 어플리케이션 개발에도 많은 장애요인이 되고 있다. 이런 문제점들은 극복하기 위하여, 본 논문에서는 휴대용 단말기의 새로운 Multi Modal 인터페이스를 제시 하였다. PDA(Personal Digital Assistants)를 이용하여 더 낳은 재미와 실감을 줄 수 있는 Multi Modal 인터페이스를 개발하였다. 센서를 이용하여 휴대용 단말기를 손목으로 제어를 가능하게 함으로서, 사용자에게 편리하고 색다른 입력 장치를 제공 하였다. 향후 음성 인식 기능이 추가 된다면, 인간과 인간 사이의 통신은 음성과 제스처를 이용하듯이 기계에서는 전통적으로 키보드 나 버튼을 사용하지 않고 인간처럼 음성과 제스처를 통해 통신할 수 있을 것이다. 또한 여기에 진동자를 이용하여 촉감을 부여함으로써, 그 동안 멀티 모달 인터페이스에 소외된 시각 장애인, 노약자들에게도 정보를 제공할 수 있다. 실제로 사람은 시각이나 청각보다 촉각에 훨씬 빠르게 반응한다. 이 시스템을 게임을 하는 사용자한테 적용한다면, 능동적으로 게임참여 함으로서 좀더 실감나는 재미를 제공할 수 있다. 특수한 상황에서는 은밀한 정보를 제공할 수 있으며, 앞으로 개발될 모바일 응용 서비스에 사용될 수 있다.

• 정보교육학회논문지
• /
• 제16권4호
• /
• pp.419-427
• /
• 2012

본 논문에서는 학교 교실 수업에 교육용 로봇과 증강 현실 기술을 결합하여 적용하였을 때 증강 현실과 로봇이라는 기술적인 요소가 학습자의 학습 경험에 어떤 영향을 미치는지를 알아보는데 중점을 두었다. 이를 위해 증강현실과 로봇 기술을 결합한 인터랙티브 학습 환경과 수업 모형을 개발하고 교실 수업에 적용하였다. 개발된 학습모형은 기존의 문제중심학습 모형을 기반으로 하였다. 개발된 시스템은 초등학교 5,6학년 18명을 대상으로 정규수업 시간에 8주간 적용하였다. 본 연구를 통해 얻은 결과는 로봇과 증강 현실을 결합한 인터랙티브 학습 경험을 통해서 학생들의 창의성을 높일 수 있음을 알 수 있었다. 연구결과 특이점은 증강현실과 로봇이라는 새로운 기술테크놀로지를 통해 성적이 하위권 학생들이 상위권 학생들보다 창의성 점수가 크게 증가함을 알 수 있었다.

• 한국정보통신학회논문지
• /
• 제20권7호
• /
• pp.1317-1324
• /
• 2016

아두이노 플렛폼을 활용하여 스마트 주얼리에 보석처럼 빛나는 효과를 나타내기 위해 감성적인 주얼리로 색을 표현하였다. 감성적인 색 표현을 위해 플러칙의 감정 팽이 모형을 활용하여 감정과 색의 유사성을 적용하였다. 스마트폰에서 쉽게 접할 수 있는 온도, 조도, 소리, 자이로 센서와 스마트 주얼리의 맥박센서로부터 인식된 값을 입력받아 감성을 인식하고 처리하는 과정은 온톨로지 기반의 추론규칙을 적용하고, 상황정보에서 나타난 감성에 따라 감성 색을 찾고 그 감성 색을 스마트 주얼리의 LED에 적용하였다. 주얼리 착용자의 감정에 따라 스마트 주얼리에 내장된 LED에 결정된 감성 색으로 빛을 냈다.

• 정보과학회 논문지
• /
• 제43권12호
• /
• pp.1365-1375
• /
• 2016

일상생활 환경 속에서 자율적으로 동작하는 서비스 로봇에게 가장 필수적인 능력 중 하나가 동적으로 변화하는 주변 환경에 대한 올바른 상황 인식과 이해 능력이다. 다양한 센서 데이터 스트림들로 부터 신속히 의사 결정에 필요한 고수준의 상황 지식을 생성해내기 위해서는, 멀티 모달 센서 데이터의 융합, 불확실성 처리, 기호 지식의 실체화, 시간 의존성과 가변성 처리, 실시간성을 만족할 수 있는 시-공간 추론 등 많은 문제들이 해결되어야 한다. 이와 같은 문제들을 고려하여, 본 논문에서는 지능형 서비스 로봇을 위한 효과적인 동적 상황 관리 및 시-공간 추론 방법을 제시한다. 본 논문에서는 상황 지식 관리와 추론의 효율성을 극대화하기 위해, 저수준의 상황 지식은 센서 및 인식 데이터가 입력될 때마다 실시간적으로 생성되지만, 반면에 고수준의 상황 지식은 의사 결정 모듈에서 요구가 있을 때만 후향 시-공간 추론을 통해 유도되도록 알고리즘을 설계하였다. Kinect 시각 센서 기반의 Turtlebot를 이용한 실험을 통해, 제안한 방법에 기초한 동적 상황 관리 및 추론 시스템의 높은 효율성을 확인할 수 있었다.

• 한국인터넷방송통신학회논문지
• /
• 제16권6호
• /
• pp.203-209
• /
• 2016

디지털 관광은 여행 전, 동안, 이후에 관광객의 활동을 디지털로 지원한다[1]. GPS를 지원하는 스마트폰은 주요 관광지에서 투어 가이드와 스토리텔링 서비스와 같은 위치 기반 모바일 어플리케이션을 제공한다. 본 논문에서 지리정보시스템을 기반으로 스마트 관광 서비스 플랫폼을 제안하고 제주도의 주요 관광명소에서 스마트 투어 가이드 서비스를 제공하기 위한 모바일 어플리케이션을 개발한다. 제안하는 스마트 관광 서비스 플랫폼은 관광지도와 지리정보시스템, 콘텐츠 관리 시스템, 멀티모달 내비 시스템, 관광지 콘텐츠 제작 및 관리시스템, 여행상품 제작 및 관리시스템, 스마트 검색 시스템과 사용자 단말기로 구성된다. 스마트 투어 모바일 어플리케이션은 제안하는 스마트 관광 플랫폼을 이용하여 제주 유명 관광명소에서 여행 전, 동안, 이후의 디지털 관광을 지원한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.141-146
• /
• 2008

최근 유비쿼터스 환경에서의 다양한 서비스에 대한 연구가 활발히 진행되고 있다. 이러한 서비스들은 사용자의 컨텍스트를 해석하는 것이 중요하며, 이를 위해 PDA, GPS, 가속도 센서 등 다양한 센서들이 활용되고 있다. 가속도 센서와 같은 저급의 연속적인 데이터를 수집하는 센서는 그 데이터를 직접 활용하는 것이 어려우므로 전처리 하는 것이 중요하다. 하지만 실시간으로 전처리하고 컨텍스트를 통합하는 시스템에 대한 연구가 미흡하다. 본 논문에서는 XMI 을 활용하여 가속도 센서와 생리적 신호 센서 등과 같은 저급의 데이터를 전처리하고 컨텍스트를 통합하는 시스템을 제안한다. XML을 통하여 센서 네트워크의 구조를 정의하고, 각 센서별로 수집되는 데이터와 데이터에 해당하는 컨텍스트의 룰을 정의할 수 있다. 제안하는 시스템은 XML을 통하여 센서 네트워크에 센서를 추가할 때와 컨텍스트의 룰을 수정할 때 소스의 수정을 줄여준다. 그리고 이 시스템을 활용하여 실시간으로 데이터를 모니터링하는 시스템을 구현하여 난해한 데이터의 변화를 그래프로 표현해 데이터의 검증을 도와주며, 실시간으로 전처리의 결과를 확인하여 변화가 가능하고, 다른 외부 서비스나 어플리케이션에 사용자의 컨텍스트의 제공을 용이하게 해준다.

• 방송공학회논문지
• /
• 제9권1호
• /
• pp.2-7
• /
• 2004

본 논문에서는 내용 기반 음악 정보 검색에 MPEG-7에 정의된 오디오 서술자를 적용하는 방법을 제안한다. 특히 Pitch 정보와 timbral 특징들은 음색 구분을 용이하게 할 수 있어 음악 검색뿐만 아니라 음악 장르 분류 또는 QBH(Query By Humming)에 이용 될 수 있다. 이러한 방법을 통하여 오디오 신호의 대표적인 특성을 표현 할 수 있는 특징벡터를 구성 할 수 있다면 추후에 멀티모달 시스템을 이용한 검색 알고리즘에도 오디오 특징으로 이용 될 수 있을 것이다. 본 논문에서는 방송 시스템에 적용하기 위해 영화나 드라마의 배경음악에 해당하는 O.S.T 앨범으로 검색 범위를 제한하였다. 즉, 사용자가 임의로 검색을 요청한 시점에서 비디오 컨텐츠로부터 추출한 임의의 오디오 클립만을 이용하여 그 컨텐츠 전체의 O.S.T 앨범 내에서 음악을 검색할 수 있도록 하였다. 오디오 특징 백터를 구성하기 위해 필요한 MPEG-7 오디오 서술자의 조합 방법을 제안하고 distance 또는 ratio 계산 방식을 통해 성능 향상을 추구하였다. 또한 reference 음악의 템플릿 구성 방식의 변화를 통해 성능 향상을 추구하였다. Classifier로 k-NN 방식을 사용하여 성능평가를 수행한 결과 timbral spectral feature 보다는 pitch 정보를 이용한 특징이 우수한 성능을 보였고 vector distance 방식으로는 특징들의 비율을 이용한 IFCR(Intra-Feature Component Ratio) 방식이 ED(Euclidean Distance) 방식보다 우수한 성능을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제16권12호
• /
• pp.93-102
• /
• 2011

본 논문은 야외 환경에서 하나의 카메라를 이용한 시각 장애인을 위한 보행 안내 시스템을 제안한다. 기존의 스테레오 비전을 이용한 보행 지원 시스템과는 다르게 제안된 시스템은 사용자의 허리에 고정된 하나의 카메라를 이용하여 꼭 필요한 정보만을 얻는 것을 목표로 하는 시스템이다. 제안하는 시스템은 먼저 탑-뷰 영상을 생성하고, 생성된 탑-뷰 영상 내 지역적인 코너 극점을 검출한다. 검출된 극점에서 방사형의 히스토그램을 분석하여 장애물을 검출한다. 그리고 사용자 움직임은 사용자에 가까운 지역 안에서 옵티컬 플로우를 사용하여 추정한다. 이렇게 영상으로부터 추출된 정보들을 기반으로 음성 메시지 생성 모듈은 보행 지시 정보를 합성된 음성을 통해 시각 장애인에게 전달한다. 다양한실험 영상들을 사용하여 제안한 보행 안내 시스템이 일반 인도에서 유용한 안내 지시를 제공하는 것이 가능함을 보인다.