• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (A)
• /
• pp.92-97
• /
• 2008

적절한 촉각자극과 결합된 효과음은 실감성을 향상시킨다고 알려져 있다. 예를 들어, 영화나 게임의 총소리 효과음에 진동자극이 결합되면 훨씬 몰입감이 증진된다. 영화의 경우, 미디어 파일 내에 진동효과 관련한 정보를 부가하는 연구가 진행되기도 하였으나 대중화되지는 못했다. 게임의 경우, 진동을 유발시키도록 프로그래밍하는 방식을 사용하기도 한다. 하지만 진동을 고려하여 개발하는 게임은 전체 10% 미만일 정도로 일반화되어 있지 않다. 따라서 효과음향을 실시간으로 감지하여 진동을 발생시키는 시스템이 바람직하다. 본 논문에서는 이러한 시스템에서 특정 효과음을 실시간으로 감지하는 알고리즘을 제안한다. 이 알고리즘에서는 감지하고자 하는 효과음의 주파수 분포를 미리 분석해서 저장해 놓는다. 입력되는 효과음에 대해 실시간으로 주파수를 분석하여 저장된 값과의 차이를 비교하여 특정 효과음을 감지하게 된다. 실시간 주파수 분포에는 sliding fast Fourier transform (SFFT)를 사용한다. 이는 특정 효과음의 시작순간을 명확히 알 수 없기 때문이다. 제안 알고리즘을 First Person Shooting (FPS) 게임에 적용하여 성능분석을 하였다. 소음이 없을 경우, 감지율은 $80{\sim}90%$였으나, 소음 정도가 커질수록 감지율이 선형적으로 반비례하였다. 또한 감지에 걸리는 시간은 효과음 발생순간부터 0.45초 이내였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.158-162
• /
• 2009

적절한 촉각자극은 사운드 효과의 실감성을 증진시킬 수 있다. 예를 들어, 게임이나 영화 등에서 총소리와 함께 발생하는 진동자극은 감상자의 몰입감을 향상시킬 수 있다. 이러한 맥락에서 음향만을 담고 있는 기존 사운드 파일에 촉각자극정보를 부가하여 사운드 플레이와 함께 햅틱장치를 통해 진동자극을 준다면 좀 더 사실감 있는 사운드 체험을 할 수 있을 것이다. 본 논문에서는 사운드 파일을 분석하여 그에 따른 촉각자극정보를 생성하는 방법을 제안한다. 촉각자극정보란 사운드 파일 내에서 특정 소리가 발생하는 시간위치와 발생시켜야 하는 촉각자극패턴이다. 수작업으로 이러한 촉각자극정보를 생성하는 것은 많은 수고를 필요로 한다. 본 논문은 이러한 수작업을 대체할 수 있도록, 사운드 파일에서 특정 소리의 발생시점을 검색할 수 있는 사운드 감지 알고리즘과 촉각자극정보 생성방식을 제안한다. 사운드 감지 알고리즘은 검색하고자 하는 사운드의 주파수 특성을 이용하여 유사한 특성을 가지는 시점들을 찾아낸다. 개발한 알고리즘을 실험한 결과, 5가지 서로 다른 사운드에 대해 98% 이상의 감지 성공률을 얻을 수 있었다. 연구 결과를 종합하여 GUI기반의 진동패턴 생성 유틸리티를 개발하였다. 이 유틸리티를 이용하면 사운드 파일에서 특정 소리의 발생 부분을 자동으로 검색하고, 그 시점마다 원하는 진동정보를 손쉽게 생성할 수 있다.

• 한국측량학회지
• /
• 제28권6호
• /
• pp.669-676
• /
• 2010

여러 종류의 센서로부터 획득한 공간데이터를 효과적으로 분석하고 이용하기 위해서는 시각화가 필요하다. 센서 데이터로부터 실세계를 모델링한 3차원 디지털 공간정보를 사용자에게 전달하기 위한 최상의 방법은 실감적인 입체 시각화와 디스플레이 기술이다. 대부분의 디스플레이 방법은 2D 또는 2.5D 투영 기반의 시각화이므로 3차원 공간상에 존재하는 실세계를묘사하는데 한계가 있다. 그러므로 본 논문에서는 3차원 공간 데이터로 지형 매핑에 활용도가 높은 항공 라이다. 최근에 개발되어 향후 공간정보 획득 기술로서 잠재력이 높게 평가되고 있는 Flash-LiDAR와 해저공간 정보획득을 위한 음향 측심기 데이터를 셔터안경 방식의 고해상도 입체 디스플레이 모니터상에 입체 시각화하였다. 측량 및 공간정보 분야에서도 일반 대중들의 관심이 높아지고 있는 3D 모니터를 정보전달의 매개체로 활용하기 위해서는 공간정보의 입체 콘텐츠 생성에 관한 연구가 진행되어야 한다.

• Journal of Platform Technology
• /
• 제6권4호
• /
• pp.78-86
• /
• 2018

본 논문에서는 유명한 산에 대한 가상현실을 제공하고, 등산하고자 하는 산에 대한 기온, 공기, 음향, 메아리 등의 실제 산 환경요인을 제공하여 실제 등산할 때 느끼는 오감과 실감을 지원할 수 있는 VR기반의 사이버 등산 시스템을 설계하였다. 실시간 현장상황을 반영하는 VR기반의 사이버 등산 시스템은 크게 실시간 현장의 데이터를 수집하는 데이터 수집모듈, 현장의 데이터를 이용하여 사용자에게 오감을 느끼게 하는 다수개의 구동모듈 그리고 구동모듈에서 제공되는 자극과 사용자의 신체변화추이를 감지하기 위한 센서모듈로 설계하였다. 제안된 사이버 등산시스템은 기존의 VR기반 등산시스템과 달리, 등산하고자 하는 산에 대한 단순한 가상현실뿐만이 아니고 실제 산의 자연조건들을 제공할 수 있고 등산로의 오르막 내리막까지 구현이 가능할 것이다. 특히, 실제 등산에서 발생할 수 있는 불필요한 조건과 위험요소는 배제하고 오히려 실제 등산로에 다람쥐와 같은 증강현실을 지원하여 사용자에게 재미와 게임적 요소를 제공하는 효과가 있다. 또한, 등산 전후 신체의 변화를 사용자에게 제공함으로써, 등산높이, 경사도, 등산속도 등의 다양한 피드백을 제공할 수 있는 효과가 있을 것으로 기대된다.

• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.432-443
• /
• 2017

MPEG-H 3D 오디오 표준은 UHDTV 등의 초고해상도 방송서비스에 대응하는 실감음향 서비스의 제공을 목표로 한다. 이를 위해 본 표준은 다채널 신호, 객체 신호, 장면 기반 신호의 부호화/복호화 기술과 다양한 재생 환경에서 3차원 오디오 제공을 위한 렌더링 기술, 후처리 기술 등 방대한 기술을 통합하였다. 본 표준의 참조 소프트웨어 복호화기는 여러 모듈들이 결합된 구조로 다양한 모드에서 동작이 가능하며, 각 모듈들이 독립된 실행파일로 순차적으로 실행되어 실시간 처리가 불가능하다. 본 논문에서는 MPEG-H 3D 오디오의 코어 복호화기, 포맷 변환기, 객체 렌더러, 바이노럴 렌더러의 각 함수를 동적 라이브러리화 및 통합하여 프레임 기반 복호화가 가능하도록 하였다. 또한 MPEG-H 3D 오디오의 각 모드별 연산량을 측정하여 다양한 하드웨어 플랫폼에서 적합한 모드를 선택하기 위한 참고 자료를 제공한다. 연산량 분석 결과, 한국 방송 표준에 포함된 저연산량 프로파일은 채널 신호로 렌더링을 할 경우 QMF 합성 연산의 2.8배에서 12.4배의 연산량을 가지며, 바이노럴 렌더링을 할 경우 QMF 합성 연산의 4.1배에서 15.3배의 연산량을 가진다.

• 감성과학
• /
• 제8권4호
• /
• pp.423-433
• /
• 2005

컴퓨터 하드웨어의 발전은 예술과 기술의 결합을 더욱 결속시키는 계기가 된다. 기계간의 상호작용에서 관객이 간섭할 수 있게 되면 그 결과물은 관객이 작품을 완성한다고 한다 기술의 업그레이드가 진화하며 재사용 되는 경우를 '피드백'이라 말할 수 있다. 백남준의 '참여 TV'는 기계가 인간의 행동에 반응하여 시지각 정보를 실시간으로 행위의 정도에 따라 반응하여 결과물을 보여주는 기본 방식을 갖춘 작품이다 댄 그래함의 작품에서 시공의 피드백을 경험할 수 있다. '연속되는 과거로 이루어지는 현재'라는 설치를 통해 관객의 영상이 거울에 피드백되는 상황 속에서 모니터에서는 5초 전 관객이 했던 영상을 재생시키는 장치를 하였다. 빌 비올라의 영상과 음향의 실시간 확대라는 점에서 감성을 자극하는 공명의 피드백을 일으키고 있는 작품처럼 우연의 시간과 관객의 등장을 바탕으로 한 작가의 철학이 읽혀지는 작품으로 승화되어야 하는 것이 현대 미디어 아트가 풀어 나가야 할 근본적인 화두이다. 스텔락은 몸과 기계 그리고 신경과 두뇌가 발생시키는 신호 체계에 많은 관심을 보였다. 미디어인 몸과 터미널 디스플레이 행위자로 결국 맥루한이 말한 몸의 확장으로서의 미디어 자체가 되었다. 제프리 쇼는 '명료한 도시 legible City'에서 관객의 몸이 관여하여 페달의 속도와 핸들의 움직임에 영상이 반응한다. 작품 'RE:MARK'는 에드몽 뀨쇼(Edmond Couchot)의 '바람에 심는다.' 나 백남준의 '참여 TV'에서 보여주었듯이 마이크를 입력장치로 사용하여 인터렉션을 유도하였다. 피아간의 피드백이 없으면 커뮤니케이션도 없다. 실감을 느끼는 관객들은 작품에 감동한다 피드백 현상이 자연스러워야 하는 이유이다. 작가 정신의 숭고한 고유-독창성(Originality)이 피드백의 경로를 투과하면서 자신을 남에게 투영시켜 얻어내는 것이 고유성의 변종이다. 피드백은 단순한 작품의 일부가 아니라 작품을 이루는 뼈대이다 기술의 과시만으로는 예술의 행위가 될 수 없다. 작가의 예술성이 관객의 감성에 피드백 되도록 노력해야 한다 그러기 위해서는 예정된 피드백이란 느낌을 관객이 갖지 않도록 하여야 한다. 인터렉티브 미디어 아트는 초기의 형태에서 벗어나 새로운 집적된 피드백 기술로 전환하여야 할 시기가 온 것이다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권6호
• /
• pp.275-284
• /
• 2023

가상 현실 시뮬레이션은 다양한 분야에서의 교육과 훈련에 활용이 되며, 특히 최근에는 의료 분야에서 많이 사용되고 있다. 교육/훈련용 시뮬레이터는 의사가 실제 수술 도구를 이용하여 실제 환자에 대해 처치를 하는 것과 같은 느낌이 나게 하는 촉감/역감 생성 및 영상/음향 출력 하드웨어와 여기에 실감 나는 영상과 촉감을 생성해주는 소프트웨어로 이루어진다. 기존의 시뮬레이터들은 수술 시에 사용되는 다양한 수술 도구들을 모사하기 위해 다양한 형태의 하드웨어들을 사용해야 하므로 복잡하고 비용이 많이 소요되는 문제가 있다. 이 논문에서는 포스 피드백 장치와 변형 가능한 햅틱 컨트롤러를 이용한 치과 수술 시뮬레이션 시스템을 제안한다. 햅틱 하드웨어들은 수술 도구와 수술 부위의 충돌 여부를 파악하고 그에 따른 저항감과 진동감을 제공한다. 특히 길이 변화, 굽힘과 같은 변형이 가능한 햅틱 컨트롤러는 여러 수술 도구들의 형태에 따라 느껴지는 다양한 감각을 표현할 수 있다. 사용자가 햅틱 피드백 장치를 조작하면 햅틱 피드백 장치의 움직임이나 버튼 클릭 등의 이벤트가 시뮬레이션 시스템에 전달되어 치과용 수술 도구와 구강 내부 모델들 사이의 상호작용이 발생하고 이에 따른 햅틱 피드백이 햅틱 피드백 장치로 전달된다. 이러한 기반 기술들을 활용하여 정교한 3차원 모델로 표현된 가상 환경에서 대표적인 치과 수술기법인 매복 사랑니 발치 수술의 현실적인 훈련 경험을 제공한다.