• 인터넷정보학회논문지
• /
• 제13권5호
• /
• pp.9-19
• /
• 2012

디지털 콘텐츠에서 HCI로 활용되는 가상 인간은 얼굴 표정과 신체자세와 같은 모달을 이용하여 다양한 감정을 표현하지만 비언어적 다중모달의 조합에 대한 연구는 많지 않다. 감정을 표현하는 가상 인간을 제작하려면 계산 엔진 모델은 얼굴 표정과 신체자세와 같은 비언어적 모달의 조합이 사용자에 의해 어떻게 인식되는지를 고려해야 하기 때문에 본 연구는 가상 인간의 감정 표현 디자인에 필요한 비언어적 다중모달의 영향을 분석하여 제시한다. 먼저 가상 인간에 대한 다중모달 별 감정 인식을 평가하여 다른 모달간의 상대적 영향성을 분석하였다. 그리고 일치하는 얼굴과 자세 모달을 통해 기본 감정 및 정서가와 활성화 인식에 대한 영향을 평가하며 감정이 불일치하는 다중모달을 통해 일상생활에서 빈번하게 드러나는 중첩된 감정의 인식 정도를 관측하였다. 실험 결과, 가상 인간의 얼굴과 신체자세의 표정이 일치하면 감정 인식이 용이하며, 얼굴 표정으로 감정 카테고리를 판별하지만 감정의 활성화 차원 판단에는 자세 모달리티가 선호됨을 확인하였다. 본 연구 결과는 감정을 드러내는 가상 인간의 행동 동기화 및 애니메이션 엔진 시스템 구현에 활용할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• 한국철도학회논문집
• /
• 제12권6호
• /
• pp.1067-1075
• /
• 2009

현재 국내에서 개발 중인 바이모달트램은 철도의 정시성과 버스의 접근성 등의 장점을 합친 신교통수단으로서 국내 도입에 따른 대중교통체계의 변화가 예상된다. 본 논문에서는 바이모달트램의 국내 도입전략에 대하여 도시 규모별 교통수요 및 노선의 특성을 고려한 도입전략에 대하여 분석하였다. 지자체별로 다양한 교통 및 대중교통체계가 존재하고 재정적 여건 등 도입여건이 다양함으로 바이모달트램을 일반적으로 적용할 수 있는 정책적 방안을 경제성 분석을 통하여 제시하였다. 본 논문의 결과는 지하철/경전철을 도입하려는 지자체의 재정적 부담을 덜고 경전철에 준하는 수송력과 친환경성을 갖춘 바이모달트램의 도입을 검토하는데 효과적일 것으로 판단된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.258-262
• /
• 2023

과제 지향 대화 시스템은 발화 의도 및 요구사항을 파악하여 사용자가 원하는 과제를 달성한다는 점에서 유용하다. 대화 상태 추적은 과제 지향 대화 시스템의 핵심 모듈이며, 최근에는 텍스트뿐만 아니라 시각 정보까지 활용하여 대화 상태를 추적하는 멀티모달 대화 상태 추적 연구가 활발히 진행되는 중이다. 본 논문에서는 멀티모달 공황장애 상담 대화 속 내담자의 상태를 추적하는 과제를 제안하였다. ChatGPT를 통한 멀티모달 공황장애 상담 과제 지향 대화 데이터셋 구축 프레임워크와, 구축한 데이터셋의 품질을 증명하기 위한 분석도 함께 제시하였다. 사전학습 언어 모델인 GPT-2를 벤치마크 데이터셋에 대해 학습한 성능을 측정함으로써 향후 멀티모달 대화 추적 성능이 능가해야 할 베이스라인 성능을 제시하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.278-284
• /
• 2009

하나의 컨텐츠를 위해 동영상, 이미지, 소리, 문장과 같은 하나 이상의 모달리티로 전달하는 멀티모달 데이터가 증가하고 있다. 이러한 형태의 자료들은 잘 정의되지 않은 형태를 주로 가지기 때문에, 모달리티 간의 정보가 명백히 표현되지 못하는 경우가 많았다. 그래서, 본 연구에서 저자들은 자연계를 다루는 다큐멘터리 동영상 데이터를 이용하여 비전-언어 간의 상호 연관정보인 크로스모달 연관정보를 추출하고 분석하는 방법을 제시하였다. 이를 위해 정글, 바다, 우주의 세 가지 주제로 구성된 다큐멘터리로부터 이미지와 자막의 조합으로 이루어진 데이터를 모은 후, 그로부터 시각언어집합과 문장언어집합을 추출하였다. 분석을 통하여, 이 언어집합들간의 상호 크로스 모달 연관정보를 통해 생성된 다른 모달리티 데이터가 의미적으로 서로 관련이 있음을 확인할 수 있었다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2006년도 춘계학술대회논문집
• /
• pp.458-497
• /
• 2006

• 한국철도학회:학술대회논문집
• /
• 한국철도학회 2009년도 춘계학술대회 논문집
• /
• pp.1799-1804
• /
• 2009

최근 도입 논의가 활발히 이루어지고 있는 바이모달 트램은 버스와 경량전철의 중간 규모의 수요에 대하여 정시성, 효율성, 편리성을 갖춘 대중교통시스템으로 주목받고 있다. 특히 철도와 같이 물리적으로 분리된 전용로상에서 제어시스템과 운영시스템을 갖춰 운영할 수 있고, 일반도로에서도 버스와 같이 운영할 수 있는 장점이 있으나, 철도와 도로교통 관련 법령에서 정의되지 않고, 건설비에 대한 재정지원근 거가 없어 구체적인 도입계획이 수립되지 못하고 있다. 본 연구는 바이모달 트램 도입 활성화를 위한 제도 구축을 위하여 다음과 같은 분석을 수행하였다. 1) 바이모달 트램 도입 추진 현황을 파악하여 도입 활성화의 장애요소를 파악하고, 2) 바이모달 트램과 타 교통수단과의 특성 및 관련제도 분석을 통해 제도화에 필요한 요소를 파악하며, 3) 해외의 제도 사례를 통해 국내 도입 활성화에 필요한 제도적 필요 요소률 분석하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.449-453
• /
• 2019

미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제18권10호
• /
• pp.11-19
• /
• 2018

본 연구는 가상현실 기술을 이용하여 박물관 내에 멀티모달 경험을 만들 수 있는 스토리텔링에 대한 연구이다. 구체적으로 본 연구는 박물관에서 다양한 관람객들이 직관적인 역사 이야기를 체험하기 위해 필요한 가상현실 기술 기반의 멀티모달 스토리텔링 방식을 논하고자 한다. 이에 따라 현재 박물관을 소재로 하거나 대상으로 만들어진 관련 사례를 분석하여 향후 이용될 수 있는 방식을 조사하였다. 연구방법으로 멀티모달 경험을 만들기 위한 컨셉에 대한 이론적 고찰, 그리고 역사 자료를 가상현실 유관 기술을 통해 시각화한 자료들을 문헌조사하였다. 이를 바탕으로 멀티모달 기반의 스토리텔링에서 필요한 요소들을 파악하고 이를 통해 관련 사례들을 분석하였다. 연구의 결과에서 본 연구는 박물관 내에서 관람객을 위한 역사 주제의 가상현실 기반 멀티모달 환경의 구성요소에 대해 제안하였다. 궁극적으로 본 연구는 역사적 자료가 오디오-비주얼 및 인터랙션 모드와 결합하여 다양한 계층의 관람객 대상의 콘텐츠를 제작하기 위해서 필요한 가상현실 스토리텔링 설계의 구성요소를 제안하는 기초 연구가 되고자 한다.

• 대한교통학회지
• /
• 제30권3호
• /
• pp.17-30
• /
• 2012

본 연구는 공로에서 철도로의 모달 쉬프트를 활성화 하는데 필요한 기본 특성을 조사하고 분석하였다. 연구의 대상 화물은 국내에서 내륙으로 운송되는 컨테이너이며, 연구의 대상 지점은 모달 쉬프트가 이루어지는 환적노드를 중심으로 하였다. 연구에서 수행한 주요 내용은 다음과 같다. 첫째, 컨테이너 육상운송을 하는 화주가 생각하는 환적노드의 운송환경에 대한 인식을 조사하였다. 그리고 이로부터 공로에서 철도로 모달 쉬프트가 활성화되지 않는 저항요인을 분석하였다. 둘째, 환적노드의 저항요인을 반영한 운송수단 선택모형을 추정하였다. 그리고 이를 활용하여 탄력성을 도출하고 모달 쉬프트 저항 요인별 특성을 분석하였다. 셋째, 연구에서 도출된 결과로부터 컨테이너 운송수단을 공로에서 철도로 모달 쉬프트 시키는 방안을 제시하였다.