• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.681-682
• /
• 2006

일반적으로 축구 비디오 데이터는 멀티모달과 멀티레이어 속성을 지닌다. 이러한 데이터를 다루기 적합한 모델은 동적 베이지안 네트워크(Dynamic Bayesian Network: DBN) 형태의 위계적 은닉 마르코프 모델(Hierarchical Hidden Markov Model: HHMM)이다. 이러한 HHMM 중 다중속성의 특징들이 서로 상호작용하는 PHHMM(Product Hierarchical Hidden Markov Model)이 있다. 본 논문에서는 PHHMM 을 축구 경기의 Play/Break 이벤트 검색 및 분석에 적용하였고 바람직한 결과를 얻었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.192-194
• /
• 2016

스마트폰 사용자 수가 늘어남으로써 스마트폰으로 개인에 맞는 서비스를 제공하는 것은 중요한 연구 주제가 되었고 사용자 개인의 데이터를 이용하여 기호나 취향에 맞는 상품 및 서비스 제공에 대한 개발이 활발히 이루어지고 있다. 개인에게 적합한 서비스를 제공하기 위해 데이터를 수집하는 것, 정보를 추출하는 것 및 상황 행위에 대한 특정을 하고 사용자에 대한 로그(log)를 축적하고 분석하는 작업이 가장 중요하다. 본 논문에서는 안드로이드 환경 기반의 멀티모달 센서 및 문자/통화/사진/음악 이용 로그를 활용하여 라이프로그를 저장하고 사용자의 취향을 예측할 수 있는 시스템을 제안한다. 스마트폰의 향상된 성능, 추가된 다양한 기능에 따라 생성되는 방대한 양의 데이터들을 수집하고 상황인지, 행위인지 모듈을 통하여 사용자의 상황과 행위를 특정 짓는다. 결과 또는 키워드 들을 데이터와 함께 태깅하고 에피소드 형식으로 레코드를 체계적이고 정확하게 저장한다. 이러한 시스템을 이용해 저장된 라이프로그 및 개인맞춤형 정보화 모델은 개인 취향에 최적화된 서비스/상품 제공 연구에 활용 될 수 있도록 시스템 구현을 진행할 예정이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.548-553
• /
• 2021

비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.505-518
• /
• 2023

3차원 포인트 클라우드 의미적 분할은 각 포인트별로 해당 포인트가 속한 물체나 영역의 분류 레이블을 예측함으로써, 포인트 클라우드를 서로 다른 물체들이나 영역들로 나누는 컴퓨터 비전 작업이다. 기존의 3차원 의미적 분할 모델들은 RGB 영상들에서 추출하는 2차원 시각적 특징과 포인트 클라우드에서 추출하는 3차원 기하학적 특징의 특성을 충분히 고려한 특징 융합을 수행하지 못한다는 한계가 있다. 따라서, 본 논문에서는 2차원-3차원 멀티-모달 특징을 이용하는 새로운 3차원 의미적 분할 모델 MMCA-Net을 제안한다. 제안 모델은 중기 융합 전략과 멀티-모달 교차 주의집중 기반의 융합 연산을 적용함으로써, 이질적인 2차원 시각적 특징과 3차원 기하학적 특징을 효과적으로 융합한다. 또한 3차원 기하학적 인코더로 PTv2를 채용함으로써, 포인트들이 비-정규적으로 분포한 입력 포인트 클라우드로부터 맥락정보가 풍부한 3차원 기하학적 특징을 추출해낸다. 본 논문에서는 제안 모델의 성능을 분석하기 위해 벤치마크 데이터 집합인 ScanNetv2을 이용한 다양한 정량 및 정성 실험들을 진행하였다. 성능 척도 mIoU 측면에서 제안 모델은 3차원 기하학적 특징만을 이용하는 PTv2 모델에 비해 9.2%의 성능 향상을, 2차원-3차원 멀티-모달 특징을 사용하는 MVPNet 모델에 비해 12.12%의 성능 향상을 보였다. 이를 통해 본 논문에서 제안한 모델의 효과와 유용성을 입증하였다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2009년도 추계학술대회
• /
• pp.87-90
• /
• 2009

본 연구는 HMD(Head Mounted Display), 적외선 카메라, 웹 카메라, 데이터 글러브, 그리고 생리신호 측정 센서를 이용한 증강현실 게임 플랫폼 설계를 목적으로 하고 있다. HMD 는 사용자의 머리의 움직임을 파악하고, 사용자에게 가상 물체를 디스플레이화면에 제공한다. 적외선 카메라는 HMD 하단에 부착하여 사용자의 시선을 추적한다. 웹 카메라는 HMD 상단에 부착하여 전방 영상을 취득 후, 현실영상을 HMD 디스플레이를 통하여 사용자에게 제공한다. 데이터 글러브는 사용자의 손동작을 파악한다. 자율신경계반응은 GSR(Galvanic Skin Response), PPG(PhotoPlethysmoGraphy), 그리고 SKT(SKin Temperature) 센서로 측정한다. 측정된 피부전기반응, 맥파, 그리고 피부온도는 실시간 데이터분석을 통하여 집중 정도를 파악하게 된다. 사용자의 머리 움직임, 시선, 그리고 손동작은 직관적 인터랙션에 사용되고, 집중 정도는 직관적 인터랙션과 결합하여 사용자의 의도파악에 사용된다. 따라서, 본 연구는 멀티모달 인터랙션을 이용하여 직관적 인터랙션 구현과 집중력 분석을 통하여 사용자의 의도를 파악할 수 있는 새로운 증강현실 게임 플랫폼을 설계하였다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.45-57
• /
• 2018

주행 중에 발생하는 졸음은 큰 사고로 직결될 수 있는 매우 위험한 운전자 상태이다. 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 졸음 감지 방법들이 존재하지만 운전자들이 가지는 개개인의 특성을 모두 반영한 일반화 된 운전자 상태 인식에는 한계가 있다. 최근에는 운전자의 상태를 인식하기 위한 딥 러닝기반의 상태인식 연구들이 제안되었다. 딥 러닝은 인간이 아닌 기계가 특징을 추출하여 보다 일반화된 인식모델을 도출할 수 있는 장점이 있다. 본 연구에서는 운전자의 상태를 파악하기 위해 이미지와 PPG를 동시에 학습하여 기존 딥 러닝 방식보다 정확한 상태 인식 모델을 제안한다. 본 논문은 운전자의 이미지와 PPG 데이터가 졸음 감지에 어떤 영향을 미치는지, 함께 사용되었을 때 학습 모델의 성능을 향상시키는지 실험을 통해 확인하였다. 이미지만을 사용했을 때 보다 이미지와 PPG를 함께 사용하였을 때 3%내외의 정확도 향상을 확인했다. 또한, 운전자의 상태를 세 가지로 분류하는 멀티모달 딥 러닝 기반의 모델을 96%의 분류 정확도를 보였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제28권3호
• /
• pp.23-29
• /
• 2022

가상인간은 가상공간(가상 현실, 혼합 현실, 메타버스 등)에서 Unity와 같은 3D Engine 전용 모델링 도구로 구현된다. 실제 사람과 유사한 외모, 목소리, 표정이나 행동 등을 구현하기 위해 다양한 가상인간 모델링 도구가 도입되었고, 어느 정도 수준까지 인간과 의사소통이 가능한 가상인간을 구현할 수 있게 되었다. 하지만, 지금까지의 가상인간 의사소통 방식은 대부분 텍스트 혹은 스피치만을 사용하는 단일모달에 머물러 있다. 최근 AI 기술이 발전함에 따라 가상인간의 의사소통 방식은 과거 기계 중심의 텍스트 기반 시스템에서 인간 중심의 자연스러운 멀티모달 의사소통 방식으로 변화할 수 있게 되었다. 본 논문에서는 다양한 대화 데이터셋으로 미세조정한 인공신경망을 사용해 사용자와 자연스럽게 대화 할 수 있는 가상인간을 구현하고, 해당 가상인간이 생성하는 문장의 감정값을 분석하여 이에 맞는 표정을 발화 중에 나타내는 시스템을 구현하여 사용자와 가상인간 간의 실시간 멀티모달 대화가 가능하게 하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.821-823
• /
• 2016

본 논문은 다차원 정서모델 기반 영상, 음성, 뇌파를 이용한 멀티모달 복합 감정인식 시스템을 제안한다. 사용자의 얼굴 영상, 목소리 및 뇌파를 기반으로 각각 추출된 특징을 심리학 및 인지과학 분야에서 인간의 감정을 구성하는 정서적 감응요소로 알려진 다차원 정서모델(Arousal, Valence, Dominance)에 대한 명시적 감응 정도 데이터로 대응하여 스코어링(Scoring)을 수행한다. 이후, 스코어링을 통해 나온 결과 값을 이용하여 다차원으로 구성되는 3차원 감정 모델에 매핑하여 인간의 감정(단일감정, 복합감정)뿐만 아니라 감정의 세기까지 인식한다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2000년도 학술발표대회 논문집 제19권 2호
• /
• pp.205-208
• /
• 2000

본 논문은 멀티모달 시스템에서 응용프로그램 S/W를 제어하는 연구로써 음성과 입술인식기를 결합시켜 문자 데이터를 수신하는 Comdio의 명령어들을 이 시스템이 제어하도록 설계하였다. 음성과 입술인식기는 HMM으로 구현되어 결합 시 각각의 인식기에 8:2의 가중치를 부여하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.746-748
• /
• 2018

전 세계적으로 인플루엔자에 의해 매년 29~64만의 사망자가 발생하며 사회, 경제적 피해를 일으키고 있다. 기침에 의해 생성된 비말은 인플루엔자의 주요 전파 방법으로, 기침 감지 기술을 통해 확산 방지가 가능하다. 이전의 기침 감지에 대한 연구는 기침 소리와 전통적인 기계학습기법을 사용하였다. 본 논문은 기침 소리와 더불어 기침 시 발생하는 신체의 움직임 정보를 동시에 학습하는 멀티모달 딥러닝 기반의 기침 감지 모델을 제안한다. 도출된 모델과 기존의 모델과의 성능 비교를 통해 제안한 모델이 이전의 기침 감지 모델보다 정확한 기침 인식이 가능함을 보였다. 본 논문이 제안하는 모델은 스마트 워치와 같은 웨어러블 기기에 적용되면 인플루엔자의 확산 방지에 크게 기여할 수 있을 것이다.