• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권6호
• /
• pp.386-391
• /
• 2017

본 논문에서는 실생활에서 수집한 웨어러블 센서 데이터에서 사용자의 체험 기반 감정 태그정보를 자동으로 부여하는 시스템을 제안한다. 사용자 본인의 감정과 사용자가 보고 듣는 정보를 종합적으로 고려하여 네 가지의 감정 태그를 정의한다. 직접 수집한 웨어러블 센서 데이터를 중심으로 기존 감성컴퓨팅 연구를 통해 알려진 보조 정보를 결합하여, 다중 센서 데이터를 입력으로 하고 감정 태그를 구분하는 머신러닝 기반 분류 시스템을 학습하였다. 다중 모달리티 기반 감정 태깅 시스템의 유용성을 보이기 위해, 기존의 단일 모달리티 기반의 감정 인식 접근법과의 정량적, 정성적 비교를 한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.429-434
• /
• 2007

본 논문에서는 기울임 동작에 기반한 휴대기기 상의 사진 감상 UI를 제시하고 사용성을 평가한다. 기존의 기울임 입력 방식의 세가지 조작성 문제(overshooting, fluctuation, 부분 이미지 제시)를 개선하기 위하여, 사진 위치 및 기울임에 의존하는 사진 이동 제어 dynamics 모델을 제안한다. 본 시스템은 기울임 감지용 가속도 센서, 기울임에 의한 사진 이동 제어 dynamics 모델, 다중모달(시각, 청각, 촉각)을 통한 모델 상태 출력부로 구성된다. 센서 입력과 다중 모달 출력을 위하여, 삼성 MITs 4300 PDA의 배터리 팩을 개조하여 3축 가속도 센서와 진동 출력장치 (VBW32)를 장착하였다. 제안하는 시스템은 기존의 대표적인 사진 감상 입력 방법인 버튼과 iPod wheel과 비교하였다. 정량적 비교를 위하여 7명의 사용자에게 100장의 사진 중 20장을 차례로 검색하는 과제를 부여하면서 수집한 로그를 분석하였으며, 정성적인 비교를 위하여 설문 조사를 실시하였다. 실험 결과 제안한 방법이 기존 기울임 기반 dynamics에 비하여 overshooting 횟수를 30%, 사진간 이동 거리를 25%, 이동 시간을 17% 감소하였다. 또한 제안한 방법이 버튼과 유사한 조작성을 갖고 있으며, 버튼과 iPod보다 더욱 흥미성이 뛰어났다. 상업적으로 뛰어난 성공을 거둔 iPod이 다수의 overshooting 발생으로 실제로는 사용성이 떨어진다는 점이 예상치 못한 흥미로운 발견이었다.

• 융합정보논문지
• /
• 제11권3호
• /
• pp.174-184
• /
• 2021

본 연구는 다중양식의 대학 전공수업에의 적용 가능 여부와, 학생들의 다중양식 과업에 대한 인식을 살펴보는 것을 목적으로 한다. 이 연구를 위해 28명의 영어를 전공하는 학생들이 전공수업의 일환으로 디지털 스토리텔링 과제를 수행하였다. 디지털 스토리텔링에 대한 학생들의 인식을 조사한 설문지와 성찰지를 분석해 본 결과, 디지털 스토리텔링 과제가 학생들의 적극적 참여와 동기부여를 제공한다는 사실을 알게 되었다. 그러나 다른 한편으로, 디지털 스토리텔링 과제는 학생들에게 더 많은 정신적 노력을 요구하고 더 많은 긴장을 초래한다는 사실도 알게 되었다. 디지털 스토리텔링은 학생들로 하여금 다양한 기술을 공부하게 하고 학습 과정 중에 다중양식 측면을 적용할 수 있도록 지원함으로써, 학생들의 적극적 참여를 유도하고 유의미하고 재미있는 결과를 가져오는 자기주도 학습을 유도할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
• /
• pp.286-288
• /
• 2003

모멘트 기반 정합은 전처리 과정을 통하여 수행되는 정합 대상기관의 형태정보를 추출하여, 이를 기반으로 대상기관의 무게중심 및 주축을 계산하고 이들 모멘트 정보를 일치시킴으로써 서로 다른 3차원 영상에 대한 정합을 유도하는 기법이다. 표면정보 기반 영상정합은 대상기관에서 추출된 표면정보를 기반으로 변환을 추정하여 서로 다른 영상의 전형적 형태의 유사성 정도를 최대화함으로써 정합을 수행하는 방법이다. 본 연구에서는 서로 다른 모달리티 영상에 대한 정합을 위하여 모멘트 기반 정합기법과 표면정보기반정합기법을 각기 구현하고 이들 방법에 대한 성능 및 문제점을 비교 분석하였다.

• 한국시뮬레이션학회:학술대회논문집
• /
• 한국시뮬레이션학회 2004년도 춘계학술대회 논문집
• /
• pp.118-122
• /
• 2004

본 논문에서는 인체의 머리 부분을 촬영한 의료 영상에서 뇌 영역만을 분할하는 방법에 대해 제시하고자 한다. 뇌의 해부학적 구조 및 기능적 이상 부위를 파악할 경우에 영상 내에 함께 보여지는 두개골과 뇌척수액 등을 제외한 대뇌피질 영역을 분할하면 보다 효과적인 정보 분석 및 진단이 가능하게 된다. 본 시스템에서는 3단계 알고리즘을 제시한다. 첫 번째 단계에서는 영상 내에 존재하는 잡음을 제거하기 위한 필터링이고, 두 번째 단계에서는 필터링된 결과에 대한 영상분할을 수행하는 것이다 이 때 정확한 결과 도출을 위하여 사용자의 인터렉션이 들어가게 된다. 세번째 단계에서는 형태학적 방법을 이용하여 분할 결과를 보완한다. 본 연구를 위한 실험에는 자기 공명 촬영 영상(MRI: Magnetic Resonance Imaging), 단일 광전자 방출 단층 촬영영상(SPECT: Single Photon Emission Computed Tomography), 양전자 방출 단층 촬영영상(PET: Positron Emission Tomography) 등을 사용하였다. 본 시스템에서는 다양한 모달리티의 뇌 영상에서 대뇌피질 부분을 정확하게 영상 분할함으로써 뇌의 구조적 이상을 판단하기 위한 해부학적 정보 분석을 가능케 하고 있다. 뿐만 아니라 뇌 질환에 대한 정확한 진단 시뮬레이션도 가능하게 하고자 한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권9호
• /
• pp.407-418
• /
• 2023

MultiOn(Multi-Object Goal Visual Navigation)은 에이전트가 미지의 실내 환경 내 임의의 위치에 놓인 다수의 목표 물체들을 미리 정해준 일정한 순서에 따라 찾아가야 하는 매우 어려운 시각적 탐색 이동 작업이다. MultiOn 작업을 위한 기존의 모델들은 행동 선택을 위해 시각적 외관 지도나 목표 지도와 같은 단일 맥락 지도만을 이용할 뿐, 다양한 멀티모달 맥락정보에 관한 종합적인 관점을 활용할 수 없다는 한계성을 가지고 있다. 이와 같은 한계성을 극복하기 위해, 본 논문에서는 MultiOn 작업을 위한 새로운 심층 신경망 기반의 에이전트 모델인 MCFMO(Multimodal Context Fusion for MultiOn tasks)를 제안한다. 제안 모델에서는 입력 영상의 시각적 외관 특징외에 환경 물체의 의미적 특징, 목표 물체 특징도 함께 포함한 멀티모달 맥락 지도를 행동 선택에 이용한다. 또한, 제안 모델은 점-단위 합성곱 신경망 모듈을 이용하여 3가지 서로 이질적인 맥락 특징들을 효과적으로 융합한다. 이 밖에도 제안 모델은 효율적인 이동 정책 학습을 유도하기 위해, 목표 물체의 관측 여부와 방향, 그리고 거리를 예측하는 보조 작업 학습 모듈을 추가로 채용한다. 본 논문에서는 Habitat-Matterport3D 시뮬레이션 환경과 장면 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 모델의 우수성을 확인하였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제31권3_4호
• /
• pp.224-238
• /
• 2004

다중 모달리티 영상정합은 서로 다른 성격의 두 영상의 중요정보를 결합하여 복합적 정보를 얻기 위해 널리 사용되는 영상처리 기법이다. 본 연구에서는 정합 대상 객체의 초기위치 및 방향에 종속적이지 않고, 낮은 정합오차 범위 내에서의 안정적인 정합을 지원하기 위하여 기존의 표면기반 정합 기법을 개선한 모멘트 정보 및 표면거리 기반의 정합 기법을 제시한다. 제안방법에서는 우선 정합대상객체의 표면 윤곽 점을 추출하고, 이를 기반으로 대상객체의 모멘트 정보를 추출하여, 표면거리 기반 상세 정합 이전에 모멘트 정보를 일치시키는 변환을 수행함으로써, 정합이전 대상객체의 위치 및 방향이 상이한 경우에 있어서도 정합이 안정적으로 수행되도록 한다. 또한 테스트 영상에 대한 표면 대표점 추출 시, 표면 코너추출법을 적용함으로써, 기존 표면 정보 기반 정합기법에서 일반적으로 사용하고 있는 무작위 샘플링 및 일정간격 샘플링에 의한 취약점을 보완한다. 본 논문에서 제안기법의 검증을 위하여 뇌 부위 자기공명단층영상(MRI)과 양자 방출 단층 촬영 영상(PET)을 적용하고, 정합오류율과 정합결과에 대한 2,3차원 가시화 영상의 육안평가를 통하여 정확성 및 안정성 측면을 검증한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (3)
• /
• pp.586-588
• /
• 2002

정보통신 분야의 기술 발달이 가속화됨에 따라 종합 정보기기 개념의 PC와는 달리 정보이용 환경과 사용목적에 따라 용도가 단순하면서도 제공 기능별로 특화되고 사용자 편의성을 극대화시키는 새로운 컴퓨팅 기술과 정보기기의 요구가 증대되고 있다. 그러나 Post-PC의 특성상 기존 PC와는 달리 입출력의 제한 및 시스템 자원의 제약사항이 않은 게 사실이다. 본 논문에서는 이러한 환경에 맞는 웹 브라우저를 설계하고 개발하는 것이 목적이다. Post-PC의 입출력의 제약 사항을 극복하기 위한 방법으로 입출력의 다양성을 지원하는 다중인식 지원 선택형 브라우저를 설계한다

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.681-682
• /
• 2006

일반적으로 축구 비디오 데이터는 멀티모달과 멀티레이어 속성을 지닌다. 이러한 데이터를 다루기 적합한 모델은 동적 베이지안 네트워크(Dynamic Bayesian Network: DBN) 형태의 위계적 은닉 마르코프 모델(Hierarchical Hidden Markov Model: HHMM)이다. 이러한 HHMM 중 다중속성의 특징들이 서로 상호작용하는 PHHMM(Product Hierarchical Hidden Markov Model)이 있다. 본 논문에서는 PHHMM 을 축구 경기의 Play/Break 이벤트 검색 및 분석에 적용하였고 바람직한 결과를 얻었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.526-527
• /
• 2023

Speech emotion recognition(SER) is one of the interesting topics in the machine learning field. By developing multi-modal speech emotion recognition system, we can get numerous benefits. This paper explain about fusing BERT as the text recognizer and CNN as the speech recognizer to built a multi-modal SER system.