• 한국정보통신학회논문지
• /
• 제19권9호
• /
• pp.2138-2144
• /
• 2015

멀티모달 다중 카메라 시스템은 동일 기종이 아닌 적외선 열화상 카메라와 광학 카메라를 이용하여 구성한 스테레오 형태의 시스템이다. 본 논문에서는 열화상 카메라와 광학카메라에서 동시에 인식이 가능한 전용 타겟을 제작하여 스테레오 보정을 진행하였다. 일반적인 스테레오 교정에서는 두 카메라 사이의 내부 파라미터와 외부 파라미터를 이용하여 교정을 진행 하지만, 본 연구에서는 각각의 영상에서 코너점을 검출하고, 검출된 코너점의 좌표를 이용하여 두 영상 사이의 픽셀 오차율, 영상의 회전정도 및 영상의 크기 차이를 구한다. 이를 이용하여 기하학적 변환중 하나인 어파인 변환을 이용하여 보정을 진행 하였으며, 최종적으로 보정된 영상에 매핑되는 영역을 재구성하여 최종 결과 영상을 구했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (하)
• /
• pp.2215-2218
• /
• 2002

본 논문에서는 핸드폰, PDA 등과 같은 모바일 단말기에 인터넷 서비스를 제공할 수 있는 응용서버인 모바일 응용서버의 설계 및 구현 방법에 대해 제안한다. 제안하는 응용서버는 여러 가지 유형의 모바일 단말기에 공통적으로 서비스할 수 있는 중간 형태의 모바일 응용을 작성하고 이를 요청한 단말기의 특징 및 제약에 따라 적절히 변환된 컨텐츠를 단말기에 보여줌은 물론, 여러 단말기를 이용하여 하나의 세션을 수행할 수 있는 멀티 모달 세션 기능을 지원한다. 응용서버는 크게 세 부분으로 구성된다. 첫째는 모바일 단말기로부터 요청을 받아 모바일 요청(Mobile Request)을 생성하는 모바일 요청 생성부이고, 둘째는 모바일 요청을 받아 특정 응용을 처리하는 모바일 엔진 (Mobile Engine)부이다. 그리고 마지막으로 모바일 단말기 제약 및 무선 통신과 관련된 제약 사항을 해결하기 위한 환경 적응 관련 모듈들이 있다. 이처럼 제안하는 모바일 응용서버는 모바일 환경에서 다양한 단말기를 이용한 서비스를 지원은 물론 멀티 모달 세션을 지원함으로써 보다 다양한 형태의 인터넷 서비스를 효과적으로 제공할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 2부
• /
• pp.233-239
• /
• 2006

차세대 디지털 방송 기술인 DMB(Digital Multimedia Broadcasting) 지상파서비스가 세계최초로 우리나라에서 시작되었다. 현재 DMB 서비스는 디지털 기기의 다양한 기능들과 더불어 '디지털 컨버전스'를 주도하고 있고, 새 기술을 통한 서비스는 디지털 기기에 대한 사용자의 경험을 한층 풍부하게 해주고 있다. 또한 이러한 제품들은 다양한 기능에 대해서 멀티태스킹을 지원하기 때문에, 사용성, 조작방법 등 여러 측면에서 과거의 제품들과 상당히 많은 차이를 보여준다. 본 논문은 다양한 기능이 통합되고, 멀티태스킹이 되는 제품을 설계하는데 있어 감각양식(Modality) 측면에서 사용자들에게 더 나은 경험을 제공할 수 있도록 하는 방법을 제안한다. 지금까지 모달리티와 인터럽션(Interruption)에 대한 연구는 다중 자원 이론(Multiple resource theory)을 바탕으로 연속적인 과업(Task)를 수행함에 있어서 과업의 감각양식이 충돌할 경우, 사용자에게 인지적인 부담을 준다는 측면에서 이루어져 왔다. 그러나, 본 논문에서는 태스크를 수행함에 있어 멀티태스킹의 지원 여부에 따라서 과업의 감각양식이 다양한 순서를 가지고 사용자에게 인터럽션을 일으킬 때, 사용자의 태스크 수행 능력이나 사용자 만족도에 어떻게 영향을 주는지 알아보고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.71-72
• /
• 2019

최근 공공안전 분야에서는 국민의 위험상황을 분석하여 선제적으로 예측을 하여 국민의 안전을 보장하기 위한 요구사항이 대두대고 있다. 또한 스마트폰 및 스마트워치와 같은 고성능 모바일 단말 기기들의 대중화로 인해 해당 기기들에 부착된 다양한 센서 데이터들을 융복합하여 분석할 경우, 수집한 센서 데이터의 잠재적 가치를 안전보장 측면에서 사용할 수 있는 장점이 있다. 본 논문에서는 대인, 대물, 장소에 해당하는 로그 데이터들을 융복합 분석하여 보호대상자의 안전을 지원하는 다중로그 플랫폼 기반 이동경로 분석 기법을 제안한다. 다중로그 플랫폼에서 수집하는 보호대상자의 이동 경로 궤적을 활용하여 과거에 축적된 이동경로 패턴과 비교를 통해 현재 경로가 평소에 이용하던 경로와의 유사도를 추천하게 된다. 해당 이동 경로 분석 시스템은 위치기반 멀티모달 센서 데이터를 융복합 하여 보호대상자의 안전을 보장하는데 기여 할 것으로 예상된다.

• 지능정보연구
• /
• 제20권1호
• /
• pp.1-14
• /
• 2014

최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

• 정보보호학회논문지
• /
• 제20권5호
• /
• pp.133-138
• /
• 2010

본 논문은 얼굴과 음성 정보를 사용한 다중 바이오 인증에서, 특정 단계의 융합과 결정 단계의 융합을 동시에 수행하는 다단계 융합 방법을 제안한다. 얼굴과 음성 특징을 1차 융합한 얼굴 음성 융합특징에 대해 Support Vector Machines(SVM)을 생성한 후, 이 융합특징 SVM 인증기의 결정과 얼굴 SVM 인증기의 결정, 음성 SVM 인증기의 결정들을 다시 2차 융합하여 최종 인증 여부를 결정한다. XM2VTS 멀티모달 데이터베이스를 사용하여 특징 단계 융합, 결정 단계 융합, 다단계 융합 인증을 비교 실험한 결과, 제안한 다단계 융합에 의한 인증이 가장 우수한 성능을 보였다.

• 한국멀티미디어학회논문지
• /
• 제3권4호
• /
• pp.356-364
• /
• 2000

블록정합에 기초한 고속 움직임 추정 알고리듬은 탐색점의 수를 줄이기 위해 정해진 탐색패턴을 사용하며, 평균절대 오차 공간에서 오차는 전역 최소해 (global minimum)에 근접할수록 단조 감소한다는 가정을 바탕으로 하고 있다. 따라서, 탐색영역 내에 여러 최소점이 있는 다중 모달(multimodal) 해공간에서는 국소 최소해(local minima)에 고립될 가능성이 크며, 전역 최소해를 얻는 것은 초기 탐색점에 크게 의존한다. 이러한 현상은 서로 다른 여러 움직임이 공존하는 움직임 경계에서 더욱 부각된다. 이러한 문제점을 개선하기 위하여 본 논문에서는 시공간적으로 인접한 블록의 움직임 정보에 기초하여 탐색영역 내에 탐색 후보영역들을 정의하고, 국소 최소해로의 고립 가능성을 줄이기 위해 여러 후보영역들에 대한 다중 국소 탐색법(multiple local search method : MLSM)을 제안한다 또한, 다중 국소 탐색 법에서는 전체 후보영역들의 탐색으로 인한 부가적인 계산량을 줄이기 위해 탐색점 맵 상에 후보영역들을 표시하고 후보영역에 대한 중복탐색을 배제한다. 모의실험 결과 제안한 방법은 다른 경사법에 의한 결과보다 특히, 움직임 경계에서의 탐색에서 우수한 결과를 보였으며, PSNR에 대해서는 탐색점의 수를 증가시키지 않는 범위 내에서 전역 탐색법(full search : FS)에 의한 결과와 비슷한 결과를 얻을 수 있었다.

• 감성과학
• /
• 제23권1호
• /
• pp.41-56
• /
• 2020

본 연구에서는 시각장애인이 시각 외의 잔존감각인 촉각, 청각, 후각을 활용하여 미술 작품을 감상하고 이해할 수 있도록 도울 수 있는 다중감각 인터랙션 기술을 제안한다. 나아가, 다중감각 인터랙션의 설계 적합성을 평가하기 위해 실제 시각장애인을 대상으로 다중감각 인터랙션 기술이 적용된 시스템을 통해 미술 작품을 감상한 경험에 대한 질적 인터뷰 기반의 사용자 테스트를 수행하였다. 사용자 테스트 결과, 미술 작품에 적용한 다중감각 인터랙션 요소들은 전반적으로 시각장애인으로 하여금 미술 작품 감상 및 이해를 도왔으며, 나아가 다중감각 인터랙션을 통해 미술 작품을 감상한 경험이 만족스러웠다는 긍정적인 평가 결과가 나타났다. 반면, 일부 다중감각 인터랙션 요소는 미술 작품을 감상하는 동안 전혀 인지하지 못하였거나 오히려 미술 작품 감상에 있어서 혼란을 야기했다는 부정적인 평가 결과도 나타났다. 본 연구는 시각장애인의 문화예술 작품 감상의 접근성을 증진할 수 있는 기술적 대안으로서 비시각 다중감각 인터랙션의 구체적인 개발 방향성 및 가이드라인을 제공하는 데 기여하였다. 나아가, 시각장애인뿐만 아니라 아동이나 노인과 같은 비시각장애인도 유니버설 인터랙션 기술을 통해 기존의 시각 위주의 단편적 경험을 넘어선 종합적인 감각적 경험을 할 수 있는 기술 기반을 구축하는데 기여할 수 있을 것으로 기대된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (상)
• /
• pp.347-350
• /
• 2003

표면정보 기반 영상정합기법은 대상기관에서 추출된 표면정보를 기반으로 변환을 추정하여 서로 다른 영상의 전체적 형태의 유사성 정도를 최대화함으로써 정합을 수행하는 방법이다. 정합 수행에 있어 전체 객체를 가장 잘 대표하는 특정 개수의 표면점을 추출하고, 이 대표점으로부터 변환 값을 계산하는 것이 영상정합의 합리적인 최적화 단계를 위해 필수적이다. 대표점 추출결과에 따라 전체 정합의 결과가 달라지게 되므로 정합의 변환요소 값을 정확하게 구해낼 수 있는 대표점을 추출하기 위해 적절한 샘플링 기법의 선택이 요구된다. 본 연구에서는 효율적인 표면정보 기반 다중 모달리티 영상정합을 위해 계통추출법 기반 샘플링 기법과 특징점 탐지 기법 기반 샘플링 기법의 성능을 비교 분석하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.475-478
• /
• 2002

영상 정합이란 영상들을 배열하여 대응되는 특성을 연관시키는 과정으로, 서로 다른 정보를 결합하여 상호 보완적이고 복합적인 새로운 정보를 생성한다는 점에서 유용하다. 본 논문에서는 MRI와 PET 뇌 영상을 표면 정보에 기반하여 정합하기 위한 영상 처리 방법에 대하여 연구하였다. 특히 정합을 위한 특징점 집합을 샘플링하는데 있어서 표면 곡률 정보를 사용한 샘플링 기법을 적용하고, 실 관심 객체의 볼륨 크기에 기반한 바운딩 박스를 생성하여 기하 변환을 수행함으로써 표면정보기반 다중모달리티 영상 정합을 위한 보다 효과적인 영상 처리 결과를 얻도록 하였다.