• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권9호
• /
• pp.407-418
• /
• 2023

MultiOn(Multi-Object Goal Visual Navigation)은 에이전트가 미지의 실내 환경 내 임의의 위치에 놓인 다수의 목표 물체들을 미리 정해준 일정한 순서에 따라 찾아가야 하는 매우 어려운 시각적 탐색 이동 작업이다. MultiOn 작업을 위한 기존의 모델들은 행동 선택을 위해 시각적 외관 지도나 목표 지도와 같은 단일 맥락 지도만을 이용할 뿐, 다양한 멀티모달 맥락정보에 관한 종합적인 관점을 활용할 수 없다는 한계성을 가지고 있다. 이와 같은 한계성을 극복하기 위해, 본 논문에서는 MultiOn 작업을 위한 새로운 심층 신경망 기반의 에이전트 모델인 MCFMO(Multimodal Context Fusion for MultiOn tasks)를 제안한다. 제안 모델에서는 입력 영상의 시각적 외관 특징외에 환경 물체의 의미적 특징, 목표 물체 특징도 함께 포함한 멀티모달 맥락 지도를 행동 선택에 이용한다. 또한, 제안 모델은 점-단위 합성곱 신경망 모듈을 이용하여 3가지 서로 이질적인 맥락 특징들을 효과적으로 융합한다. 이 밖에도 제안 모델은 효율적인 이동 정책 학습을 유도하기 위해, 목표 물체의 관측 여부와 방향, 그리고 거리를 예측하는 보조 작업 학습 모듈을 추가로 채용한다. 본 논문에서는 Habitat-Matterport3D 시뮬레이션 환경과 장면 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 모델의 우수성을 확인하였다.

• 정보과학회 논문지
• /
• 제43권2호
• /
• pp.135-142
• /
• 2016

시공간 데이터는 위도와 경도를 비롯한 위치정보를 포함한 데이터를 일컫는 말로 지리학적 시각화의 연구로 시공간 데이터를 분석하고 표현하는 방법에 대한 다양한 연구가 진행되었다. 이 기술은 특정 공간에 시간을 두고 연속적 또는 이산적으로 발생하는 데이터로부터 패턴을 찾고 이를 분석하는 데 목표가 있다. 하지만, 이동 경로에 대한 정보가 없는 이산적인 시공간 데이터에서 데이터의 흐름을 시각화하는 것은 쉽지만은 않은 일이다. 본 논문에서는 커널밀도추정과 중력모델을 이용하여 이산적인 시공간 데이터로부터 벡터를 추출하고 이를 이용하여 사용자로 하여금 시공간 데이터에서 움직임과 경향을 분석할 수 있도록 시각화 하는 것에 목표를 두었다. 이를 뒷받침하기 위하여 트위터 데이터를 이용하여 이산적인 시공간 데이터를 시각화하고 분석하고자 한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권8호
• /
• pp.299-308
• /
• 2014

신체 동작, 얼굴 표정과 같이 아주 복잡한 생체 패턴을 인식하고 분류하는 인간의 능력을 모방한 정보처리 컴퓨팅 관련 연구가 최근 다수 등장하고 있다. 특히 컴퓨터비전 분야에서는 인간의 뛰어난 인지 능력 중 상황정보 없이 시각시퀀스에서 동작을 분류하는 기능을 통해 시공간적 패턴 코딩과 빠른 인식 방법을 이해하고자 한다. 본 연구는 비디오 시퀀스상의 동작인식에 생물학적 시각인지과정의 영향을 받은 생체 기반 컴퓨터비전 모델을 제시하였다. 제안 모델은 이미지 시퀀스에서 동작을 검출하고 시각 패턴을 판별하는 데 생체 시각처리과정의 신경망 구조 단계를 반영하였다. 실험을 통해 생체 기반 동작인식 모델이 인간 시각인지 처리의 여러 가지 속성을 고려했을 뿐 아니라 기존 동작인식시스템에 비해 시간 정합성이 뛰어나며 시간 변화에 강건한 분류 능력을 보임을 알 수 있다. 제안 모델은 지능형 로봇 에이전트와 같은 생체 기반 시각정보처리 시스템 구축에 기여할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
• /
• pp.27-29
• /
• 1999

가상현실 시스템에 대한 연구들은 대부분 현실세계 데이터를 컴퓨팅 세계의 데이터로 변환하기 위한 효율적인 방법론에 대한 연구가 주를 이루고 있다. 지리정보시스템(GIS)의 경우 정확한 실사를 통한 지리정보의 확보와 그래픽 시각화를 통한 신뢰성 있는 데이터의 제공을 주요 목적으로 삼는다. 본 논문은 지리정보시스템의 데이터모델을 기반으로 3차원 시각화를 위한 지형 데이터 모델과 가상 이미징 객체모델을 소개한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 추계학술발표논문집(상)
• /
• pp.975-978
• /
• 2004

본 논문에서 우리는 가상현실 시스템의 구축에 있어서, 사용자의 직접 상호작용 (direct interaction)을 기본으로 하는 근신 공간(near-body space) 작업에서 사용자의 존재감 (Presence) 향상과 작업 성능 향상을 위하여, 사용자와 공간적 및 감각적으로 일치된 가상 인체 모델의 구현을 중심으로 현재의 기술 현황 및 연구 개발 방향에 대하여 기술한다. 이상적인 가상현실 시스템을 구현하기 위해서 고려되어야 할 요소를 멀티모달 상호작용과 실감 일치형 인터페이스 개발 방법론의 관점에서 보면, 사용자가 접하는 가상 공간의 시각적 모델(visual perception)과 자기 동작 감각적(proprioceptive) 모델의 일치가 중요하다. 그러므로, 시각적으로 사용자의 움직임과 일치된 자신의 신체가 가시화 되어야 하고, 자연스러운 근신 공간 직접 상호작용을 지원하기 위해서는 사실적인 햅틱 피드백 요소가 중요하며, 공간적 정보를 표현 함에 있어서 동기화 된 사실적 청각 피드백 요소의 지원이 중요하다. 앞의 주요 3 가지 감각 인터페이스 방법(sensory channel, modality)는 현재의 불완전한 인터페이스 기술의 한계를 고려하여 상호 보완적인 관계로 응용 환경에 최적화된 적용 방법이 연구되어야 한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제20권4호
• /
• pp.1-7
• /
• 2014

볼륨렌더링은 주로 의학 및 과학 분야에서 사용되는 기법이었으나, 하드웨어의 발달과 더불어 다양한 응용프로그램에서의 적용이 가능해짐에 따라 볼륨렌더링에 대한 관심이 증가하고 있다. 볼륨렌더링의 시각화에 있어서 쉐이딩은 물체의 깊이 정보를 효율적으로 전달하여 시각적 인지에 큰 도움이 된다. 전역조명을 사용하면 시각적 인지를 향상시킬 수 있지만, 많은 GPU 메모리의 사용과 긴 연산시간으로 인해 프로그램과의 상호작용에 영향을 미친다. 본 논문에서는 렌더링 속도의 저하를 최소화하며 볼륨렌더링에 사실적인 쉐이딩을 적용하기 위하여 이미지 공간 폐색 쉐이딩 모델을 제안하고자 한다.

• 디자인학연구
• /
• 제15권2호
• /
• pp.27-36
• /
• 2002

Otto Kleppner의 시각화 모델을 통한 국내 부동산광고의 시각화 분석(신문광고 크리에이티브를 중심으로) 캡션(caption)없는 일러스트레이션에 대한 설명은 보는 이에 따라 그 해석이 구구하듯이 크리에이티브(creative)에서도 컨셉을 시각화하는 방법에 따라 주목효과도 다르게 나타나고 궁극적으로는 광고의 수용효과도 달라지리라 본다. 본 연구에서는 신문광고에서 큰 비중을 차지하고 있는 부동산 광고를 보다 효율적으로 제작하기 위한 방안의 하나로, Otto Kleppner의 시각화 모델을 통한 국내 부동산광고의 시각화분석을 통해 시각화 실태와 현황을 알아보고, 이를 토대로 문제점과 개선방향을 제시함으로써 합리적이고 효율적인 부동산광고의 크리에이티브를 수행하기 위한 기틀을 마련하고자 하였다.

• 정보처리학회논문지B
• /
• 제18B권5호
• /
• pp.305-314
• /
• 2011

사람의 의도를 인지하기 위해 감정을 시각적으로 인식하는 연구는 전통적으로 감정을 드러내는 얼굴 표정을 인식하는 데 집중해 왔다. 최근에는 감정을 드러내는 신체 언어 즉 신체 행동과 자세를 통해 감정을 나타내는 방법에서 감정 인식의 새로운 가능성을 찾고 있다. 본 연구는 신경생리학의 시각계 처리 방법을 적용한 신경모델을 구축하여 행동에서 기본 감정 의도를 인식하는 방법을 제안한다. 이를 위해 시각 피질의 정보 처리 모델에 따라 생물학적 체계의 신경모델 검출기를 구축하여 신체 행동의 정적 자세에서 6가지 주요 기본 감정을 판별한다. 파라미터 변화에 강건한 제안 모델의 성능은 신체행동 자세 집합을 대상으로 사람 관측자와의 평가 결과를 비교 평가하여 가능성을 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.559-562
• /
• 2020

시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.215-219
• /
• 2016

본 논문에서는 인간의 시각적 특성을 반영한 Just Noticeable Difference (JND) 모델을 사용한 움직임 예측을 통한 프레임율 향상 기법을 제안한다. 기존의 다중 프레임 기반 움직임 예측을 통한 프레임율 향상 기법은 움직임 벡터의 정확성을 높이기 위해 다중 프레임을 사용하며, 전체 영역에 대해 같은 블록 크기와 탐색 영역으로 움직임 예측을 수행함으로써 불필요한 계산량이 많아지고 움직임 벡터의 부정확한 예측이 수행된다는 단점이 있다. 제안하는 알고리듬은 인간의 시각적 특성을 고려한 Free Energy-based Just Noticeable Difference (FEJND) 모델을 사용하여 이전 프레임과 현재 프레임만을 사용하여 영역 특성에 따른 적응적 움직임 예측을 수행하여 정확성을 높인다. 실험 결과에 따라 제안하는 알고리듬의 성능이 향상되었음을 알 수 있다.