• 한국전자통신학회논문지
• /
• 제18권6호
• /
• pp.1307-1312
• /
• 2023

본 논문에서는 자율주행 인지 기술의 핵심 요소인 객체 인식과 거리 측정을 위해 서로 다른 초점거리를 가진 다시점 카메라와 라이다(LiDAR) 센서를 결합한 복합형 카메라 시스템을 제안한다. 제안한 복합형 카메라 시스템을 이용해 장면 안의 객체를 추출하고, 추출한 객체의 정확한 위치와 거리 정보를 생성한다. 빠른 계산 속도와 높은 정확도, 실시간 처리가 가능하다는 장점 때문에 자율주행 분야에서 많이 사용하고 있는 YOLO7 알고리즘을 이용해 장면 안의 객체를 추출한다. 그리고 객체의 위치와 거리 정보를 생성하기 위해 다시점 카메라를 이용해 깊이맵을 생성한다. 마지막으로 거리 정확도를 향상시키기 위해 라이다 센서에서 획득한 3차원 거리 정보와 생성한 깊이맵을 하나로 결합한다. 본 논문에서는 제안한 복합형 카메라 시스템을 기반으로 주행중인 주변 환경을 더욱 정확하게 인식함과 동시에 3차원 공간상의 정확한 위치와 거리 정보까지 생성할 수 있는 자율주행 차량 플랫폼을 제안하였으며, 이를 통해 자율주행 차량의 안전성과 효율성을 향상시킬 수 있을 것으로 기대한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.620-624
• /
• 2009

본 논문은 고화질(high definition, HD) 복합형 카메라 시스템과 고품질(high-quality) 3차원 스캐너를 결합하여 다시점 비디오와 그에 상응하는 다시점 깊이맵을 생성하는 시스템을 제안한다. 복합형 카메라 시스템과 3차원 스캐너를 이용해 3차원 비디오를 생성하기 위해서는, 우선 움직임이 없는 배경영역에 대한 깊이정보를 고품질 3차원 스캐너를 이용해 미리 획득하고, 동적으로 움직이는 전경영역에 대해서는 다시점 카메라와 깊이 카메라를 결합한 복합형 카메라 시스템을 이용해 다시점 비디오와 깊이맵을 획득한다. 그리고 3차원 스캐너와 깊이카메라를 통해 획득한 깊이정보를 이용해 3차원 워핑(warping)을 적용하여 각 다시점 카메라를 위한 초기 깊이정보를 예측한다. 초기 깊이정보를 이용해 다시점 깊이를 예측하는 것은 다시점 카메라의 각 시점에서의 초기 깊이맵을 계산하기 위한 것이다. 고화질의 다시점 깊이맵을 생성하기 위해서 belief propagation 방법을 이용하여 초기 깊이맵을 정제한다. 마지막으로, 전경영역의 경계선 영역의 불규칙적인 깊이맵을 정제하기 위해 전경영역의 외곽선 정보를 추출하여 생성된 깊이맵의 경계선 영역을 다시한번 정제한다. 제안한 3차원 스캐너와 복합형 카메라를 결합한 시스템은 기존의 깊이맵 예측 방법보다 정확한 다시점 깊이맵을 포함하는 3차원 비디오를 생성할 수 있었으며, 보다 자연스러운 3차원 영상을 생성할 수 있었다.

• 전자공학회논문지SC
• /
• 제49권1호
• /
• pp.1-7
• /
• 2012

본 논문에서는 색상과 깊이 카메라로 구성된 복합형 카메라 시스템을 이용하여 3차원 영상을 구성하는 방법을 제안한다. 복합형 카메라 시스템은 3차원 영상 구성에 대하여 각 카메라가 갖는 단점을 상호 보완할 수 있다. 3차원 영상 구성에 앞서 개별적인 카메라의 내부변수 및 외부변수를 추출하며 이를 이용하여 영상 정합에 필요한 두 카메라 사이의 관계를 얻는다. 또한, 깊이 카메라의 출력과 거리 관계를 실험적으로 유도하며 정합된 영상에 대하여 좌표 변환을 통해 3차원 영상을 구성한다. 제안된 기법을 구현하기 위해 마이크로소프트사의 복합형 카메라를 이용하며 실험을 수행하며 3차원 영상 및 실제 측정치와의 비교 결과를 제시함으로써 성능을 검증한다.

• 방송공학회논문지
• /
• 제19권4호
• /
• pp.533-546
• /
• 2014

본 논문은 Time-of-Flight(ToF) 깊이 카메라와 DSLR을 이용한 사진측량 기반의 복합형 카메라시스템 구성방법을 제안한다. ToF 깊이 카메라는 깊이 정보를 실시간으로 출력하는 장점이 있지만 제공되는 명암 영상의 해상도가 낮고 획득한 깊이 정보가 물체의 표면상태에 민감하여 잡음이 발생하는 단점이 있다. 따라서 깊이 카메라를 이용한 입체 모델 생성을 위해선 깊이 정보의 보정과 함께 고해상도 텍스처맵을 제공하는 복합형 카메라의 구성이 필요하다. 이를 위해 본 논문은 상대표정을 수행하여 깊이 카메라와 DSLR의 상대적인 기하관계를 추정하고 공선조건식 기반의 역투영식을 이용하여 텍스처매핑을 수행한다. 성능검증을 위해 기존 기법의 모델 정확도와 텍스처매핑 정확도를 비교 분석한다. 실험결과는 제안 기법의 모델 정확도가 더 높았는데 이는 기존 기법이 깊이 카메라의 잡음이 있는 3차원 정보를 기준점으로 사용하여 절대표정을 수행한 반면에 제안 기법은 오차정보가 없는 두 영상간의 공액점을 이용했기 때문이다.

• 방송공학회논문지
• /
• 제13권5호
• /
• pp.596-601
• /
• 2008

본 논문은 저해상도의 깊이 카메라와 고해상도의 양안식 카메라를 결합한 복합형 카메라 시스템에서 관심영역(region of interest, ROI)이 향상된 깊이맵을 생성하는 새로운 방법을 제안한다. 제안하는 방법은 깊이 카메라로 획득한 깊이 정보를 3차원 워핑(warping)하여 좌영상의 ROI 깊이맵을 생성한다. 그런 다음, 양안식 카메라로 획득한 좌우영상의 배경 영역을 스테레오 정합하여 좌영상의 배경 깊이맵을 생성한다. 최종적으로, ROI 깊이맵과 배경 깊이맵을 결합하여 최종 깊이맵을 생성한다. 제안하는 방법으로 생성한 고해상도 깊이맵은 기존의 스테레오 정합 방법보다 ROI에 정확한 깊이 정보를 제공한다.

• 한국통신학회논문지
• /
• 제26권3B호
• /
• pp.302-314
• /
• 2001

많은 비전 응용에서 카메라의 광축은 영상 평면과 직교한다는 가정을 한다. 그러나 가정아래 전통적인 왜곡 영상 보정 방법은 렌즈의 방사(radial) 왜곡과 이탈(decentering) 왜곡만을 고려하고 있다. 그러나 렌즈의 광축(optical axis)과 영상 켈리브레이션 평면이 직교하지 않을 경우는 평면 투명 변환과 카메라 자체의 렌즈 왜곡이 복합되어 나타나게 되므로 기존 방법만으로는 이러한 복합왜곡을 보정할 수 없다. 본 논문에서는 일방 방사왜곡 뿐만 나이라 평면 투명변환과 렌즈왜곡이 동시 존재하는 영상 시스템에서도 적용 가능한 왜곡 영상 자동 보정 방법을 제한한다. 제안한 복합 왜곡 모델은 평면 투명 변환 모델과 렌즈의 방사 왜곡 모델로부터 유도하고, 계수 추출 알고리듬은 비 선형 최소화 기법인 Levenberg-Marquart 방법에 기반을 둔다. 실험은 이상형 격자 영상에 임의 왜곡 계수를 적용한 영상과 WebCam 카메라의 실제 왜곡 영상을 가지고 실시하였고, 기존 방법과 제안한 방법의 보정율을 비교 평가하였다. 실험결과 제안한 방법은 렌즈 왜곡만 있는 경우에도 기존 방법보다 우수하였으며, 복합왜곡 환경에서도 97% 이상의 보정율로 아주 견고하게 적용 가능한 것으로 나타났다.

• 디지털융복합연구
• /
• 제11권10호
• /
• pp.359-366
• /
• 2013

영상보안은 CCTV 카메라, 디지털 저장장치, 영상분석 및 인식기술 등의 발전과 시장 확대로 인하여 실시간 감시 시스템이나 지능형 영상보안 시스템 등의 보다 진화된 기술의 개발을 요구하고 있다. CCTV 카메라 시스템에서 회전이 가능한 PTZ 카메라는 줌인 기능을 가지고 있으므로 물체에 대한 정밀한 영상을 획득할 수 있으나 사각 지대가 발생할 수 있으며 동시에 두 개 이상의 이동하는 물체에 대한 감시가 불가능한 단점을 가지고 있었다. 본 연구는 지능형 동체추적 CCTV 시스템 및 영상 감시 방법에 관한 것으로 전체 영역을 감시하는 하나의 고정 카메라와 두 개 이상의 PTZ 카메라를 사용하여 광범위 영역에서 동시에 이동하는 다수의 물체를 정밀하게 촬영할 수 있는 지능형 영상 보안 시스템을 제안한다.

• 디지털융복합연구
• /
• 제15권3호
• /
• pp.195-200
• /
• 2017

본 연구는 시뮬레이터 카메라 가상제어형 CG적용 영상제작시스템을 제공하는 것이 목적이다. 본 연구에서 제시하는 영상제작시스템은 촬영현장의 시뮬레이터 카메라와 CG적용 영상편집이 이루어지는 그래픽 툴의 가상카메라가 서로 동기화되도록 하고, 시뮬레이터 카메라의 위치, 움직임, 이동, 렌즈설정이 그래픽 툴에서 제공하는 카메라 제어 인터페이스를 통해 가상적으로 제어되도록 하여 그래픽 툴을 통해서 간편하고 용이하게 수행할 수 있는 시스템이다. 동서대학교 창작 애니메이션인 블레이즈 나이츠(Blaze Knights)를 사례로 하여, 시스템 적용전과 적용후의 진행율 및 작업양을 비교하여 연구결과의 우수성을 부각하였다. 연구결과에 따라 CG 아티스트의 작업효율이 증대되는 동시에 CG적용 영상의 장면 연출시 물리적 제약이 최소화되면서, 다양한 장면 연출의 가능 및 실사 촬영이후 영상 편집단계에서 요구될 수 있는 재촬영 분량도 최소화등 VFX업계에 기여도가 높을 것으로 기대한다.

• 대한전자공학회논문지SP
• /
• 제48권6호
• /
• pp.8-17
• /
• 2011

최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 저해상도 깊이 카메라와 고해상도 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 복합형 카메라 시스템에서 취득한 저해상도 깊이맵을 컬러 영상과 같은 영상 평면 (Image Plane) 에 위치시키고 같은 해상도를 가질 수 있게 하려면 카메라 보정 및 3차원 투영, 홀 (Hole) 채우기와 같은 일련의 전처리 과정이 필요하다. 그러나 전처리 과정을 거친 깊이맵은 깊이 카메라의 내부 특성, 카메라 보정의 부정확성 등에 의해 많은 오차를 가진다. 그러므로 본 논문에서는 오차가 많은 상황에서도 강건하게 동작하는 깊이맵 업샘플링 방법을 제안한다. 먼저, 전처리 과정을 통해 얻은 깊이 정보의 신뢰도를 컬러 영상과의 상관관계에 기반하여 측정한다. 그리고 낮은 신뢰도의 깊이 정보를 참조하지 않는 수정된 커널 회기법 (Kernel Regression)을 통해 깊이맵과 컬러 영상의 경계 정합을 수행하여 세밀한 깊이 표현이 가능한 고해상도 깊이맵을 형성한다. 제안하는 알고리즘은 깊이 정보의 신뢰도 정의와 그에 따른 참조를 통해 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.

• 한국항공우주학회지
• /
• 제45권5호
• /
• pp.417-428
• /
• 2017

본 논문에서는 항공기 조종사 지능형 헬멧시현시스템(IHDS, Intelligent Helmet Display System)의 아키텍쳐 설계, 단위 구성품 설계, 핵심 소프트웨어 설계내용(헬멧 자세추적, 고도오차 보정 소프트웨어)을 기술하며, 단위시험 및 통합시험에 대한 결과를 기술한다. 세계적인 최신 헬멧시현시스템 개발 추세를 반영하여 3차원 전자지도 시현, FLIR(Forward Looking Infra-Red) 영상시현, 하이브리드형 헬멧자세추적, 바이저 반사형광학계, 야시카메라 영상시현 및 경량 복합소재 헬멧쉘 등의 사양을 설계에 적용하였다. 특히 3차원 전자지도 데이터의 고도오차 자동보정 기법, 고정밀 영상정합 기법, 다색(Multi-color) 조명광학계, 회절소자를 이용한 투과형 영상발광면, 헬멧자세 추정시간을 최소화하는 추적용 카메라, 장/탈착형 야시카메라, 머리 밀착용 에어포켓 등의 신개념의 설계를 제안하였다. 모든 시스템 구성품의 시제작을 완료한 후 단위시험과 시스템 통합시험을 수행하여 기능과 성능을 검증하였다.