• 한국멀티미디어학회논문지
• /
• 제22권5호
• /
• pp.547-557
• /
• 2019

To extract the depth map from a single image, a number of CNN-based deep learning methods have been performed in recent research. In this study, the GAN structure of Pix2Pix is maintained. this model allows to converge well, because it has the structure of the generator and the discriminator. But the convolution in this model takes a long time to compute. So we change the convolution form in the generator to a depthwise convolution to improve the speed while preserving the result. Thus, the seven down-sizing convolutional hidden layers in the generator U-Net are changed to depthwise convolution. This type of convolution decreases the number of parameters, and also speeds up computation time. The proposed model shows similar depth map prediction results as in the case of the existing structure, and the computation time in case of a inference is decreased by 64%.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.154-156
• /
• 2022

본 논문은 카메라 어레이기반 실사 다시점 입체영상을 획득·생성하기 위한 워크플로우를 제시하고 이를 검증하기 위한 실험 결과를 소개한다. 구체적으로, 액션 캠 기반 수렴형 리그 구조, 획득 동기화, 카메라 캘리브레이션, 깊이 맵 추출을 포함하는 일련의 과정 및 이에 대한 검증으로 실내외 2종의 콘텐츠의 획득 실험 결과를 기술한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 추계학술발표대회
• /
• pp.464-466
• /
• 2011

본 논문에서는 영상 처리 및 컴퓨터 비전 분야의 기술을 마이크로 소프트 사의 키넥트에 적용하여 효과적인 체감형 학습을 위한 콘텐츠를 구성하고자 한다. 일반적으로 사람들이 많이 알고 있는 손 그림자 놀이를 응용하여 참여자들의 움직임을 통해 인터랙션을 발생시킬 수 있도록 하였고, 깊이정보맵으로부터 카메라에서 가장 가까운 거리에 있는 영역을 검출하기 위해 Meanshift segmentation(평균이동분할) 알고리즘을 적용 시켰다. 본 시스템의 체감형 콘텐츠는 문화 콘텐츠의 한 종류로서 이의 확장된 버전이 여러 분야에서 많은 활용이 될 것을 기대한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.51-53
• /
• 2022

고정된 위치를 중심으로 회전운동만 체험할 수 있는 3 자유도(DoF: Degrees of Freedom)를 넘어 위치를 변경하며 운동시차까지 포함된 6 자유도를 지원하는 몰입형 미디어에 대한 연구가 지속해서 진행되고 있다. 특히 부드러운 시점 변경을 제공하기 위해 특정 위치에서 샘플링 된 여러 개의 텍스쳐(또는 컬러) 및 깊이맵 영상(MVD: Multiview Video plus Depth)으로 구성된 다시점 영상을 통해 실제로 획득되지 않은 위치에서의 영상을 만들어내는 가상시점 합성(virtual view synthesis) 기술이 많이 사용되고 있다. 본 논문에서는 몰입형 미디어의 대표적인 데이터 형식인 다시점 영상을 실사 및 컴퓨터 그래픽스(CG: Computer Graphics) 환경에서 획득하는 방법에 관해 설명한다.

• 한국융합학회논문지
• /
• 제10권7호
• /
• pp.121-131
• /
• 2019

아트 콜라보레이션 광고는 상품과 직접적인 관련이 없는 미술작품을 활용하여 더 가치 있는 상품으로 재창조하는 것으로 창의적 사고가 핵심 가치로서 작용한다. 본 연구의 목적은 창의성 기법으로서 마인드 맵과 스캠퍼 기법이 아트콜라보레이션 수업에서 갖는 창의적 사고의 효과를 규명하고자 한다. 중학교 학생 5명에게 총 6차시 아트 콜라보레이션 광고 수업을 진행한 후 수업 결과인 학생 활동지와 작품을 통해 창의적 기법과 창의성의 요소간의 특성을 분석하였다. 그 결과는 다음과 같다. 첫째, 아트 콜라보레이션 활용 미술 수업을 통하여 학생들은 주제 정하기 단계인 '마인드 맵' 활동에서는 유창성이 아이디어 탐색 단계인 '스캠퍼' 활동에서는 '융통성'과 '독창성'이 발휘되었다. 둘째, 수업의 전체 과정을 통해 가공되지 않은 수준의 생각을 구체화하고 깊이를 발전시키는 정교화의 과정을 관찰할 수 있었다. 본 연구는 두 개 이상의 영역이 만나 각각의 핵심 역량을 바탕으로 협업하는 사례로 학생들의 창의적 융합 사고증진과 관련된 연구에 기여할 것이다.

• 방송공학회논문지
• /
• 제15권2호
• /
• pp.163-172
• /
• 2010

자유시점 비디오는 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 가상 카메라와 깊이맵을 이용하여 한 장의 영상 내부를 항해하는 입체 자유시점 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 단안 사진 내부를 항해하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전경 마스크, 배경영상, 및 깊이맵을 반자동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 입체 원근투영 영상들을 획득한다. 배경영상과 전경객체의 3D 데이터를 기반으로 가상 카메라의 3차원 공간이동, 요/피치/롤링 등의 회전, 룩어라운드, 줌 등의 다양한 카메라 기능을 활용하여 입체 자유시점 비디오를 구현한다. 원근투영은 직교투형보다 우수한 입체감을 전달하며, 기존 방법과 비교하여 텍스쳐의 3D 데이터를 직접 원근투영하여 처리속도를 향상시켰다. 소프트웨어는 MFC Visual C++ 및 OpenGL 기반으로 구축되었으며, 실험영상으로 신윤복의 단오풍정을 사용하여 고전화의 입체 자유시점 비디오를 시청이 가능하다.

• 대한전자공학회논문지SP
• /
• 제45권5호
• /
• pp.1-8
• /
• 2008

최근 활발히 연구되고 있는 신뢰전파(Belief Propagation) 기법은 변위(disparity) 정보추출에 우수한 성능을 보인다. 신뢰전파 기법은 변위 추출에 필요한 목표함수를 Markov random field(URF)의 에너지 함수로 모델링 하는 방식으로서 에너지 함수를 최소화하는 변위 값을 찾음으로써 정합문제를 해결한다. MRF 모델은 스테레오와 영상복원과 같은 비전 문제에 강건하고 일괄된 구조를 제공한다. 그러나 MRF 모델링 기반의 신뢰전파 기법은 정확한 결과를 산출하지만 다른 스테레오 기법에 비하여 상대적으로 많은 계산 량이 요구되기 때문에 실시간 구현에 어려움이 있다. 본 논문에서는 이러한 문제를 해결하고자 신뢰전파 기법의 고속 구현 알고리즘을 제안한다. 에너지 함수는 data항과 smoothness항의 합으로 나타낸다. 데이터(data)항은 일반적으로 두 영상의 밝기 차이로 계산되고, 연속성(smoothness)항은 인접화소의 차이를 나타낸다. 연속성 정보는 메시지로부터 생성되는데, 메시지는 네 방향의 인접화소 위치에 대한 연속성과 일치성을 고려하여 계산된다. 네 방향의 메시지에 대한 처리 시간은 전체 프로그램 수행 시간의 80%이상을 차지한다. 제안된 방법에서는 네 개의 배열에서 생성되는 메시지를 하나의 배열에서 일괄적으로 생성하게 함으로써 메시지 계산에 대한 수행 시간을 단축하는 알고리즘을 제안한다. 최종 변위 추출과정에서 메시지는 통합된 하나의 배열에서만 호출되며, 이는 기존 알고리즘의 메시지 처리의 계산 량을 1/4 만큼 줄이는 효과가 있다. 기존의 신뢰전파 기법으로 생성한 깊이맵의 변위 오차율과 제안한 알고리즘으로 생성된 깊이맵의 변위 오차율을 비교함으로써 제안한 알고리즘의 변위추출의 정확도를 평가한다. 실험 결과, 변위 오차는 거의 증가하지 않는 반면, 전체 프로그램 수행 시간이 철저히 감소됨을 확인할 수 있다.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.859-874
• /
• 2008

본 논문은 3차원 디스플레이 시스템에서 카메라의 기하 정보 및 참조 영상들의 깊이 맵 정보가 주어졌을 때, 다수의 중간 시점 영상을 실시간으로 생성하는 고속 영상 합성 기법을 제안한다. 기본적으로 본 논문에서는 영상 합성 기법의 모든 과정을 GPU에 서 병렬 처리함으로써 고속화 할 수 있었다. 병렬처리를 이용한 고속화 효율을 높이기 위해 최근 NVIDIA사에서 발표한 $CUDA^{TM}$를 이용하였다. 영상 합성을 위한 모든 중간 과정을 CUDA로 처리하기 위해 병렬구조로 변환하고, GPU 상의 고속메모리의 사용을 극대화하고, 알고리즘 구현을 최적화함으로써 고속화 효율을 높일 수 있었다. 결과적으로 본 논문에서는 양안 영상과 깊이 지도를 이용하여 가로 720, 세로 480 크기의 9개의 시점 영상을 0.128초 이내에 생성할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제16권1호
• /
• pp.11-18
• /
• 2013

본 논문에서는 정확한 깊이를 추출하기 위해 고차 통계기반 초점 척도를 이용한 SFF(shape from focus) 알고리즘을 제시한다. 기존의 SFF기반 3차원 깊이 복원 기법들은 초점 척도로 SML(sum of modified Laplacian)을 사용하기 때문에, 성능이 영상의 특성에 크게 의존하여 초점이 정밀하거나 질감이 풍부한 영상에서만 효율적이다. 그러므로, 본 논문에서는 비교적 질감과 초점이 빈약한 영상에서도 초점 값을 추출할 수 있도록 고차 통계(HOS:higher order statistics)를 이용한 알고리즘을 제안한다. 이 초점 척도에 의해 초점 영역 맵이 생성되고 국부적으로 최적의 초점 값을 갖는 화소를 추출하기 위해 영역개선, 세선화, 모서리 검출과정이 순서적으로 적용된다. 최종적으로 추출된 점에 대해서 Delaunay 삼각화를 사용하여 3차원 모델정보를 생성한다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.911-921
• /
• 2020

최근 MPEG-I (Immersive) 그룹에서는 몰입형 비디오(Immersive Video)에 대한 표준화 프로젝트를 통해 압축 성능 탐색을 진행하고 있다. MIV(MPEG Immersive Video) 표준 기술은 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적인 6DoF을 제공하고자 하는 기술이다. 현재 MIV에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. MIV에서 생성된 아틀라스는 포함되는 시점의 성격에 따라 다른 영상의 특성을 나타내어 비디오 코덱의 압축 효율에 대한 고찰이 필요하다. 따라서 본 논문에서는 다양한 시점과 패치들이 반복되는 패턴에 착안하여 화면 내 블록 카피(IBC: intra block copy) 등의 압축 기법이 포함된 스크린 콘텐츠 코딩 툴에 대한 성능 비교 분석을 진행하여 복원 영상에서 최대 -15.74% Peak Signal-to-Noise Ratio (PSNR) 관점에서의 부호화 성능 향상을 제공하였다.