• 한국산업정보학회논문지
• /
• 제29권2호
• /
• pp.35-45
• /
• 2024

본 논문에서는 CNN과 Attention 기법을 통한 깊이 영상의 화면 내 예측 방법을 제안한다. 제안하는 방법을 통해 예측하고자 하는 블록 내 화소마다 참조 화소를 선택할 수 있도록 한다. CNN을 통해 예측 블록의 상단과 좌단에서 각각 수직방향과 수평 방향의 공간적 특징을 검출한다. 두 공간적 특징은 예측블록과 참조 화소들에 대한 특징을 예측하기 위해 각각 특징차원과 공간적 차원으로 병합된다. Attention을 통해 예측 블록과 참조 화소간의 상관성을 입력된 공간적 특징을 통해 예측한다. Attention을 통해 예측된 상관성은 CNN 레이어를 통해 화소 도메인으로 복원되어 블록 내 화소 값이 예측된다. 제안된 방법이 VVC의 인트라 모드에 추가되었을 때 화면 예측 오차가 평균 5.8% 감소하였다.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.44-55
• /
• 2014

3D 영상의 궁극적인 목표는 부정적 경험을 최소화하면서 동시에 깊이감 정보를 추가하여 얻을 수 있는 더 큰 몰입감, 사실감과 같은 긍정적 경험을 극대화시키는 것이다. 본 연구는 3D 카메라의 컨버전스 레벨을 다르게 조절했을 때 나타나는 깊이감 차이가 긍정적 그리고 부정적 경험에 어떠한 영향을 미치는지 살펴보고, 최적의 파라미터를 찾는 것을 목적으로 하며 이를 위해 3D 뮤직 비디오를 5개의 다른 컨버전스 레벨에 따라 제작하고 100명을 대상으로 실험을 진행하였다. 연구 결과는 깊이감에 따라 프레즌스와 프레즌스의 하위차원인 공간관여, 몰입실재감 등에서 유의미한 차이가 있었으며, 지각된 특성과 지각된 특성의 하위차원인 깊이 지각감, 화면 전달감, 모양 지각감, 공간 확장감 역시 유의미한 차이가 있었다. 또한 부정적 경험 요인인 피로감과 부자연스러움도 그룹에 따라 각각 차이가 있음을 보여 주었다. 본 연구결과는 3D 영상 제작 시 카메라의 폭주각은 피사체 위치에서의 폭주각보다 $0.17^{\circ}$ 작게 하여 화면보다 18.66cm 돌출된 영상을 제작하는 것이 영상에 대한 프레즌스와 지각된 특성은 높이고 부정적 경험은 줄여주는 최적의 영상경험을 제공하는 것으로 나타났다.

• 한국정보통신학회논문지
• /
• 제18권10호
• /
• pp.2443-2450
• /
• 2014

깊이 영상을 이용한 동작 인식 시스템에서는 효율적인 알고리즘 적용을 위하여 깊이 영상을 3차원 점군 데이터로 구성되는 실제 공간으로 변환하여 알고리즘을 적용한 후 투영공간으로 변환하여 출력한다. 하지만 변환 과정 중 반올림 오차와 적용되는 알고리즘에 의한 데이터 손실이 발생하게 된다. 본 논문에서는 3차원 점군 데이터에서 깊이 영상으로의 변환 시 반올림 오차와 영상의 크기 변화에 따른 데이터 손실이 발생하지 않는 효율적인 방법과 이를 하드웨어로 구현 하는 방법을 제안 하였다. 최종적으로 제안된 알고리즘은 OpenCV와 Window 프로그램을 사용하여 소프트웨어적으로 알고리즘을 검증하였고, Kinect를 사용하여 실시간으로 성능을 테스트하였다. 또한, Verilog-HDL을 사용하여 하드웨어 시스템을 설계하고, Xilinx Zynq-7000 FPGA 보드에 탑재하여 검증하였다.

• 한국정보통신학회논문지
• /
• 제24권3호
• /
• pp.384-390
• /
• 2020

영화나 VR 콘텐츠 제작 시 음향에 잔향 효과를 주는 것은 현장감과 생동감을 느끼게 하는데 매우 중요한 요소이다. 공간에 따른 음향의 잔향 시간은 RT60(Reverberation Time 60dB)이라는 표준에서 권고된다. 본 논문에서는 음향 편집 시 자동 잔향 편집을 위한 장면 인식 기법을 제안한다. 이를 위해 컬러 이미지와 예측된 깊이 이미지를 동일한 모델에 독립적으로 학습하는 분류 모델을 설계하였다. 실내 장면 분류는 내부 구조가 유사한 클래스가 존재하여 컬러 정보 학습만으로는 인식률의 한계가 존재한다. 공간의 깊이 정보를 사용하기 위해 딥러닝 기반의 깊이 정보 추출 기술을 사용하였다. RT60을 기반으로 총 10개의 장면 클래스를 구성하고 모델 학습 및 평가를 진행하였다. 최종적으로 제안하는 SCR+DNet(Scene Classification for Reverb＋Depth Net) 분류기는 92.4%의 정확도로 기존의 CNN 분류기들보다 더 높은 성능을 달성하였다.

• 한국작물학회지
• /
• 제41권4호
• /
• pp.475-481
• /
• 1996

본 실험은 육묘기간동안 근권의 공간제한이 뿌리 및 지상부의 생장에 미t치는 영향을 평가하기 위해 가로 세로가 각각 5cm이고 깊이가 5, 15, 30cm인 포트를 이용하여 포트의 용적을 조절하였다. 뿌리의 발달과 지상부의 생장은 가식 후의 담배육묘기간 동안 근계의 형태발달 및 지하부와 지상부의 생장을 조사하여 포트 용적에 따른 근계의 발달 양상을 알아보고 우량묘 생산에 있어서 합리적인 포트 규격과 이식 적기를 수립하고자 실시하였다. 1. 근권의 공간 제한은 환경반응에 따른 뿌리생장을 억제하여 지상부의 주요 생육형질을 감소시켰다 포트 깊이에 따른 용적제한은 관부에서 새로운 뿌리형성을 유도하였다. 2. 뿌리수의 발달은 포트 깊이가 얕을수록 많았고, 상대증식률도 컸다. 전체 뿌리길이와 평균 간장률은 포트 깊이가 깊을수록 길었다. 3. 각 순위별 뿌리수는 포트깊이가 깊을수록 1차 순위와 2차 순위 뿌리수가 많았고 얕을수록 3차 순위의 뿌리수가 많았다. 뿌리의 구조는 가식 후 20일에는 깊은 포트에서 넓은 뿌리 구조를 보였고 가식 후 25일에는 얕은 포트에서 넓은 뿌리 구조를 보여 공간제한에 따른 뿌리 형태와 구조가 변화하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 3부
• /
• pp.170-175
• /
• 2007

영상 재투영이란, 깊이 맵을 투영하여 임의의 시점에서 본 이미지를 생성해내는 기법을 말한다. 기존의 CPU를 이용한 영상 재투영 기법들의 가장 큰 단점은 CPU와 GPU 간의 데이터 복사가 일어나고 재투영 연산 자체의 속도가 느리기 때문에 실시간 렌더링이 불가능 하다는 것이다. 따라서 본 논문에서는 GPU를 이용하여 영상 재투영을 구현하고 실시간에 이미지를 렌더링하는 기법을 소개한다. 우리의 기법은 입력으로 참조 이미지와 해당 이미지의 깊이 맵이 주어졌을 때, 임의의 시점에서 보이는 새로운 이미지를 실시간으로 생성한다. 임의의 시점에서 이미지를 생성하기 위해, 각 픽셀에서 참조 이미지에 해당하는 평면을 렌더링하여 시점 반대 방향의 광선을 생성한다. 이 광선을 참조 이미지의 투영 공간으로 변환한 후, 광선과 깊이 맵간의 교차점을 찾는다. 이렇게 찾아낸 깊이 맵의 교차점과 일치하는 참조 이미지의 픽셀 색으로 새로운 시점의 이미지를 만들어 낼 수 있다. 이와 같은 기법은 기하 정보의 복잡도와 관계없이 수십 프레임의 속도로 실시간 렌더링이 가능하다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2006년도 춘계종합학술대회
• /
• pp.851-854
• /
• 2006

멀티미디어 데이터 중 3차원 멀티미디어 데이터의 저작권 보호를 위한 기술로 디지털 워터마킹에 대한 연구가 활발히 진행되고 있다. 워터마킹 기술은 공간영역에 워터마크를 삽입하는 것과 주파수 영역에 워터마크를 삽입하는 기술로 크게 나누어진다. 본 논문에서는 3차원 깊이정보로부터 다각형 모델링을 구현하고 깊이영상의 저작권보호를 위한 방법으로 먼저 3차원으로 획득된 깊이정보로부터 다각형메쉬(polygon mesh)를 구성하고 3차원 메쉬 데이터를 DCT변환을 이용하여 주파수 영역으로 변환한 후 변환된 주파수 영역에 적응적으로 워터마크를 삽입하고 검출하였다. 깊이영상의 저작권보호를 위한 비가시적이며 강인한 워터마킹 방법을 구현하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.62-63
• /
• 2019

본 논문에서 개발하고자하는 다시점 스테레오 영상 기반의 3차원 깊이 정보 획득 기술은 스테레오 비전, light field, 가상시점, 방송 콘텐츠, 등 다양한 분야의 기술이 융합된 기술로 연구의 중요성이 매우 높다. 본 논문에서는 SGM 기반의 멀티베이스 라인 스테레오 정합 기술을 개발하고 다시점 스테레오 영상에 적용하여 깊이 정보를 획득하였다. 두 시점 간의 스테레오 정합에 있어서 다방향의 에너지 최소화 기술을 적용하고 시점 간의 정합비용함수를 누적하여 마지막으로 S공간 누적방법으로 최적의 깊이영상을 획득하였다. 기존의 스테레오 정합에 비하여 멀티베이스라인 스테레오 정합의 성능 향상을 확인하고 Middlebury 스테레오 영상을 이용하여 성능을 분석하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2006년도 학술대회
• /
• pp.59-62
• /
• 2006

본 논문에서는 OpenGL Rendering을 이용한 모델기반 3D 다시점 영상의 객체 구현을 위한 구성과 각 모듈에 적용되는 알고리즘에 대해 중점적으로 연구하였다. 한 장의 텍스쳐 이미지와 깊이 맵(Depth Map)을 가지고 다시점 객체를 생성하기 위해, 먼저 깊이 정보의 전처리 과정을 거친다. 전처리 된 깊이 정보는 OpenGL상에서의 일정 간격의 꼭지점(Vertex) 정보로 샘플링 된다. 샘플링 된 꼭지점 정보는 깊이 정보를 z값으로 가지는 3차원 공간 좌표상의 점이다. 이 꼭지점 정보를 기반으로 텍스쳐 맵핑 (texture mapping)을 위한 폴리곤(polygon)을 구성하기 위해 딜루이니 삼각화(Delaunay Triangulations) 알고리즘이 적용되었다. 이렇게 구성된 폴리곤 위에 텍스쳐 이미지를 맵핑하여 OpenGL의 좌표 연산을 통해 시점을 자유롭게 조정할 수 있는 객체를 만들었다. 제한된 하나의 이미지와 깊이 정보만을 가지고 좀 더 넓은 범위의 시점을 가지는 다시점 객체를 생성하기 위해, 새로운 꼭지점을 생성하여 폴리곤을 확장시켜 기존보다 더 넓은 시점을 확보할 수 있었다. 또한 렌더링된 모델의 경계 영역 부분의 깊이정보 평활화를 통해 시각적인 개선을 이룰 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.161-168
• /
• 2006

본 연구는 공간적 정보의 청각적 제시 가능성을 확인하기 위해 머리전달함수(head-related transfer function: HRTF)를 통해 생성된 3D 사운드를 가상공간상 대상 위치의 직각형태(orthogonal pattern), 혹은 대각형태(diagonal pattern)의 조합으로 배열하여 투시장치(See-Through HMD)로 증강현실을 경험하고 있는 사용자 과제수행의 정확성을 측정하였다. 본 연구에서 실시한 실험들의 결과를 종합하면, 3D 사운드로 대상의 위치 정보를 제시할 때는 사용자로부터의 방향은 직각으로 위치시키는 정보 배열이 정확성을 확보할 수 있고, 또한 가상적 깊이를 이용하여 정보를 배열하는 것도 그 깊이를 구분할 수 있으나 정확성이 떨어짐을 확인하였다. 특히 보다 현실적인 과제 상황에서의 수행을 비교하기 위해 일차과제(primary task)를 하는 동안 제시된 청각자극 조건에서 이런 정확성의 차이가 마찬가지로 나타났다. 이런 결과를 통해 3D 사운드로 대상의 위치와 같은 공간적 정보를 제시 가능한 최적의 배열 형태를 제안하는데, 이는 어떤 패턴으로 정보를 구조화하여 제시하느냐에 따라 청각적 위치 정보 제시의 성공 여부가 결정된다는 것을 의미한다.