• IEIE Transactions on Smart Processing and Computing
• /
• 제3권6호
• /
• pp.353-357
• /
• 2014

This paper, presents an efficient hardware architecture of high performance SVC(Scalable Video Coding). This platform uses dedicated hardware architecture to improve its performance. The architecture was prototyped in Verilog HDL and synthesized using the Synopsys Design Compiler with a 65nm standard cell library. At a clock frequency of 266MHz, This platform contains 2,500,000 logic gates and 750,000 memory gates. The performance of the platform is indicated by 30 frames/s of the SVC encoder Full HD($1920{\times}1080$), HD($1280{\times}720$), and D1($720{\times}480$) at 266MHz.

• 한국멀티미디어학회논문지
• /
• 제24권3호
• /
• pp.423-430
• /
• 2021

Aiming Graph convolutional networks (GCNs) have achieved outstanding performances on skeleton-based action recognition. However, several problems remain in existing GCN-based methods, and the problem of low recognition rate caused by single input data information has not been effectively solved. In this article, we propose a Dual-stream fusion method that combines video data and skeleton data. The two networks respectively identify skeleton data and video data and fuse the probabilities of the two outputs to achieve the effect of information fusion. Experiments on two large dataset, Kinetics and NTU-RGBC+D Human Action Dataset, illustrate that our proposed method achieves state-of-the-art. Compared with the traditional method, the recognition accuracy is improved better.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.43-45
• /
• 2020

궁극의 3D 디스플레이 기술이라고 할 수 있는 홀로그램 기술로 실물을 보는 것과 같은 3차원 영상이 가능해 지고 있다. 그러나 디지털 홀로그램 영상의 데이터양은 HD나 UHD 영상의 수십에서 수천 배에 달해 원본 화질의 열화를 최소화 하면서 데이터양을 줄이기 위한 압축 부호화 기술이 매우 중요하다. 본 논문에서는 위상 홀로그램 동영상에 대해 최신 영상 압축 표준인 HEVC(High Efficiency Video Coding)와 VVC(Versatile Video Coding)로 압축한 후 홀로그램 영역과 수치 복원 영역에서 압축 성능을 비교하며, 다양한 실험영상에 대한 HEVC 압축 결과에 대해 객관적 압축성능 분석 및 주관적 성능 분석을 진행한다.

• 방송공학회논문지
• /
• 제16권4호
• /
• pp.596-601
• /
• 2011

양안식 3차원 방송의 경우 좌우 두 시점에 해당하는 영상을 동시에 전송해야 하기 때문에 전송 대역폭의 부담이 매우 크다. 이러한 부담을 줄이기 위해 좌우 시점의 두 영상을 전송하는 대신에 좌영상과 이에 해당하는 깊이맵을 부호화하여 전송하는 방법이 있다. 이러한 3차원 방송 시스템의 수신단에서는 좌영상과 깊이맵을 복호한 뒤에 우영상을 만들어 좌우 영상을 실시간으로 출력한다. 본 논문에서는 좌영상과 깊이맵을 이용하여 가상시점 영상을 생성할 때 생기는 빈 공간을 효율적으로 채우는 기법을 제안하고, 전 과정의 실시간 처리를 위해 이를 GPU상에서 병렬로 처리되도록 구현했다. 그 결과 효과적으로 홀 채움을 수행하면서 CPU 대비 15배 이상 빠르게 양안식 영상을 생성할 수 있었다.

• 한국측량학회지
• /
• 제31권2호
• /
• pp.159-164
• /
• 2013

움직이는 한 개의 카메라 동영상으로부터 개체의 3차원 위치를 추출할 수 있다고 알려져 있다. 이로부터 캠코더 측정시스템을 이용하여 부유체 모형에 대한 영상기반 모니터링을 수행하였다. 규칙파 및 비규칙파 실험조건에서의 디지털 캠코더 동영상으로부터 프레임 영상을 추출하고, 특징점을 정합하여, 상대적인 3차원 좌표를 획득하였다. 수정된 SURF 기반 정합의 영상 변환 정확도와 규칙파에서 부유체 모델의 영상기반 변위 관측 정확도를 평가하였다. 규칙파의 경우 조파기의 설정값은 3.0sec이고, 영상기반 변위에 의한 주기는 2.993sec이었다. 기계적 오차를 고려할 때 이 두 값은 유사한 결과로 여겨진다. 시각적으로도 X Y Z축으로의 1차원 투영결과나 3차원 공간에서의 결과에서 규칙파의 형상을 볼 수 있었다. 결과적으로 30fps의 일반 디지털 캠코더 동영상을 이용하여 근실시간으로 위치변동을 계산할 수 있었다.

• 한국게임학회 논문지
• /
• 제5권2호
• /
• pp.3-9
• /
• 2005

인터렉티브 리얼 타임 3D(Interactive real-time 3D)는 유저가 가상의 3차원 세계를 탐색하고 또한 몰입하는 폼의 컨텐츠를 경험할 수 있게 해준다. 다른 매체와는 다르게, 인터렉티브 리얼 타임 3D의 사용자(user)는, 디지털 3D의 구조에서의 작용과 반작용이 즉시 일어나는 "실시간"에서 진행되는 프로세스에서 능동적인 역할을 수행한다.

• 방송공학회논문지
• /
• 제11권2호
• /
• pp.164-173
• /
• 2006

동심원 모자이크 데이터 구조는 천천히 움직이는 카메라를 통해 얻는 비디오 시퀸스의 구조와 유사하다. 동심원 모자이크는 이러한 구조의 데이터들을 정렬하거나 합쳐서 모자이크 영상을 얻게 된다. 따라서 동심원 모자이크는 엄청나게 많은 양의 데이터를 필요로 하기 때문에 압축은 필수적이다. 따라서 압축 데이터를 그대로 유지하면서 특정 장면을 복호화 할 수 있는 알고리즘이 필요하다. 본 논문에서는 동심원 모자이크의 압축을 위하여 3차원 리프팅 변환을 사용하였다. 리프팅 변환은 웨이브렛의 장점을 그대로 유지하면서 연산량과 메모리의 사용량을 줄일 수 있다. 3차원으로 변환된 압축 비트 스트림은 프레임들 사이에 복잡한 연관성을 갖게 되어 특정 장면의 검출에 대한 복잡도가 높아지게 된다. 따라서 비교적 우수한 압축 성능을 가지면서 특정 장면의 검출에 대한 복잡도를 낮추기 위해 3차원 변환된 데이터를 프레임 단위로 압축하였다 압축은 가변적인 비트율을 사용하여 압축된다. 또한 리프팅 구조의 특징을 사용하여 압축 데이터의 형태를 유지하면서 특정한 장면을 복호화 할 수 있는 알고리즘을 제안하였다.

• 대한전자공학회논문지SP
• /
• 제42권3호
• /
• pp.41-50
• /
• 2005

도심지 풍경을 3 차원 가시화 하는데 적합한 새로운 모자이크 방법을 제안하였다. 도심지에서 도로를 따라 촬영한 일련의 영상들을 2 차원 모자이크하면 입체감이 느껴지지 않는다. 제안한 방법은 도심지의 도로를 따라 나타나는 물체들을 연속 촬영하여, 이 영상들을 대표하는 복수의 투영평면들을 구한 후, 도로를 따라 촬영한 영상들을 이 복수의 평면들에 투영함으로써 입체감을 얻게 하는 것이다. 이를 위해서 연속 촬영한 영상들 간의 특징 점들을 정합함으로써 3 차원으로 표현된 복수의 투영면을 우선 얻는다. 이 복수의 평면들은 인접 평면 간에 상호 연결하여 물체들의 개략적 윤곽 면을 구성하는데, 이 복수 평면에 2 차원 영상들을 투영함으로써 영상에 대한 입체감을 부여하는 기술이다. 이 논문에서 실제 도심지 영상을 3 차원 가시화 시키는 알고리즘에 대한 데모를 보였다.

• 한국광학회:학술대회논문집
• /
• 한국광학회 2008년도 하계학술발표회 논문집
• /
• pp.119-120
• /
• 2008

A HMD type multi-focus 3D display system is developed and proof about satisfaction of eye accommodation is tested. Four LEDs(Light Emitting Diode) and a DMD are used to generate four parallax images at single eye and any mechanical part is not included in this system. The multi-focus means the ability of monocular depth cue to various depth levels. By achieving multi-focus function, we developed a 3D display system for only one eye, which can satisfy the accommodation to displayed virtual objects within defined depth. We could achieve a result that focus adjustment is possible at 5 step depths in sequence within 2m depth for only one eye. Additionally, the change level of burring depending on the focusing depth is tested by captured photos and moving pictures of video camera and several subjects. And the HMD type multi-focus 3D display can be applied to a monocular 3D display and monocular AR 3D display.

• 정보보호학회논문지
• /
• 제15권3호
• /
• pp.3-12
• /
• 2005

본 논문에서는 JND를 기반으로 한 3차원 지각 모델을 제시하고 비디오의 특성을 고려하여 3D-DCT 계수에 워터마크를 삽입하는 방법을 제안한다. 비디오는 인접한 프레임들간에 유사성이 있는 연속되는 프레임들로 구성된다. 만약 인접한 프레임들간에 유사성이 존재하는 영역, 즉 움직임이 없는 영역에 워터마크를 삽입한다면 워터마크는 인지되기 쉽다. 그러므로 워터마크의 투명성을 위하여 움직임이 있는 영역에 워터마크를 삽입하여야 하고 강인성을 위하여 삽입되는 워터마크의 양을 조절할 필요가 있다. 본 논문에서는 워터마크의 투명성과 강인성을 위하여 비디오의 특성을 고려하여 3D-DCT 계수를 이용한다. 즉, 3D-DCT 압축을 위한 양자화 상수에서 민감도를 유도하고 전역적인 움직임에 비해 지역적인 움직임이 큰 영역의 민감도를 조절한 후 움직임의 크기에 비례해서 시각적으로 중요한 계수에 워터마크를 삽입한다. 본 논문에서는 실험을 통하여 비디오의 특성을 고려하지 않고 3D-DCT 계수를 이용하는 기존의 방법과 제안한 방법을 비교하였다. 그 결과 비록 PSNR은 유사하지만 JND를 기반으로 하였기 때문에 워터마크의 투명성이 보장되고 MPEG 압축 및 시간적 공격에 대한 강인성은 약 $3{\sim}9\%$ 정도의 성능향상이 있음을 확인하였다.