• 제목/요약/키워드: Intermediate View Image

검색결과 53건 처리시간 0.025초

실시간 렌더링을 위한 MPEG-I RVS 가속화 기법 (MPEG-I RVS Software Speed-up for Real-time Application)

  • 안희준;이명진
    • 방송공학회논문지
    • /
    • 제25권5호
    • /
    • pp.655-664
    • /
    • 2020
  • 자유시점 영상합성기술은 MPEG-I(Immersive) 표준에서 중요한 기술 중 하나이다. 현재 MPEG-I에서 개발하여 사용하는 RVS (Reference View Synthesizer) 프로그램은 다수의 시점의 컬러영상과 깊이영상을 바탕으로 임의시점의 영상을 생성하는 DIBR (Depth Information-Based Rendering) 프로그램이다. RVS는 기존의 DIBR이 갖는 깊이정보 전달의 문제를 컴퓨터 그래픽스의 메쉬 표면 방식으로 접근하여 이전 화소방식에 비하여 2.5dB 이상의 성능향상을 보이며 OpenGL을 사용하면 CPU에서 동작하는 코드보다 10배 이상의 속도를 보인다. 그러나 여전히 2개의 2k 해상도 입력 영상에서 0.75fps 정도의 비실시간 처리속도를 보인다. 본 논문에서는 현 RVS의 내부 구현을 분석하고 이를 바탕으로 1) OpenGL 버퍼와 텍스쳐 객체의 재사용 2) 파일 입출력과 OpenGL 실행의 병렬화 3) GPU 셰이더 프로그램과 버퍼 데이터 전송의 병렬화를 적용하였다. 그 결과 두 개의 2k 해상도 입력 영상의 처리속도를 34배 이상 가속하여 22-28fps의 실시간 성능을 확보하였다.

Vignetting Analysis of GOCI Optical System

  • Yeon, Jeoung-Heum;Youn, Heong-Sik
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.195-198
    • /
    • 2007
  • GOCI(Geostationary Ocean Color Imager) is the core paryload of the geostationary satellite COMS(Communication, Ocean and Meteological Satellite) for ocean monitoring. It is scheduled to be launched at the end of 2008. GOCI observes ocean color around the Korean Peninsula over $2500km{\times}2500km$ area. Whole field of view is divided into 16 solts and scan mechanism enables to point each slot position. Tilted two-axis scan method is used to observe entire field of view with great pointing stability. Vignetting of the optical system appears when the partial obscuration by intermediate optical components occurs. It leads to the variation of the illumination in the image and gradual fading near the edge of the field. It should be prohibited for the stable radiometric performances. In this work, vignetting analysis of GOCI optical system is performed. For the systematic approach, GOCI optical system is divided into scan mechanism part and telescope part. Vignetting analysis of each part is performed and each result is combined for the overall vignetting performances. The analyzed results can be applied to the selection of slot acquisition angle of scan mechanism to minimize vignetting effects.

  • PDF

양방향 시차 몰핑을 이용한 중간 시점 영상 보간 (Intermediate Scene Interpolation using Bidirectional Disparity)

  • 김대현;윤용인;최종수;김제우;최병호
    • 대한전자공학회논문지SP
    • /
    • 제39권2호
    • /
    • pp.107-115
    • /
    • 2002
  • 본 논문은 한 쌍의 스테레오 영상으로부터 BDM(Bidirectional Disparity Morphing)을 이용하여 중간시점 영상을 보간하는 방법을 제안한다. 영상은 하나 이상의 계층으로 구성되어 있고 각각의 계층은 유사한 시차값을 갖기 때문에, 블록 단위의 시차 맵을 이용하는 것은 유용하다. 또한 블록 단위의 시차 맵은 시차계산을 위한 영상의 해상도를 줄여 계산량을 크게 감소시킨다. 그러나 서로 다른 계층이 겹쳐진 영역에서는 시차가 급격히 변화하여 정합 오차가 증가하고, 가려짐이 발생할 확률이 높다. 따라서 정합 결과에 따라 블록의 크기를 변화시켜 보다 정밀하게 대응 블록을 검색하여 잘못된 시차 계산을 막고, 아울러 가려진 영역을 검출할 수 있다. 가려진 영역의 시차는 가려짐 패턴을 이용하여 올바른 시차를 지정할 수 있어, 결과적으로 보다 정확한 중간 시점 영상을 생성할 수 있다.

편안한 3차원 비디오 시스템을 위한 영상 합성 오류 제거 (View Synthesis Error Removal for Comfortable 3D Video Systems)

  • 이천;호요성
    • 스마트미디어저널
    • /
    • 제1권3호
    • /
    • pp.36-42
    • /
    • 2012
  • 요즘 스마트폰과 스마트 TV와 같은 스마트 기기에 대한 관심이 높아짐에 따라 보다 다양한 기능을 포함하는 영상장치가 주목받고 있다. 특히, 스마트 TV는 3차원 영상을 서비스함에 따라 보다 고화질의 3차원 영상을 효율적으로 부호화하는 것이 중요하다. 최근 MPEG(moving picture experts group) 그룹에서는 다시점 영상과 깊이 영상을 동시에 압축하여 부호화하는 표준화 작업이 진행되고 있다. 제한된 수의 시점을 이용하여 편안한 3차원 입체 영상을 재현하기 위해서는, 충분한 수의 중간시점의 영상을 생성해야 한다. 깊이정보를 이용하여 3차원 워핑을 수행하면 가상시점의 영상을 합성할 수 있는데, 깊이값의 정확도에 따라 화질이 달라진다. 스테레오 정합 기술을 이용하여 깊이맵을 획득할 때 객체의 경계와 같은 깊이값 불연속 영역에서 깊이값 오류가 발생할 수 있다. 이러한 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 생성한다. 본 논문에서는 편안한 3차원 비디오 재현을 위하여 깊이맵을 기반으로 중간시점의 영상을 생성할 때 발생하는 경계 잡음을 제거하는 방법을 제안한다. 중간시점의 영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 구별한 다음, 잡음이 없는 참조영상으로 대체함으로써 경계 잡음을 제거할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.

  • PDF

움직임 추정을 통한 깊이 지도의 시간적 일관성 보상 기법 (Depth map temporal consistency compensation using motion estimation)

  • 현지호;유지상
    • 한국정보통신학회논문지
    • /
    • 제17권2호
    • /
    • pp.438-446
    • /
    • 2013
  • 본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

여성국극의 장르적 성격과 이미지로서의 역사 (The Character as Genre and History as Image of Female Gugguek)

  • 김성희
    • 한국연극학
    • /
    • 제40호
    • /
    • pp.61-96
    • /
    • 2010
  • This research established that the two characteristics of Femail Gugguek were explored on the character as genre and the nationalism discourse. This research also included how to encounter the characteristic of Female Gugguek as a popular entertainment with the social context at the time and how to re-produce the social ideology. The 'historical nationalism narrative' piercing Female Gugguek had the close relation with the nation/state discourse of the time. The history reproduced by Female Gugguek was not real. It was the imagined past, the history as image. The Female Gugguek was a genre which typically showed how to intermediate fantasy, ideology and narrative. The happy-endings with the victory of male hero, the narrative pattern on overcoming national crisis, the narrative emphasizing the glorious past and the unification of nation, all these were projected the discourse on nationalistic ideology and nation/state-making in 1950's. The Utopian desire of Female Guggeuk imagining the glorious past and strong nation was the fantasy which concealed the contradiction in real life and the national identity damaged by colonial experience, division of territory, governance by U.S. Military Government and the Korean War. The Female Guggeuk was doing well, because it had amusement. Futhermore, imagination of glorious past and strong state/nation of Female Guggeuk satisfied the public's desire of escapism and wish to establish their position and identity in the rapid social-economic changes. However, Female Guggeuk repeatedly produced the never-changing characters, narrative pattern and conservative world-view. Thus, it became regarded as immature and obsolete thing in late 1950's. Female Guggeuk, which kept re-producing the retrogressive image of the past without modern viewpoint and interpretation, was not sensitive about change of time and trend of the people. Consequently, it was pushed out of people's major interest.

A Coaxial and Off-axial Integrated Three-mirror Optical System with High Resolution and Large Field of View

  • Chen, Zhe;Zhu, Junqing;Peng, Jiantao;Zhang, Xingxiang;Ren, Jianyue
    • Journal of the Optical Society of Korea
    • /
    • 제20권1호
    • /
    • pp.94-100
    • /
    • 2016
  • A novel optical design for high resolution, large field of view (FOV) and multispectral remote sensing is presented. An f/7.3 Korsch and two f/17.9 Cook three-mirror optical systems are integrated by sharing the primary and secondary mirrors, bias of the FOV, decentering of the apertures and reasonable structure arrangement. The aperture stop of the Korsch system is located on the primary mirror, while those of the Cook systems are on the exit pupils. High resolution image with spectral coverage from visible to near-infrared (NIR) can be acquired through the Korsch system with a focal length of 14 m, while wide-field imaging is accomplished by the two Cook systems whose focal lengths are both 13.24 m. The full FOV is 4°×0.13°, a coverage width of 34.9 km at the altitude of 500 km can then be acquired by push-broom imaging. To facilitate controlling the stray light, the intermediate images and the real exit pupils are spatially available. After optimization, a near diffraction-limited performance and a compact optical package are achieved. The sharing of the on-axis primary and secondary mirrors reduces the cost of fabrication, test, and manufacture effectively. Besides, the two tertiary mirrors of the Cook systems possess the same parameters, further cutting down the cost.

시.공간 중복성을 고려한 다이내믹 프로그래밍 기반의 고속 변이 추정 기법 (Fast Disparity Estimation Method Considering Temporal and Spatial Redundancy Based on a Dynamic Programming)

  • 윤정환;배병규;박세환;송혁;김동욱;유지상
    • 한국통신학회논문지
    • /
    • 제33권10C호
    • /
    • pp.787-797
    • /
    • 2008
  • 본 논문에서는 스테레오 정합에 사용되는 다이내믹 프로그래밍을 기반으로 영상의 시 공간적 중복성을 고려한 고속 변이 추정 기법을 제안한다. 영상 내 인접한 화소 간에 존재하는 높은 상관성을 이용하여 격행으로 다이내믹 프로그래밍 기반의 변이 추정을 수행하고 변이가 할당되지 않은 라인은 동일영역 내에서의 변이가 유사하다는 성질을 이용하여 주변의 변이벡터로 할당하였다. 또한 동영상의 변이 추정 시에는 프레임 간의 시간적 중복성을 고려한 알고리즘으로 수행시간을 크게 단축시킬 수 있었다. 모의 실험을 통하여 변이 정보를 이용한 중간시점 영상 생성 결과 블록매칭 알고리즘에 비하여 $0.8{\sim}2.4dB$의 PSNR(peak signal to noise ratio)이 증가하는 것을 확인하였다. 또한 일반적인 다이내믹 프로그래밍 기반의 변이 추정 방식과의 비교에서도 0.1dB가량의 PSNR이 증가하였으며 약 $48{\sim}68%$의 계산량이 감소하는 것을 확인 할 수 있었다.

합성곱 신경망 기반 맨하탄 좌표계 추정 (Estimation of Manhattan Coordinate System using Convolutional Neural Network)

  • 이진우;이현준;김준호
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제23권3호
    • /
    • pp.31-38
    • /
    • 2017
  • 본 논문에서는 도심 영상에 대해 맨하탄 좌표계를 추정하는 합성곱 신경망(Convolutional Neural Network) 기반의 시스템을 제안한다. 도심 영상에서 맨하탄 좌표계를 추정하는 것은 영상 조정, 3차원 장면 복원 등 컴퓨터 그래픽스 및 비전 문제 해결의 기본이 된다. 제안하는 합성곱 신경망은 GoogLeNet[1]을 기반으로 구성한다. 합성곱 신경망을 훈련하기 위해 구글 스트리트 뷰 API로 영상을 수집하고 기존 캘리브레이션 방법으로 맨하탄 좌표계를 계산하여 데이터셋을 생성한다. 장면마다 새롭게 합성곱 신경망을 학습해야하는 PoseNet[2]과 달리, 본 논문에서 제안하는 시스템은 장면의 구조를 학습하여 맨하탄 좌표계를 추정하기 때문에 학습되지 않은 새로운 장면에 대해서도 맨하탄 좌표계를 추정한다. 제안하는 방법은 학습에 참여하지 않은 구글 스트리트 뷰 영상을 검증 데이터로 테스트하였을 때 $3.157^{\circ}$의 중간 오차로 맨하탄 좌표계를 추정하였다. 또한, 동일 검증 데이터에 대해 제안하는 방법이 기존 맨하탄 좌표계 추정 알고리즘[3]보다 더 낮은 중간 오차를 보이는 것을 확인하였다.

상호작용 및 사실감을 위한 3D/IBR 기반의 통합 VR환경 (An Integrated VR Platform for 3D and Image based Models: A Step toward Interactivity with Photo Realism)

  • 윤자영;김정현
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제6권4호
    • /
    • pp.1-7
    • /
    • 2000
  • 가상세계를 저작하기 위한 일반적인 방법은 3차원 모델을 사용하여 객체를 만들고, 그 3차원 객체들을 조직하기 위하여 "장면 그래프(scene graph)"라는 자료구조를 사용하는 것이다. 최근 가상현실의 또 다른 플랫폼으로 이미지 기반 렌더링이 대두되고 있는데, 이 것은 사진과 같은 사실감을 줄 수 있다는 큰 장점을 가진 반면 상호작용의 한계로 인하여 아직까지는 간단한 항해 시스템 등에서만 사용하고 있다. 이 논문은 객체/장면 표현에 대한 위의 두 접근방법의 장점 병합하여, 3차원 모델과 다양한 이미지 기반 객체/장면을 정의하고 이 것들을 함께 렌더링 할 수 있는 장면 그래프 구조를 제안하였다. 또한 Shade등 [1]이 이미 제안한 것처럼, 한 객체에 대한 여러 단계의 LOD(level of detail)를 표현하기 위하여, 서로 다른 다양한 표현방법을 사용하였다. 예를 들면, 동일한 객체지만 가까운 거리에 위치할 때는 3차원 모델을 보여주고, 중간정도 떨어져 있는 경우 빌보드(billboard)의 형태로 보여주며, 아주 멀리 있을 때는 환경 맵(environment map)의 한 부분으로 보여줄 수 있다. 이러한 혼합된 플랫폼을 사용하는 가장 큰 목적은 이미지 기반의 가상환경에 3차원 모델을 포함시킴으로써 상호작용의 한계를 극복하는 것이다. 이러한 플랫폼을 만들기 위하여 몇 가지 선행해야 할 기술적인 과제들이 있다. 다양한 이미지 기반 기술을 유지할 수 있는 장면 그래프의 노드를 디자인하고, 적절한 LOD나 표현을 선택할 수 있는 기준을 정립하며, 그들 사이의 전환을 처리해야 함은 물론, 적절한 상호작용 방법을 구현하고, 전체적인 장면을 올바르게 렌더링 하는 것을 보장할 수 있어야 한다. 현재 우리는 Sense8사의 WorldToolKit 의 장면 그래프 구조에 환경 맵, 빌보드, 움직이는 텍스쳐(moving textures)와 스프라이트(sprites), 그림 속으로의 여행(Tour-into-the-Picture)", view interpolated 객체를 위한 새로운 노드를 추가하였다. 시점으로부터의 거리나 이미지 공간상의 척도를 사용하여 적절한 LOD를 선택하였으며, 사용자가 객체의 내부깊이를 인지하는 거리를 기준으로 객체를 3차원 모델로 보여줄 것인지 이미지로 보여줄 것인지 결정하였다. 또한 상호작용 중에는 객체가 얼마나 떨어져 있는지에 관계없이 3차원 모델이 있다면 그것을 사용하도록 하였다. 마지막으로, 이론적으로 유도한 스위칭 규칙이 유효한지 실험을 하였으며, 긍정적인 결과를 얻었다.

  • PDF