• 방송공학회논문지
• /
• 제18권2호
• /
• pp.225-236
• /
• 2013

3D 영상을 시청하면서 느끼는 고유한 피로를 입체 시각 피로라고 부른다. 이 현상을 유발시키는 주된 요인으로 꼽히는 것은 화면시차, 상 흐림, 크로스톡 (crosstalk)의 세 가지 요인으로 알려져 있다. 이 중 화면 시차와 상 흐림은 영상 콘텐츠에 의하여 결정되며, 사용하는 디스플레이 종류에 관계없이 직접 조작할 수 있다. 그러나 크로스톡 요인은 다른 요인과는 다르게 3D 디스플레이의 물리적인 특성에 의하여 결정되는 요인이며 따라서 손쉽게 감소시키거나 제거하는 것이 불가능하다. 그러나 크로스톡이 입체 시각 피로에 미치는 영향은 자극 특성에 의하여 달라지며, 이러한 자극 특성은 조작 가능하다. 따라서 크로스톡이 입체 시각 피로에 미치는 영향을 확인하려면 크로스톡 지각에 영향을 미치는 자극 특성의 효과를 확인하여야 한다. 이런 목적을 달성하기 위하여 상대적 깊이 판단 과제를 사용하여 자극 특성 (자극과 배경의 대비, 배경 텍스쳐 밀도, 자극의 화면 시차)이 크로스톡 지각에 미치는 영향을 확인하였다. 그 결과 영상에 배경이 존재하고 자극의 화면시차가 적을 때 지각되는 크로스톡이 감소함을 시사하는 결과를 얻었다.

• 방송공학회논문지
• /
• 제19권1호
• /
• pp.31-43
• /
• 2014

깊이맵은 3D 입체영상의 생성을 위해 중요한 요소이다. 하지만 깊이 카메라를 이용하여 획득한 깊이맵들은 낮은 해상도를 갖는 단점이 있기 때문에 이를 고해상도로 변환하는 연구들이 활발하게 진행되고 있다. 이러한 연구들은 일반적으로 PSNR, Sharpness Degree, Blur Metric 등과 같은 객관적인 평가방법으로 성능을 검증해왔다. 이러한 평가방법 이외에 DIBR로 가상시점(virtual view)을 생성하여 주관적으로 평가하는 연구도 있으나, 입체영상을 생성하여 깊이맵 업샘플링의 성능을 분석하는 것은 많지 않다. 본 논문에서는 다양한 깊이맵 업샘플링 방법들을 이용하여 생성된 입체영상의 주관적 평가와 업샘플링 방법의 객관적 평가 결과의 상관관계 및 선형회귀법을 이용하여 관련성을 분석한다. 실험결과에서는 에지 PSNR이 시각적 피로도와의 상관관계가 가장 높고, Blur Metric은 가장 낮다는 것을 보여준다. 또한 선형회귀에서는 최적의 입체영상을 얻을 수 있는 객관적 평가의 가중치를 구하고, 기존 또는 새로운 업샘플링 알고리즘의 3D성능을 예측할 수 있는 공식을 보여준다.

• 방송공학회논문지
• /
• 제17권1호
• /
• pp.73-80
• /
• 2012

최근 의료 장비들이 발전하고 진단 및 연구에 다양하게 이용되면서 이로부터 얻은 3차원 의료 영상들을 자동으로 처리해주는 기술의 수요가 늘고 있다. 자동 뼈 영역화는 이러한 기술들 중 하나로써 골다공증이나 뼈 골절, 골격질환 등의 진단의 효율성을 크게 높여 줄 것으로 기대되고 있다. 현재까지 자동 뼈 영역화를 위한 연구들이 다양하게 진행되었지만 2차원 영상과는 달리 많은 데이터양과 주변 조직과의 모호한 경계들이 많다는 의료영상의 특성 때문에, 실제 진단에 사용할 수 있을만한 성능을 얻지 못하고 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 다중 해상도를 기반으로 하여 수행속도가 빠르고 영역화 성능이 좋은 자동 뼈 영역화 기법을 제안한다. 낮은 해상도 단계에서는 학습된 집합의 뼈 정보들을 바탕으로 최근 제안된 제한된 브랜치 앤 민컷 기법을 이용하여 대략적인 뼈 위치 및 비슷한 템플릿을 검출하고, 이후 해상도를 높여가면서 정합 과정과 영역화 과정을 반복적으로 수행한다. 제안하는 기법의 성능을 확인하기 위해 무릎 자기공명영상(magnetic resonance image)내에서 대퇴골(femur)과 경골(tibia)을 영역화 하는 실험을 진행하였으며, 100개의 학습 데이터들을 바탕으로 50개 영상에서 뼈들을 영역화 하였다. 제안하는 기법은 정확성 및 수행속도 측면에서 제한된 브랜치 앤 민컷에 비해 향상된 결과를 나타냈다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.155-166
• /
• 2021

현재 대부분의 객체 탐지 알고리즘은 RGB 영상을 기반으로 연구되고 있다. 하지만 RGB 카메라는 물체에서 반사되는 빛을 받아들여 영상을 생성하기 때문에, 물체에서 나오는 빛이 적거나 산란이 되는 야간 또는 안개가 끼는 환경에서는 물체의 정보가 잘 표현되는 영상 취득이 어려워 객체 탐지의 정확도가 떨어진다. 그에 반해 IR(열 적외선, Infra-Red) 영상은 열 센서로 이미지를 생성하기 때문에 RGB 영상에 비해 정확한 물체의 정보를 표현할 수 있다. 따라서 본 논문에서는 이러한 이미지 특성 차이에 따른 객체 탐지 성능을 비교하고자 하며, RGB와 IR 영상의 압축률에 따른 객체 탐지를 수행하고, 결과를 비교 분석 하고자 한다. 실험에 사용된 영상은 첨단운전자 보조 시스템(ADAS) 연구용 데이터 세트인 Free FLIR Thermal 데이터 세트 중 야간에 촬영된 RGB 영상과 IR 영상을 사용하였으며, 기존 RGB 영상 기반으로 사전 학습된 신경망과 FLIR Thermal 데이터 세트 내 RGB 영상과 IR 영상을 일부 골라 재학습한 신경망을 이용하여 객체 탐지를 수행하였다. 실험 결과 RGB 기반으로 사전 학습된 신경망과 재학습한 신경망 모두 IR 영상 기반 객체 탐지 성능이 RGB 영상 기반 성능보다 월등한 것을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.125-131
• /
• 2021

최근 CNN(Convolutional Neural Network)은 영상 분류, 객체 인식, 화질 개선 등 다양한 비전 분야에서 우수한 성능을 보여주고 있다. 그러나 많은 메모리와 계산량이 요구되어 모바일 또는 IoT(Internet of Things) 장치와 같은 저전력 디바이스에 적용하기에는 제한이 따른다. 이에, CNN 모델의 임무 성능을 유지하면서 네트워크 모델을 압축하는 연구가 진행되고 있다. 본 논문에서는 행렬 분해 기술인 저계수 행렬 근사(Low-rank approximation)와 CP(Canonical Polyadic) 분해 기법을 결합한 CNN 모델 압축 기법을 제안한다. 제안기법은 하나의 행렬 분해 기법만을 적용하는 기존의 기법과 달리 CNN의 계층 유형에 따라 두 가지 분해 기법을 선택적으로 적용하여 압축 성능을 높인다. 제안기법의 성능 검증을 위하여 영상 분류 CNN 모델인 VGG-16, ResNet50, 그리고 MobileNetV2 모델을 압축하였고, 계층 유형에 따라 두 가지의 분해 기법을 선택적으로 적용함으로써 저계수 행렬 근사 기법만 적용한 경우 보다 1.5 ~ 12.1 배의 동일한 압축률에서 분류 성능이 향상됨을 확인하였다.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.768-779
• /
• 2018

본 논문에서는 동영상 화질을 최대한 유지하면서 압축 비트량 절감을 효율적으로 이루기 위해 복수개의 영상처리 필터를 영상의 블록에 따라 선택적으로 적용하고, 영상처리 필터의 선택을 위한 MSSSIM(Multi-Scale Structural SIMilarity) 및 쿨백-라이블러 발산(Kullback-Leibler divergence: KL-Divergence) 기반의 영상 처리 평가 함수를 제안한다. 영상압축의 경우, 영상 내 특징에 따라 화질과 비트량 절감의 특성이 다르며, 이에 따라 단일 목적을 가진 영상처리 필터로서는 화질을 유지하면서, 비트량 절감이라는 목적을 동시에 만족 시키기 어렵다. 이에 따라, 주관적 화질을 최대한 유지하면서, 비트량을 절감시키기 위해 주관적 화질 측도로서 MSSSIM를 사용하고 비트 량 측도를 위하여 쿨백-라이블러 발산을 사용함과 동시에 두 가지 척도를 하나의 척도로 결합시키기 위한 방법을 제안한다. 아울러 제안한 측도를 사용하여 서로 다른 특성을 가진 영상처리 필터를 전처리 필터로 사용할 경우, 주관적 화질을 최대한 유지하면서 비트량 절감을 유지할 수 있도록 동영상 압축이 가능함을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제24권3호
• /
• pp.495-505
• /
• 2019

딥 러닝의 대표 알고리즘에는 영상 인식에 주로 사용되는 CNN(Convolutional Neural Networks), 음성인식 및 자연어 처리에 주로 사용되는 RNN(Recurrent Neural Networks) 등이 있다. 이 중 CNN은 데이터로부터 자동으로 특징을 학습하는 알고리즘으로 특징 맵을 생성하는 필터까지 학습할 수 있어 영상 인식 분야에서 우수한 성능을 보이면서 주류를 이루게 되었다. 이후, 객체 탐지 분야에서는 CNN의 성능을 향상하고자 R-CNN 등 다양한 알고리즘이 등장하였으며, 최근에는 검출 속도 향상을 위해 YOLO(You Only Look Once), SSD(Single Shot Multi-box Detector) 등의 알고리즘이 제안되고 있다. 하지만 이러한 딥러닝 기반 탐지 네트워크는 정지 영상에서 탐지의 성공 여부를 결정하기 때문에 동영상에서의 안정적인 객체 추적 및 탐지를 위해서는 별도의 추적 기능이 필요하다. 따라서 본 논문에서는 동영상에서의 객체 추적 및 탐지 성능 향상을 위해 딥 러닝 기반 탐지 네트워크에 칼만 필터를 결합한 방법을 제안한다. 탐지 네트워크는 실시간 처리가 가능한 YOLO v2를 이용하였으며, 실험 결과 제안한 방법은 기존 YOLO v2 네트워크에 비교하여 7.7%의 IoU 성능 향상 결과를 보였고 FHD 영상에서 20 fps의 처리 속도를 보였다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.216-227
• /
• 2022

MPEG-I (Immersive) 그룹에서는 6자유도(DoF: degrees of freedom)를 제공하는 몰입형 비디오의 표준화 프로젝트를 진행 중에 있다. MPEG Immersive Video (MIV) 표준화 기술에서는 사용자에게 움직임 시차(parallax)를 제공하기 위해 취득한 다수의 영상을 깊이 맵 기반 이미지 렌더링(depth map-based image rendering, DIBR)을 바탕으로 임의의 사용자 시점의 뷰를 렌더링하게 된다. 현재 MIV에서는 효율적인 부호화를 위한 기술들이 많이 논의된 바 있지만, 전송 측면에 대해서는 여전히 논의가 필요하다. 본 논문은 사용자 시점에 적응적인 몰입형 비디오 스트리밍을 위한 품질 할당 기법을 제안한다. 현재 MIV에서 지원하고 있는 그룹 분할 기법을 통하여 독립적으로 전송, 복원이 가능한 시점 그룹 단위를 생성하여 이를 사용자 시점에 기반한 품질 할당 기법을 통해 효율적인 전송이 가능하도록 한다. 제안하는 적응적 전송 기법은 Test Model for Immersive Video (TMIV) 시험모델을 통해 구현되었으며, 주어진 합성 시점 위치에 따라 렌더링 과정에서의 기여도를 그룹별로 계산하고 우선 시점 그룹을 판단하여 고품질로 전송한다. 사용자 시점에 대한 렌더링 비교 결과를 통해 제안하는 기법이 기존 TMIV 대비 PSNR 지표에서 평균 17.0%, IV-PSNR 지표에서 14.6%의 BD-rate 감소율을 보여 효율적인 전송이 가능함을 보였다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.654-664
• /
• 2022

실감 콘텐츠는 COVID-19 팬데믹으로 인한 관심과 더불어 확장현실, 인공지능, 포토그래메트리 기술과 융합을 통해 공간적 한계를 극복하며 엔터테인먼트, 미디어, 공연, 전시 등 콘텐츠 시장에서 새로운 패러다임을 제시하며 수요 역시 증가하고 있다. 하지만 실감 콘텐츠가 대중들에게 지속된 관심을 가지기 위해서는 기술적 신선함보다 콘텐츠에 대한 몰입도를 높일 수 있는 스토리텔링 방법 연구가 필요하다는 것을 알 수 있다. 따라서 본 연구에서는 인공지능 및 포토그래메트리 기술을 활용한 실감 콘텐츠 스토리텔링 방법을 제안한다. 제안된 스토리텔링 방법은 대화형 가상존재와 참여자가 대화를 통한 상호작용으로 콘텐츠 스토리를 생성하는 것이다. 이에 관객 주도적 참여를 통해 콘텐츠 몰입도를 높일 수 있다. 본 연구는 가속화되는 실감 콘텐츠 시장에서 콘텐츠 제작자들에게 제안된 인공지능 기술이 활용된 가상존재를 통한 스토리텔링 방법론으로 효율적인 콘텐츠 제작에 도움을 줄 수 있을 것으로 기대한다. 또한 콘텐츠 제작에 있어 인공지능 및 포토그래메트리 기술을 활용한 실감 콘텐츠 제작 파이프라인 정립에 기여할 것이라고 생각한다.

• 방송공학회논문지
• /
• 제28권3호
• /
• pp.293-301
• /
• 2023

표준화되지 않은 의료 데이터 수집 및 관리는 여전히 수동으로 진행되고 있어, 이 문제를 해결하기 위해 딥 러닝을 사용해 CT 데이터를 분류하는 연구들이 진행되고 있다. 하지만 대부분 연구에서는 기본적인 CT slice인 axial 평면만을 기반으로 모델을 개발하고 있다. CT 영상은 일반 이미지와 다르게 인체 구조만 묘사하기 때문에 CT scan을 재구성하는 것만으로도 더 풍부한 신체적 특징을 나타낼 수 있다. 이 연구는 axial 평면뿐만 아니라 CT 데이터를 2D로 변환하는 여러가지 방법들을 통해 보다 높은 성능을 달성할 수 있는 방법을 찾고자 한다. 훈련은 5가지 부위의 CT 스캔 1042개를 사용했고, 모델 평가를 위해 테스트셋 179개, 외부 데이터셋으로 448개를 수집했다. 딥러닝 모델 개발을 위해 ImageNet으로 사전 학습된 InceptionResNetV2를 백본으로 사용하였으며, 모델의 전체 레이어를 재 학습했다. 실험결과 신체 부위 분류에서는 재구성 데이터 모델이 99.33%를 달성하며 axial 모델보다 1.12% 더 높았고, 조영제 분류에서는 brain과 neck에서만 axial모델이 높았다. 결론적으로 axial slice로만 훈련했을 때 보다 해부학적 특징이 잘 나타나는 데이터로 학습했을 때 더 정확한 성능 달성이 가능했다.