• 한국컴퓨터그래픽스학회논문지
• /
• 제26권3호
• /
• pp.61-68
• /
• 2020

본 연구에서는 360° 파노라마의 깊이 영상을 추정하는 딥러닝 구조를 제안한다. 이전 연구들에서는 딥러닝 네트워크를 학습시키기 위해 렌더링된 360° 파노라마 데이터 셋을 사용했다. 하지만, 렌더링된 파노라마 데이터 셋은 실제로 촬영된 파노라마 데이터 셋과 다르기 때문에, 이전 연구들의 네트워크는 실제로 촬영된 파노라마에 대해선 깊이 영상을 정확히 추정할 수가 없었다. 이 문제를 해결하기 위해 본 연구에서는 도메인 적응을 사용해서 렌더링된 파노라마와 실제로 촬영된 파노라마가 공유하는 특징들을 네트워크가 학습하게 했다. 실험을 통해 우리의 방식이 렌더링된 파노라마에 대해선 우수한 성능을 유지하면서 실제로 촬영된 파노라마에 대해서도 정확한 깊이 영상을 추정하는 것을 볼 수 있다.

• 한국정보통신학회논문지
• /
• 제26권3호
• /
• pp.389-395
• /
• 2022

심층 학습 기술의 발전으로 인해 분류, 객체 검출, 분할과 같은 시각 정보를 이용한 심층 학습이 다양한 분야에서 활용되고 있다. 그 중 자율 주행은 시각 데이터를 잘 활용하는 대표적인 분야 중 하나이다. 본 논문에서는 도로 위의 사람과 운송수단 객체에 대한 개별적인 깊이 값을 예측하는 망을 제안한다. 제안하는 모델은 YOLOv3와 Monodepth를 기반으로 하며, 하드 파라미터 쉐어링을 이용한 인코더와 디코더를 통해 객체 검출과 깊이 추정을 동시에 수행한다. 또한 주의 집중 기법을 사용하여 객체 검출 및 깊이 추정의 정확도를 높이고자 하였다. 깊이 추정은 단안 이미지를 통해 이루어지며, 자가 학습 방법을 통해 학습을 수행하였다.

• 한국콘텐츠학회논문지
• /
• 제18권11호
• /
• pp.447-454
• /
• 2018

본 논문은 컨볼루션 신경망으로 이루어진 학습 모델을 통해 스테레오 영상의 깊이영상 생성 알고리즘을 제안한다. 제안하는 알고리즘은 좌, 우 시차 영상을 입력으로 받아 각 시차영상의 주요 특징을 추출하는 특징 추출부와 추출된 특징을 이용하여 시차 정보를 학습하는 깊이 학습부로 구성된다. 우선 특징 추출부는 2D CNN 계층들로 이루어진 익셉션 모듈(xception module) 및 ASPP 모듈(atrous spatial pyramid pooling) module을 통해 각각의 시차영상에 대한 특징맵을 추출한다. 그 후 각 시차에 대한 특징 맵을 시차에 따라 3차원 형태로 쌓아 3D CNN을 통해 깊이 추정 가중치를 학습하는 깊이 학습부를 거친 후 깊이 영상을 추정한다. 제안하는 알고리즘은 객체 영역에 대해 기존의 다른 학습 알고리즘들 보다 정확한 깊이를 추정하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.105-106
• /
• 2018

본 논문에서는 동적 프로젝션 맵핑을 구현하기 위하여 3차원 공간의 깊이 정보와 대상 객체의 색상영상에서의 특징점을 추출하여 3차원 공간상에서 움직이는 2차원 평면 객체의 자세를 안정적으로 추정하는 기법을 제안한다. 제안 기법은 타겟 이미지를 출력하여 타겟 이미지 보다 큰 평면 패널에 부착하고, 이 평면 패널을 3차원 공간상에서 움직이는 환경에서 타겟 이미지의 자세를 안정적으로 추정하기 위하여 고안되었다. 제안 기법에서는 우선 패널이 움직일 수 있는 깊이 영역을 지정하여 해당 깊이 영역에 존재하는 2차원 패널을 추출하고, 패널의 사각영역을 추출한다. 또한, 색상 영상에 SURF 알고리즘을 적용하여 2차원 평면상에 부착된 타겟 이미지의 영역을 색상 특징을 기반으로 함께 추출하여 패널의 사각 영역과 타겟 이미지의 상대적인 위치 정보를 추출한다. 셋업 단계에서 추출된 타겟 이미지의 상대적인 위치 정보를 이용하여, 조명의 변화에 의하여 순간적으로 타겟 이미지의 특징점 추적에 실패한 경우, 패널의 사각 영역에 의해 계산된 타겟 이미지의 상대적 위치 정보를 계산하여 자세 추정에 사용함으로써 움직이는 타겟 이미지의 3차원 자세를 안정적으로 추정할 수 있도록 하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.112-115
• /
• 2021

최근 가상현실 및 증강 현실에 대한 관심도가 높아지면서, 깊이 추정, 객체 인식, 영상 분할 등의 다양한 컴퓨터 비전 알고리즘을 360° 영상에 적용하는 연구가 활발히 진행되고 있다. 이 중, 다수의 RGB 카메라를 활용하여 3 차원 정보를 추출하는 깊이 추정 기술은 보다 나은 몰입감을 제공하기 위한 핵심 기술이다. 그러나 깊이 추정 알고리즘의 객관적 성능 평가를 위한 정제된 360° 영상 데이터셋은 극히 부족하며, 이로 인하여 관련 분야 연구에 한계가 있다. 따라서 본 논문에서는 객관적인 알고리즘 성능 평가가 가능하며, 정제된 360° 동영상 데이터셋을 제안하고, 추후 다양한 360° 영상 응용 알고리즘 개발에 활용하고자 한다.

• 한국음향학회지
• /
• 제38권1호
• /
• pp.120-127
• /
• 2019

수동 소나 시스템에서 음원 깊이를 구분하는 연구는 수 십 년 동안 진행되어 왔다. 그 이유는 음원 깊이 구분을 통해 표적이 수상함인지 잠수함인지 식별할 수 있기 때문이다. 본 논문은 표적으로부터 수신된 소음 (또는 신호)의 채널 임펄스 응답을 이용하여 음원 깊이를 구분하였다. 송신신호에 대한 정보가 없는 상황에서 채널 임펄스 응답을 추정하기 위해 음선 기반 블라인드 디컨벌루션 기법이 사용되었다. 추정된 채널 임펄스 응답의 패턴에서 교차점은 음선의 상대적 도달 시간에 의하여 결정되며, 이는 표적 깊이 구분에 이용된다. 제안된 알고리즘은 시뮬레이션과 실험 데이터를 통하여 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.289-292
• /
• 2013

최근 많은 영상처리 연구자들 사이에서 마이크로소프트사의 실시간 깊이센서 '키넥트'가 상당한 관심을 받고 있다. '키넥트'는 실시간으로 깊이정보를 제공함과 동시에 별도의 센서를 부착하지 않고도 컴퓨터와의 인터렉션할 수 있는 가능성을 제공한다. 하지만 '키넥트'의 깊이영상은 홀 영역, 부정확한 경계, 낮은 해상도등의 많은 문제점을 지니고 있다. 이러한 부정확한 깊이 정보는 3차원 렌더링, 가상시점 영상 합성, 모션 인식 등에서 성능 저하를 야기한다. 따라서 본 논문에서는 깊이 정보 품질 향상기법에 관하여 깊이영상 신뢰도를 이용한 도메인 변환기반 해상도 상향 알고리듬을 제안한다. 정확하고 빠르게 홀 영역정보를 추정하기 위해 도메인 변환 기반의 경계 보존 필터링이 사용된다. 또한 다양한 깊이 영상의 노이즈를 효율적으로 제거하기 깊이 영상의 신뢰도를 이용한다. 실험결과를 통하여 제안하는 방법이 효율적으로 홀 영역을 채우고, 부정확한 경계를 제거하여 깊이 영상의 품질을 향상시키는 것을 확인할 수 있다.

• 인터넷정보학회논문지
• /
• 제19권5호
• /
• pp.43-54
• /
• 2018

연무가 있는 상황에서 촬영된 영상은 낮은 대비로 인해 시인성이 낮아지는 문제가 있다. 이렇게 연무로 인해 흐릿한 영상에서 연무의 효과를 제거하는 과정을 연무제거라고 한다. 연무제거에서 가장 중요한 문제 중 하나는 전달지도 (transmission map) 또는 깊이지도 (depth map)를 정확하게 추정하는 것이다. 본 논문에서는 정확한 깊이지도 추정을 위해 생성적 대립쌍 신경망 (Generative Adversarial Network: GAN)을 이용한 정확한 깊이 영상 추정 방법을 제안한다. 제안된 GAN 모델은 흐릿한 입력영상과 이에 상응하는 깊이지도 간의 비선형 매핑을 학습한다. 그리고 연무제거단계에서는 훈련된 모델을 사용하여 입력영상의 깊이지도를 추정하고 이것을 전달지도를 계산하는데 사용한다. 이어서 guided filter를 사용하여 전달지도를 다듬는다. 마지막으로 대기 산란 모델을 기반으로 연무가 제거된 영상을 복원한다. 제안된 GAN 모델은 합성실내영상으로 훈련되었다. 하지만 실제 연무영상에 대해서도 적용할 수 있다. 이를 실험을 통해 증명하였다. 또한 실험에서 제안된 방법이 이전에 연구된 방법에 비해 시각적 및 정량적 측면에서 우수한 결과를 나타냈다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.611-624
• /
• 2012

'제스처'는 음성을 제외한 가장 직관적인 인간의 의사표현 수단이다. 따라서 키보드나 마우스를 대체하여 제스처를 입력으로 컴퓨터를 제어할 수 있는 방법에 대한 연구가 많이 진행되고 있다. 이러한 연구에서 사용자 객체의 검출과 주요 신체부위의 추정은 매우 중요한 과정 중의 하나이다. 본 논문에서는 깊이정보가 부정확한 조건에서 사용자 객체검출과 주요 신체부위를 추정하는 방법을 제시한다. 본 논문에서는 2D 영상정보와 3D 깊이정보를 이용하여 조명 변화와 잡음에 강인하고, 3D 깊이정보를 1D 신호로 변환하여 처리함으로써 실시간에 적합하며, 이전 객체정보를 이용하여 더욱 정확하고 환경변화에 강인한 사용자 검출 방법을 제안한다. 또한 주요 신체부위 추정 방법에서 본 논문에서는 2D 외곽선 정보와 3D 깊이정보 및 추적을 혼합 사용하여 사용자 자세를 추정하는 방법을 제안한다. 실험결과 제안된 사용자 객체 검출방법은 2D정보만을 이용하는 방법에 비해 조명변화와 복잡한 환경에 강인하고, 깊이정보가 부정확한 경우에도 정확한 객체검출을 수행하였다. 또한 제안된 주요 신체부위 추정방법은 2D 외곽선 정보만 이용할 경우 겹친 부분에 대한 검출이 불가능하고, 색상 정보를 사용하는 방법은 조명이나 환경에 민감한 단점을 극복함을 확인할 수 있다.

• 한국도로학회논문집
• /
• 제2권1호
• /
• pp.135-145
• /
• 2000

최근 포장도로의 역학적 상태를 평가하는 방법으로 비파괴 시험인 FWD(Falling Weight Deflectometer)와 탄성파시험이 많이 이용되고 있다. 그러나 기존의 방법들은 공용중인 도로에서 차량을 통제시킨 후 시험을 실시해야 하는 제한이 있다. 그러므로 실제 주행하중 통과시 아스팔트 콘크리트 포장구조체의 물성을 추정하여 잔존수명 예측 및 이동하중에 대한 포장체 거동을 분석하는 경우에는 FWD와 같이 표면처짐으로부터 아스팔트 콘크리트 포장구조체 각 층의 물성을 추정하는 방법의 사용이 곤란하다. 이런 경우에 MDD (Multi-Depth Deflectometer)를 통해 얻어진 깊이별 처짐을 사용하여 아스팔트 콘크리트 포장구조체 각 층의 물성을 역산 추정하고자 본 연구에서는 다층 탄성이론의 반복적인 역산과 충격하중의 영향을 고려하여 깊이별 처짐으로부터 아스팔트 콘크리트 포장구조체 각층의 물성을 추정할 수 있는 역산반복기법을 개발한 후 이를 수치검증하였다. 수치모델을 통하여 검증한 결과, 역산추정된 탄성계수와 실제탄성계수 사이의 오차는 최대 0.114%로 신뢰성 있는 결과를 얻었다. 또한 본 연구에서는 주행하중의 속도에 따른 아스팔트 콘크리트 포장구조체의 동적특성을 파악하여 실제적인 포장구조체의 거동을 분석하고자 수도권 외곽 순환고속도로 김포구간에서 실제 트럭주행을 통한 현장시험을 실시하였다. 주행하중에 대한 아스팔트 콘크리트 포장구조체의 거동을 깊이별 처짐 측정장비인 MDD를 이용하여 깊이별 상대처짐을 측정하고, 주행속도에 따라 포장구조체의 거동을 해석하여 차량의 속도와 포장체 거동을 역학적으로 분석하였고, 주행속도별 층별 동적물성을 개발된 역해석 프로그램으로부터 산정하였다. 주행속도별 동적특성 분석결과, 차량의 주행속도가 증가할수록 깊이별 상대처짐은 감소하였고, 실측된 깊이별 처짐으로부터 포장구조체의 층별 물성을 역해석한 결과 속도가 증가할수록 탄성계수가 증가하였다. 따라서 주행속도가 줄어들수록 포장체의 구조적 능력 저하에 크게 영향을 주는 것을 알 수 있었다.