• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.76-79
• /
• 2019

합성곱 신경망의 성능이 증가하면서 다양한 영상 처리 문제를 해결하기 위해 합성곱 신경망을 적용한 시도들이 증가하고 있다. 고해상도 복원 문제도 그 중 하나였으며, 보다 높은 성능을 얻기 위해 주로 신경망의 깊이를 깊게 하는 시도들이 있었다. 본 논문에서는 고해상도 복원 작업을 위한 합성곱 신경망의 성능 향상을 위해 깊이를 증가시키는 접근법이 아닌 수용영역을 확장시키는 접근법을 시도하였다. 논문에서 제시한 모델은 신경망 내부에 두 개의 브랜치를 두어, 하나의 브랜치는 Dilated Convolution 을 이용해 수용영역을 확장하는데 사용되며, 다른 하나는 이 브랜치를 통해 나온 feature 를 가공하는데 사용된다. 기본 모델은 EDSR 을 사용하였으며, 최종적으로 4.79M 의 파라미터로 평균 32.46dB 의 PSNR 을 보여주었다. 하지만 모델의 구조가 복잡하여 깊이를 늘이는 접근법을 적용하기 어렵다는 한계점이 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.65-68
• /
• 2021

본 연구에서는 Dilated U-Net 기반의 이미지 복원기법을 통해 콘크리트 균열 추출 성능 개선 방안을 제안한다. 콘크리트 균열은 구조물의 미관상의 문제뿐 아니라 추후 큰 안전사고의 원인이 될 수 있어 초기대응이 중요하다. 현재는 점검자가 직접 육안으로 검사하는 외관 검사법이 주로 사용되고 있지만, 이는 정확성 및 비용, 시간, 그리고 안전성 면에서 한계를 갖고 있다. 이에 콘크리트 구조물 표면에 대해 획득한 영상 처리 기법을 사용한 검사 방식 도입의 관심이 늘어나고 있다. 또한, 딥러닝 기술의 발달로 딥러닝을 적용한 영상처리의 연구 역시 활발하게 진행되고 있다. 본 연구는 콘크리트 균열 추개선출 성능 개선을 위해 Dilated U-Net 기반의 이미지 복원기법을 적용하는 방안을 제안하였고 성능 검증 결과, 기존 U-Net 기반의 정확도가 98.78%, 조화평균 82.67%였던 것에 비해 정확도 99.199%, 조화평균 88.722%로 성능이 되었음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• 전기전자학회논문지
• /
• 제20권2호
• /
• pp.152-162
• /
• 2016

전기 저항률 단층촬영법(ERT)은 표면 전극으로부터 측정된 전압을 사용하여 물체 내부의 임피던스 분포를 영상화하는 기술이다. ERT 역문제는 비정치성(ill-posedness)이 매우 심하여 영상복원의 수렴성을 확보하기 위해 조정방법이 사용된다. 사용된 조정방법에 따라 영상복원 성능이 달라지므로 상황에 따라 보다 강건한 영상 복원 성능을 얻기 위해, 서로 다른 영상복원 특성을 나타내는 L1-norm 조정방법과 Total Variation (TV) 조정방법의 두 개의 모드가 상호작용하는 상호작용 이중-모드 조정방법을 제안하였다. 제안한 이중-모드 조정방법은 실제 상황에 따라 달라지는 모드 확률을 계산하고 이에 근거하여 적합한 모드를 선택하거나 두 개의 모드를 결합한다. 모의실험을 수행하여 제안된 기법의 영상 복원 성능을 평가한 결과 비교적 양호한 성능을 나타내었다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.898-910
• /
• 2020

컴퓨터 비전에서 단일 영상 기반의 초고해상도 영상 복원의 중요성과 확장성으로 관련 분야에서 많은 연구가 진행되어 왔으며, 최근 딥러닝에 대한 관심이 증가하면서 딥러닝을 활용한 단안 영상 기반 초고해상도 연구가 활발히 진행되고 있다. 대부분의 딥러닝을 기반으로 하는 단안 영상 기반 초고해상도 복원 연구는 복원 성능을 향상시키기 위해 네트워크의 구조, 손실 함수, 학습 방법에 초점이 맞추어 연구가 진행되었다. 한편, 딥러닝 네트워크를 깊게 쌓지 않고 초고해상도 영상 복원 성능을 향상시키기 위해 추출된 특징 맵을 강조하는 Attention Module에 대한 연구가 다양한 분야에 적용되어 왔다. Attention Module은 다양한 관점에서 네트워크의 목적에 맞는 특징 정보를 강조 및 스케일링 한다. 본 논문에서는 초고해상도 복원 네트워크를 기반으로 다양한 구조의 Channel Attention과 Spatial Attention을 설계하고, 다양한 관점에서 특징 맵을 강조하기 위해 다중 Attention Module 구조를 설계하여 성능을 분석 및 비교한다.

• 전자공학회논문지
• /
• 제52권3호
• /
• pp.154-161
• /
• 2015

기존의 예제기반 초해상도 복원은 다수의 외부영상을 이용한 사전 생성 방법과 단일 영상을 이용한 자기참조 예제기반 복원 방법이 있지만, 입력영상의 특성과 패치사전에 따라 복원 성능이 저하되는 문제점이 있다. 이러한 문제점을 개선하기 위해서, 본 논문에서는 멀티 프레임의 움직임 정보를 이용하여 적응적 패치 선택을 통한 초해상도 영상복원 방법을 제안한다. 제안하는 초해상도 영상 복원 방법은 3가지 단계로 구성된다. i) 인접한 프레임간의 움직임 정보를 이용한 로컬 영역을 정의, ii) 단계적 열화를 이용한 적응적 패치 검색 방법, iii) 최적의 패치검색을 통한 패치 결합 및 초고해상도 영상복원이다. 결과적으로 제안하는 방법은 인접한 프레임간의 움직임 정보와 단계적 열화를 이용하여 패치를 검색함으로써 패치 검색의 정확성을 높여주고, 동영상에서 부자연스러운 현상이 제거된 초해상도 영상 복원이 가능하다. 실험결과에서는 기존의 초해상도 영상복원 방법과 비교할 때 복원 부작용이 감소되어 자연스럽게 복원된 영상을 제공하는 동시에, peak-to-peak signal noise ratio (PSNR)과 structural similarity measure (SSIM)를 사용한 객관적 성능 향상을 보인다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권5호
• /
• pp.476-486
• /
• 2007

본 논문에서는 영역 기반 복원 방법을 통하여 한 장의 저해상도 얼굴 영상으로부터 고해상도 얼굴 영상을 복원하는 방법을 제안한다. 제안된 방법은 예제 기반 복원과 얼굴 영상을 형태 정보와 질감 정보로 나누어 표현하는 변형 가능 얼굴 모형에 기반한다. 먼저, 예제 기반 복원 방법의 성능을 개선하기 위하여, 전역 복원 결과와 국부적 복원 결과를 결합하는 영역 기반 복원 방법을 제안한다. 또한, 변형 가능 얼굴 모형의 장점을 해상도 복원에 적용하기 위하여, 확장된 변형 가능 얼굴 모형을 정의한다. 제안된 모형에서 얼굴 영상은 저해상도 얼굴 영상, 보간법을 통해 개선한 고해상도 얼굴 영상, 그리고 원래의 고해상도 얼굴 영상의 쌍으로 구성되며, 이는 다시 확장된 형태 정보와 확장된 질감 정보로 나뉜다. 다양한 실험을 통하여, 제안된 방법이 저해상도 얼굴 영상으로부터 고해상도 얼굴 영상을 효과적으로 복원함을 입증하였으며, 이 방법을 사용하여 원거리 감시 시스템에서 획득된 저해상도 얼굴 영상을 고해상도 얼굴 영상으로 합성함으로써, 얼굴 인식 시스템의 성능을 높일 수 있는 가능성을 확인하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권3호
• /
• pp.65-74
• /
• 2021

3차원 형상 복원(3D reconstruction)은 이미지 또는 영상 속 물체를 3차원 형상으로 복원하는 것을 말한다. 본 연구는 물체의 전반적 형상을 넘어 세부적인 모습까지 복원할 수 있는 표현력을 가진 3차원 형상 복원 네트워크인, 점진적 점유 네트워크를 제안한다. 본 연구가 제안하는 네트워크는 이미지 전체의 정보를 담고 있는 특징(feature)을 사용하는 기존 점유 네트워크와 달리, 수용 영역(receptive field)의 크기에 따라 다양한 수준의 이미지 특징을 추출해서 사용한다. 그리고, 다양한 수준의 이미지 특징을 디코더(decoder) 내 디코더 블록(decoder block)들에 순차적으로 반영하여, 형상 복원의 품질이 단계적으로 개선하는 네트워크 구조를 제안한다. 본 연구는 또한, 다양한 수준의 이미지 특징을 적절히 조합하여 사용하는 디코더 블록구조를 제안한다. 본 연구는 제안하는 네트워크의 성능 검증을 위해 ShapeNet 데이터 세트를 사용하였으며, 기존의 점유 네트워크(ONet) 및 다양한 수준의 이미지 특징을 사용하는 최신 연구(DISN)와 성능 비교하였다. 그 결과, 기존 점유 네트워크 대비 세 가지 검증 지표 모두에서 높은 성능을 달성하였으며, DISN과는 대등한 수준의 성능을 보여주었다. 그리고 복원 형상의 시각적 비교 결과, 본 연구의 점진적 점유 네트워크가 기존 점유 네트워크 대비, 물체의 세부 모습을 잘 복원하는 것을 확인하였다. 또한, DISN이 복원 실패한 물체의 얇은 부분 또는 이미지에서 가려진 부분을 본 연구의 네트워크는 잘 잡아내는 결과를 확인할 수 있었다. 이러한 결과는 본 연구가 제안하는 점진적 점유 네트워크의 유용성을 검증하는 결과다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.351-360
• /
• 2022

영상 흐려짐은 피사체의 움직임, 카메라의 흔들림 등의 요인으로 발생하는 현상이다. 최근 합성곱 심층신경망(Convolution Neural Network, CNN)을 활용하여 흐려짐 현상을 복원하는 연구가 활발하게 진행되었으며, 원본과 정답 영상의 차이를 이용하여 복원 과정을 가이드하는 방법이 뛰어난 성능을 보였다. 본 논문에서는 왜곡 정보를 기반으로 흐려진 영상 복원 성능을 개선하는 방법을 제안한다. 이를 위해 학습 시, 원본과 정답 영상 차이에 대한 이진화를 수행하여 복원 과정을 가이드 할 수 있도록 하는 트랜스포머(Transformer) 기반 신경망 모듈을 설계하였다. 제안하는 방법은 학습 과정에서 잠재 특징을 기반으로 전역적 추론을 통해 예측한 왜곡 위치 정보 분포를 흐려짐 복원 과정에 반영한다. 다양한 영상 흐려짐 복원 신경망에 제안하는 모듈을 적용하여 복원 성능을 효과적으로 향상시킬 수 있음을 확인하였다.

• 한국전자통신학회논문지
• /
• 제18권5호
• /
• pp.895-900
• /
• 2023

그래프에서 전체 노드중 일부 노드를 선택하고 선택된 노드에서 발생하는 신호로부터 원 신호를 복원하는 저 복잡도를 갖는 샘플링 기술에 대해 연구한다. 이를 위해, 매 단계에서 한 개의 노드를 선택하는 탐욕 알고리즘을 기반으로, 기존의 방식인 최소 비용값을 갖는 노드를 찾기 위해 전체노드를 탐색 및 계산하는 방식을 취하지 않고 임계값을 설정하여 임계값 이하의 값을 갖는 노드를 선택하도록 하여 탐색 및 비용함수 계산비용을 줄이는 방식을 제안한다. 복원성능 저하를 막기 위해 정확한 임계값 설정이 요구되며, 이를 위해 임계값을 구하기 위한 매 단계에서 샘플링 집합 크기와의 관계식을 정립한다. 다양한 그래프상에서 복원성능 및 복잡도 (실행시간) 평가를 수행하여, 기존 방식 대비 복원성능을 유지하면서 평균 1.3배 이상 빠른 실행시간이 보임을 확인했다.