• 대한조선학회논문집
• /
• 제57권3호
• /
• pp.140-151
• /
• 2020

It is important to identify the location of ship hull blocks with exact block identification number when scheduling the shipbuilding process. The wrong information on the location and identification number of some hull block can cause low productivity by spending time to find where the exact hull block is. In order to solve this problem, it is necessary to equip the system to track the location of the blocks and to identify the identification numbers of the blocks automatically. There were a lot of researches of location tracking system for the hull blocks on the stockyard. However there has been no research to identify the hull blocks on the stockyard. This study compares the performance of 5 Convolutional Neural Network (CNN) models with multi-view image set on the classification of the hull blocks to identify the blocks on the stockyard. The CNN models are open algorithms of ImageNet Large-Scale Visual Recognition Competition (ILSVRC). Four scaled hull block models are used to acquire the images of ship hull blocks. Learning and transfer learning of the CNN models with original training data and augmented data of the original training data were done. 20 tests and predictions in consideration of five CNN models and four cases of training conditions are performed. In order to compare the classification performance of the CNN models, accuracy and average F1-Score from confusion matrix are adopted as the performance measures. As a result of the comparison, Resnet-152v2 model shows the highest accuracy and average F1-Score with full block prediction image set and with cropped block prediction image set.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2366-2395
• /
• 2018

Multi-view super-resolution (MVSR) refers to the process of reconstructing a high-resolution (HR) image from a set of low-resolution (LR) images captured from different viewpoints typically by different cameras. These multi-view images are usually obtained by a camera array. In our previous work [1], we super-resolved multi-view LR images via image fusion (IF) and blind deblurring (BD). In this paper, we present a new MVSR method that jointly realizes IF and BD based on an integrated energy function optimization. First, we reformulate the MVSR problem into a multi-channel blind deblurring (MCBD) problem which is easier to be solved than the former. Then the depth map of the desired HR image is calculated. Finally, we solve the MCBD problem, in which the optimization problems with respect to the desired HR image and with respect to the unknown blur are efficiently addressed by the alternating direction method of multipliers (ADMM). Experiments on the Multi-view Image Database of the University of Tsukuba and images captured by our own camera array system demonstrate the effectiveness of the proposed method.

• Journal of Multimedia Information System
• /
• 제1권1호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a new view synthesis technique for coding of multi-view color and depth data in arbitrary camera arrangements. We treat each camera position as a 3-D point in world coordinates and build clusters of those vertices. Color and depth data within a cluster are gathered into one camera position using a hierarchical representation based on the concept of layered depth image (LDI). Since one camera can cover only a limited viewing range, we set multiple reference cameras so that multiple LDIs are generated to cover the whole viewing range. Therefore, we can enhance the visual quality of the reconstructed views from multiple LDIs comparing with that from a single LDI. From experimental results, the proposed scheme shows better coding performance under arbitrary camera configurations in terms of PSNR and subjective visual quality.

• 방송공학회논문지
• /
• 제13권5호
• /
• pp.685-695
• /
• 2008

본 논문은 다시점에서 물체를 촬영한 영상들의 집합, 즉, 다시점 영상 집합(multi-view image set)이 주어진 경우, 적은 사용자 입력을 통해 효율적으로 영상 집합 내 관심 물체의 영역을 추출하는 기법을 제안한다. 제안하는 기법은 사용자가 직접 입력을 통해 영역화한 하나의 영상을 바탕으로, 그 영상의 배경 및 전경과 인접 영상 간의 변형을 각각 근사하여 전경 및 배경에 대응되는 인접 영상의 영역을 파악하고, 이 영역들을 통해 인접 영상을 영역화한 후, 영역화된 영상을 바탕으로 다음 인접 영상을 영역화하는 과정을 순차적으로 반복하여 영상 집합 전체를 영역화한다. 이때 전경 및 배경의 변형은 각각 특징점 기반 레지스트레이션(registration) 기법과 선형성 거리비율 보존(affine) 변형을 가정한 대응점 기반 변형행렬(homography)을 통해 근사되며, 각 대응 영역을 기반으로 하는 화소 색 분포 및 형상 정보(shape prior)를 마르코프 랜덤 장(Markov random field)에서의 에너지 최소화에 기반을 둔 영역화 기법에 적용하여 영역화를 수행한다. 제시하는 실험 결과는 제안하는 기법이 적은 사용자 입력으로 다시점 영상 집합 전체를 효과적으로 영역화한다는 것을 뒷받침한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1997년도 학술대회
• /
• pp.135-138
• /
• 1997

Multi-view 영상 DB의 surround view 입체 화상을 재현하기 위해서는 영상 정보를 효과적으로 합성, 보간하는 방법이 필연적으로 요구된다. 다시점 입체 영상의 표시 기능을 구현하기 위해서 이론적으로는 충분한 개수의 카메라를 상하 좌우로 배치하여 영상을 획득하고 보는 이의 위치에 가장 적합한 영상을 선택하여 표현하면 된다. 이 경우 많은 수의 카메라로부터 입력되는 방대한 영상 데이터의 저장, 처리, 전송, 설치 문제 등 현실적으로 많은 제약점이 존재한다. 이러한 문제점을 해결하기 위해 기존의 블록 매칭과 같은 3D 구조 추정에 기초하여 블록 단위의 깊이 정보와 텍스쳐 정보의 추출, 다시점 영상 set의 가장 왼쪽 영상으로부터 시작하여 차례로 한 줄씩 쌓아서 얻어진 EPI(Epipolar Plane Image)에 기초한 유사 영상 값의 자취선 탐색 방법에 의한 시차와 텍스쳐 정보 추출로 전체 다안화상을 다해상도로 표현하여 전송하는 방식을 제안한다. 다해상도의 영상 표현과 점진적 전송 방법을 통해 다시점 영상 검색 시스템의 성능향상을 위한 네트워크 모델링을 제안하고자 한다.

• 전자공학회논문지S
• /
• 제35S권7호
• /
• pp.53-61
• /
• 1998

In this paper, we propose an efficient multi-view images coding algorithm to find the optimal depth and texture from the set of multi-view images. The proposed algorithm consists of two consecutive steps, i) the depth estraction step, and ii) the texture extraction step, comparedwith the traditional algorithem which finds the depth and texture concurrently. The X-Y plane of the normalized object space is divided into traingular paatches and the Z value of the node is determined in the first step and then the texture of the each patch is extracted in the second step. In the depth extraction step, the depth of the node is determined by applying the block based disparity compensation method to the windowed area centered at the node. In the second step, the texture of the traingular patches is extracted from the multi-view images by applying the affine transformation based disparity compensation method to the traingular pateches with the depth extracted from the first step. Experimental results show that the SNR(Singnal-to- Noise Ratio) of images enconded by our algorithm is better than that of images encoded by the traditional algorithm by the amount about 4dB for for the test sets of multi-view images called dragon, kid, city and santa.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권10호
• /
• pp.5129-5152
• /
• 2016

Multi-view super-resolution (MVSR) aims to estimate a high-resolution (HR) image from a set of low-resolution (LR) images that are captured from different viewpoints (typically by different cameras). MVSR is usually applied in camera array imaging. Given that MVSR is an ill-posed problem and is typically computationally costly, we super-resolve multi-view LR images of the original scene via image fusion (IF) and blind deblurring (BD). First, we reformulate the MVSR problem into two easier problems: an IF problem and a BD problem. We further solve the IF problem on the premise of calculating the depth map of the desired image ahead, and then solve the BD problem, in which the optimization problems with respect to the desired image and with respect to the unknown blur are efficiently addressed by the alternating direction method of multipliers (ADMM). Our approach bridges the gap between MVSR and BD, taking advantages of existing BD methods to address MVSR. Thus, this approach is appropriate for camera array imaging because the blur kernel is typically unknown in practice. Corresponding experimental results using real and synthetic images demonstrate the effectiveness of the proposed method.

• 방송공학회논문지
• /
• 제12권2호
• /
• pp.128-136
• /
• 2007

사용자에게 보다 실감나는 입체감을 제공하기 위해 개발되고 있는 다시점 비디오는 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고 공간적으로 처리하여 여러 방향의 다양한 시점 영상을 사용자에게 제공하는 3차원 영상처리 기술의 새로운 분야이다. 다시점 비디오는 사용자에게 시청 시점을 자유롭게 선택할 수 있는 기회를 주고 넓은 화면을 통한 3차원 입체감을 느낄 수 있는 장점을 가진다. 그러나 다시점 비디오는 시점 수가 증가하는 만큼 데이터 양도 증가하므로 효율적인 데이터 처리 방법이 요구된다. 최근 인접한 시점의 영상을 이용하여 중간시점의 영상을 합성하고 이를 부호화에 적용하는 방법이 연구되고 있다. 다시점 비디오 부호화 효율을 높이기 위해 제안되었던 기존의 영상보간법은 최대변위 설정과 고정된 블록을 이용한 블록정합 방법을 이용한다. 이때, 변위 종류가 다양한 영상이거나 변위차가 큰 영역에 대해서 변위 오류가 많이 발생한다. 이 논문에서는 이러한 문제점을 보완하고 개선된 화질의 중간시점의 영상을 얻기 위한 방법과 이 영상을 이용하여 부호화에 적용하는 방법을 제안한다. 제안한 영상보간법은 변위의 검색 범위를 초기에 설정하지 않고 블록 단위부터 화소 단위까지 변위를 측정하여 중간영상을 합성한다. 또한 이렇게 합성한 영상을 부호화 과정에서 참조 영상으로 추가하여 부호화한다. 이 논문에서 제안한 방법을 이용한 결과, 기존의 영상 보간법보다 약 $1{\sim}4dB$ 정도 개선된 화질의 중간시점 영상을 얻었고, 이 영상들을 이용하여 제안한 부호화 방법으로 부호화한 결과 참조 모델에 비해 최대 0.5 dB의 부호화 효율이 개선됨을 확인했다.

• 한국측량학회:학술대회논문집
• /
• 한국측량학회 2010년 춘계학술발표회 논문집
• /
• pp.53-56
• /
• 2010

항공용 Multi-looking 카메라는 1대의 사진기 몸체에 5대의 카메라를 설치하여 동시에 1장의 연직사진과 4개의 경사사진을 획득하므로, 연직방향으로 촬영된 일반 항공사진에 비해 현장에 대한 다양한 정보를 제공한다. 그러나 3차원 공간정보 구축시 다각사진촬영시스템은 대형CCD를 사용하는것이 아니라 중형CCD를 사용하므로, 주요대상물의 전후좌우 영상을 취득하려면, 촬영시 중복도 설정을 고려하여야 하며, 특히 Sideward-looking 카메라의 경우 횡중복도 설정에 의해 특정대상물 촬영 여부를 확인할 수 있다. 이에 본 연구에서는 촬영시 횡중복도 변화에 의한 다각사진의 Sideward Footprint 및 촬영의 효율성에 대하여 분석하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 IWAIT
• /
• pp.727-731
• /
• 2009

In this paper, we propose a method to generate a free viewpoint image using multi-viewpoint images which are taken by cameras arranged circularly. In past times, we have proposed the method to generate a free viewpoint image based on Ray-Space method. However, with that method, we can not generate a walk-through view seen from a virtual viewpoint among objects. The method we propose in this paper realizes the generation of such view. Our method gets information of the positions of objects using shape from silhouette method at first, and selects appropriate cameras which acquired rays needed for generating a virtual image. A free viewpoint image can be generated by collecting rays which pass over the focal point of a virtual camera. However, when the requested ray is not available, it is necessary to interpolate it from neighboring rays. Therefore, we estimate the depth of the objects from a virtual camera and interpolate ray information to generate the image. In the experiments with the virtual sequences which were captured at every 6 degrees, we set the virtual camera at user's choice and generated the image from that viewpoint successfully.