• 한국광학회지
• /
• 제32권6호
• /
• pp.286-295
• /
• 2021

RGB/NIR CMOS 센서를 사용하여 가시광에서의 정면 시야각과 가시광(RGB) 및 근적외선(near-infrared, NIR)에서의 측면 시야각을 갖는 캡슐 내시경용 개선된 반사굴절식 전방위 광학계(modified catadioptric omnidirectional optical system, MCOOS)를 설계한다. 전방 시야각 내의 영상은 반사굴절식 전방위 광학계(catadioptric omnidirectional optical system, COOS)의 부경 뒤에 배치된 3개의 추가된 렌즈와 COOS의 결상 렌즈계로 구성된 MCOOS의 전방 결상 렌즈계로 결상한다. 측면 영상은 COOS로부터 얻어진다. 이 센서에 대한 가시광과 근적외선에서의 나이퀴스트 주파수는 각각 90 lp/mm와 180 lp/mm이다. 설계 사양에서 전장길이, F-수, 전방과 측면 반화각은 각각 12 mm, 3.5, 70°, 50°-120°로 결정하였다. MCOOS의 COOS에 대한 변조전달함수 0.3에서의 공간주파수, 초점심도, 가시광과 근적외선 영역에서의 공차에 따른 누적 확률은 각각 154 lp/mm, -0.051-+0.052 mm, 99%이다. MCOOS의 정면 결상광학계의 변조전달함수 0.3에서의 공간주파수, 초점 심도, 가시광 영역에서 공차에 따른 누적 확률은 각각 170 lp/mm, -0.035-0.051 mm, 99.9%이다.

• 전기학회논문지
• /
• 제67권6호
• /
• pp.782-788
• /
• 2018

This paper proposes a novel method for the omnidirectional camera-based image rendering synchronization system using head mounted display. There are two main processes in the proposed system. The first one is rendering 360-degree images which are remotely photographed to head mounted display. This method is based on transmission control protocol/internet protocol(TCP/IP), and the sequential images are rapidly captured and transmitted to the server using TCP/IP protocol with the byte array data format. Then, the server collects the byte array data, and make them into images. Finally, the observer can see them while wearing head mounted display. The second process is displaying the specific region by detecting the user's head rotation. After extracting the user's head Euler angles from head mounted display's inertial measurement units sensor, the proposed system display the region based on these angles. In the experimental results, rendering the original image at the same resolution in a given network environment causes loss of frame rate, and rendering at the same frame rate results in loss of resolution. Therefore, it is necessary to select optimal parameters considering environmental requirements.

• 제어로봇시스템학회논문지
• /
• 제20권1호
• /
• pp.70-77
• /
• 2014

This paper proposes a novel localization algorithm based on ego-motion which used Lucas-Kanade Optical Flow and warping image obtained through fish-eye lenses mounted on the robots. The omnidirectional image sensor is a desirable sensor for real-time view-based recognition of a robot because the all information around the robot can be obtained simultaneously. The preprocessing (distortion correction, image merge, etc.) of the omnidirectional image which obtained by camera using reflect in mirror or by connection of multiple camera images is essential because it is difficult to obtain information from the original image. The core of the proposed algorithm may be summarized as follows: First, we capture instantaneous $360^{\circ}$ panoramic images around a robot through fish-eye lenses which are mounted in the bottom direction. Second, we extract motion vectors using Lucas-Kanade Optical Flow in preprocessed image. Third, we estimate the robot position and angle using ego-motion method which used direction of vector and vanishing point obtained by RANSAC. We confirmed the reliability of localization algorithm using ego-motion based on fisheye warping image through comparison between results (position and angle) of the experiment obtained using the proposed algorithm and results of the experiment measured from Global Vision Localization System.

• ETRI Journal
• /
• 제36권6호
• /
• pp.913-923
• /
• 2014

This paper proposes a global mapping algorithm for multiple robots from an omnidirectional-vision simultaneous localization and mapping (SLAM) approach based on an object extraction method using Lucas-Kanade optical flow motion detection and images obtained through fisheye lenses mounted on robots. The multi-robot mapping algorithm draws a global map by using map data obtained from all of the individual robots. Global mapping takes a long time to process because it exchanges map data from individual robots while searching all areas. An omnidirectional image sensor has many advantages for object detection and mapping because it can measure all information around a robot simultaneously. The process calculations of the correction algorithm are improved over existing methods by correcting only the object's feature points. The proposed algorithm has two steps: first, a local map is created based on an omnidirectional-vision SLAM approach for individual robots. Second, a global map is generated by merging individual maps from multiple robots. The reliability of the proposed mapping algorithm is verified through a comparison of maps based on the proposed algorithm and real maps.

• 한국컴퓨터그래픽스학회논문지
• /
• 제21권1호
• /
• pp.1-11
• /
• 2015

360도 전방향을 촬영한 파노라마 이미지를 디스플레이 하기 위해서는 기존의 플랫하고 좁은 시야 각을 커버하는 스크린 시스템으로는 큰 비효율을 갖는다. 반면, 환경에 직접 이미지를 투사하는 방식인 몰입 형 환경 투사 시스템을 활용하면 보다 넓은 화각의 디스플레이 시스템의 구현이 가능하다. 기존의 환경 투사 시스템은 다수의 프로젝터로 넓은 화각을 커버하는 형태인 다중 투사 기술을 활용하여 왔으나 다수의 장비로 인한 넓은 공간의 필요성, 유지관리에 대한 어려움, 다소 비싼 설치비용과 같은 문제점을 가지고 있었다. 반면, 거울투사 시스템은 상대적으로 간단한 구조로 이루어져 이에 좋은 대안이 될 수 있으나, 정교한 설치의 필요성과 거울의 왜곡으로 인해 캘리브레이션이 쉽지 않다는 문제점을 지니고 있었다. 본 논문에서는 임의의 공간에서 보다 쉽고 편리한 파노라마 디스플레이 시스템을 만들 수 있도록 단일 프로젝터와 단일 구형 반사경을 활용한 전방향 환경 거울 투사 시스템을 제안한다. 빠르고 쉬운 캘리브레이션 과정을 위해 사용자에게 직관적이고 최적화된 캘리브레이션 시스템을 제공하여 시스템 설치과정의 효율성을 높였다. 또한, 캘리브레이션 정보를 바탕으로 이미지를 워핑하고 보정하여 투사 환경에 최적화된 이미지를 만드는 제작 방법을 제시한다. 다양한 실험들을 통해 제시된 결과는 우리 방식이 전방향 환경 투사 시스템을 구축하는데 보다 빠르고 최적화된 결과물을 만드는데 있어 효율을 증진시켰음을 확인하였다. 결론적으로, 우리가 제안한 시스템을 통해서 임의의 공간에서 적은 수의입력을 통해 쉽고 편리하게 전방향 투사 시스템을 만들 수 있다. 이는 파노라마 이미지의 활용도와 디스플레이 환경을 개선하였고, 또한 이러한 환경에 최적화된 이미지 제작 방법을 제안하여, 해상도 손실 없이 이미지 제작을 가능하게 하였다.

• 전기전자학회논문지
• /
• 제21권4호
• /
• pp.412-415
• /
• 2017

본 논문에서는 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 제안한다. 제안한 시스템은 $360^{\circ}$ 원형영상의 평면 분할 부와 다중 번호판 인식 부로 구성되었다. $360^{\circ}$ 원형영상의 평면 분할 부는 고해상도 $360^{\circ}$ 전방위 IP 카메라에서 원형영상 획득, 원형영상 분할, 평면영상으로 변환, 보간법을 사용한 픽셀 보정 및 컬러보정, 에지 보정 등의 과정을 거쳐 화질이 개선된 평면영상으로 출력한다. 다중 번호판 인식 부는 평면영상에서 다중 번호판 후보영역 추출, 다중 번호판 후보영역 정규화 및 복원, 신경망을 사용한 다중 번호판 숫자, 문자 인식 과정을 거쳐 다중 번호판을 인식하게 된다. 제안된 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 평가하기 위하여 지능형 주차관제시스템 운영 전문 업체와 공동으로 실험한 결과, 97.8%의 높은 번호판 인식률이 확인되었다.

• 한국정밀공학회지
• /
• 제33권6호
• /
• pp.491-497
• /
• 2016

This study aims to develop a vision inspection system for screw threads. To inspect external defects in screw threads, the vision inspection system was developed using front light illumination from which bright images can be obtained. The front light system, however, requires multiple side images for inspection of the entire thread surface, which can be performed by omnidirectional optics. In this study, an omnidirectional optical system was designed to obtain annular images of screw threads using an image sensor and two reflection mirrors; one large concave mirror and one small convex mirror. Optical simulations using backward and forward ray tracing were performed to determine the dimensional parameters of the proposed optical system, so that an annular image of the screw threads could be obtained with high quality and resolution. Microscale surface defects on the screw threads could be successfully detected using the developed annular inspection system.

• 정보처리학회논문지B
• /
• 제18B권2호
• /
• pp.51-56
• /
• 2011

흑체의 온도 변화에 대한 영상의 색차를 줄이는 본질 영상은 단일 불변 방향을 검출하고 백색 장면 조명체를 기반으로 하기 때문에 실영상에 존재하는 다수의 불변 방향과 유색 장면 조명체에 취약하다. 이러한 문제를 해결하기 위해 본 논문에서는 ${\chi}$-색도 공간에서 ROI의 전방향프로젝션과 백색패치의 평행이동을 통해 불변 방향을 검출하는 본질 영상 획득 기법을 제안한다. 3차원 RGB 공간 분석의 어려움으로 인하여, 본 논문 또한 밝기가 고려되지 않은 ${\chi}$-색도 공간을 사용한다. 이 공간에서 유색 조명체의 효과는 백색패치의 평행이동을 통해 감소시키고, 색차에 따라 가상의 선분으로 나타나는 불변 방향은 ROI의 전방향 프로젝션을 통해 검출한다. 다수의 불변 방향을 고려하여 ROI 선택은 3D 히스토그램에서 빈도수에 의해 결정한다. 검출 후, 본질 영상은 불변 방향의 직교 방향으로의 프로젝션과 RGB영상으로의 역변환 과정을 통해 획득된다. 실험에서 Ebner가 제안한 데이터집합을 실험 영상으로 이용하였고, 불변 방향의 표준편차와 색항등성 측도를 평가 측도로 사용하였다. 제안한 기법의 실험 결과는 엔트로피 기법보다 불변 방향의 표준 편차가 낮았으며, 기존의 기법에 비해 색항등성이 2배 이상 높았다.

• 한국측량학회지
• /
• 제36권5호
• /
• pp.319-333
• /
• 2018

As human beings spend more time indoors, and with the growing complexity of indoor spaces, more focus is given to indoor spatial applications and services. 3D topological networks are used for various spatial applications that involve navigation indoors such as emergency evacuation, indoor positioning, and visualization. Manually generating indoor network data is impractical and prone to errors, yet current methods in automation need expensive sensors or datasets that are difficult and expensive to obtain and process. In this research, a methodology for semi-automatically generating a 3D indoor topological model based on IndoorGML (Indoor Geographic Markup Language) is proposed. The concept of Shooting Point is defined to accommodate the usage of omnidirectional images in generating IndoorGML data. Omnidirectional images were captured at selected Shooting Points in the building using a fisheye camera lens and rotator and indoor spaces are then identified using image processing implemented in Python. Relative positions of spaces obtained from CAD (Computer-Assisted Drawing) were used to generate 3D node-relation graphs representing adjacency, connectivity, and accessibility in the study area. Subspacing is performed to more accurately depict large indoor spaces and actual pedestrian movement. Since the images provide very realistic visualization, the topological relationships were used to link them to produce an indoor virtual tour.

• ETRI Journal
• /
• 제44권1호
• /
• pp.10-23
• /
• 2022

Despite the significant progress in camera pose estimation and structure-from-motion reconstruction from unstructured images, methods that exploit a priori information on camera arrangements have been overlooked. Conventional state-of-the-art methods do not exploit the geometric structure to recover accurate camera poses from a set of patch images in an array for mosaic-based imaging that creates a wide field-of-view image by sewing together a collection of regular images. We propose a camera pose estimation framework that exploits the array-structured image settings in each incremental reconstruction step. It consists of the two-way registration, the 3D point outlier elimination and the bundle adjustment with a constraint term for consistent rotation vectors to reduce reprojection errors during optimization. We demonstrate that by using individual images' connected structures at different camera pose estimation steps, we can estimate camera poses more accurately from all structured mosaic-based image sets, including omnidirectional scenes.