• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권5호
• /
• pp.1856-1869
• /
• 2015

This paper addresses the issues of 3D human activity detection, tracking and recognition from RGB-D video sequences using a feature structured framework. During human tracking and activity recognition, initially, dense depth images are captured using depth camera. In order to track human silhouettes, we considered spatial/temporal continuity, constraints of human motion information and compute centroids of each activity based on chain coding mechanism and centroids point extraction. In body skin joints features, we estimate human body skin color to identify human body parts (i.e., head, hands, and feet) likely to extract joint points information. These joints points are further processed as feature extraction process including distance position features and centroid distance features. Lastly, self-organized maps are used to recognize different activities. Experimental results demonstrate that the proposed method is reliable and efficient in recognizing human poses at different realistic scenes. The proposed system should be applicable to different consumer application systems such as healthcare system, video surveillance system and indoor monitoring systems which track and recognize different activities of multiple users.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2003년도 ICCAS
• /
• pp.1244-1248
• /
• 2003

This paper describes visual tracking procedure of the underwater mobile robot for nuclear reactor vessel inspection, which is required to find the foreign objects such as loose parts. The yellowish underwater robot body tends to present a big contrast to boron solute cold water of nuclear reactor vessel, tinged with indigo by Cerenkov effect. In this paper, we have found and tracked the positions of underwater mobile robot using the two color information, yellow and indigo. The center coordinates extraction procedures are as follows. The first step is to segment the underwater robot body to cold water with indigo background. From the RGB color components of the entire monitoring image taken with the color CCD camera, we have selected the red color component. In the selected red image, we extracted the positions of the underwater mobile robot using the following process sequences; binarization, labelling, and centroid extraction techniques. In the experiment carried out at the Youngkwang unit 5 nuclear reactor vessel, we have tracked the center positions of the underwater robot submerged near the cold leg and the hot leg way, which is fathomed to 10m deep in depth.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.8-10
• /
• 2011

3D 콘텐츠를 획득하는 여러 가지 방법 중 2D-plus-Depth 구조는 다시점 영상을 얻을 수 있는 장점 때문에 최근 이에 관한 연구가 활발히 진행되고 있다. 이 구조를 통해서 고품질의 3D영상을 얻기 위해서는 무엇보다 고품질의 깊이 영상을 구현하는 것이 중요하다. 깊이 영상을 얻기 위해서 Time-of-Flight(ToF)방식의 깊이 센서가 활용되고 있는데 이 깊이 센서는 실시간으로 깊이 정보를 획득할 수 있지만 낮은 해상도와 노이즈가 발생한다는 단점이 있다. 따라서 깊이 영상의 특성을 보존하는 상환 변환을 하여야지만 고품질의 3D 콘텐츠를 제작할 수 있다. 주로 깊이 영상의 해상도를 높이기 위해서 Joint Bilateral Upsampling(JBU) 방식이 사용되고 있다. 하지만 이 방식은 4배 이상의 고 해상도 깊이 영상을 획득하는 데에는 적합하지 않다. 따라서 고해상도의 깊이 영상을 얻기 위해서 보간법을 수행하여 가이드 영상을 만든 후 Bilateral Filtering(BF)을 처리함으로써 영상의 품질을 향상시킨다. 본 논문에서는 2D-plus-Depth 구조에서 얻은 컬러 영상과 깊이 영상을 결합한 보간법을 통해서 깊이 영상의 특성을 살린 가이드 영상을 구현하는 방법을 제안한다. 실험 결과는 제안 방법이 기존 보간법보다 경계 영역 및 평활한 영역에서 깊이 영상의 특성을 잘 보존하는 것을 보여준다.

• 한국정보통신학회논문지
• /
• 제15권4호
• /
• pp.943-950
• /
• 2011

이 논문에서는 2D 및 3D 영상의 어텐션량을 측정하여 정지 및 동영상의 재설정 및 압축처리 기법을 제시하였다. 2D 어텐션은 세 개의 주요 구성, 즉, 영상의 세기, 컬러 및 방향성을 고려하였으며, 3D 영상에서 깊이 정보를 고려하였다. 시각적 어텐션은 관심있고 흥미있는 영역이나 객체를 검출하기 위해 희소성을 정량화하는 기법에 의해 구하였다. 왜곡된 스테레오 영상에서 변화된 깊이 정보를 어텐션 확률에 정합시켜서 최종적으로 저위 HVS 반응을 실제 어텐션 확률과 종합하여 스테레오 왜곡 예측기를 설계하였다. 결과로 기존 모델에 비해 효과적인 어텐션 기법을 개발하였으며 이를 비디오 재설정에 적용하여 성능을 입증하였다.

• 정보과학회 논문지
• /
• 제44권2호
• /
• pp.186-194
• /
• 2017

깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.438-446
• /
• 2013

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

• 수산해양기술연구
• /
• 제43권2호
• /
• pp.140-148
• /
• 2007

This paper describes on the real-time monitoring of dredging information for grab bucket dredger equipped with winch control sensors and differential global positioning system(DGPS) using electronic chart display and information system(ECDIS). The experiment was carried out at Gwangyang Hang and Gangwon-do Oho-ri on board M/V Kunwoong G-16. ECDIS system monitors consecutively the dredging's position, heading and shooting point of grab bucket in real-time through 3 DGPS attached to the top bridge of the dredger and crane frame. Dredging depth was measured by 2 up/down counter fitted with crane winch of the dredger. The depth and area of dredging in each shooting point of grab bucket are displayed in color band. The efficiency of its operation can be ensured by adjusting the tidal data in real-time and displaying the depth of dredging on the ECDIS monitor. The reliance for verification of dredging operation as well as supervision of dredging process was greatly enhanced by providing three-dimensional map with variation of dredging depth in real time. The results will contribute to establishing the system which can monitor and record the whole dredging operations in real-time as well as verify the result of dredging quantitatively.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.676-683
• /
• 2012

동영상 부호화에서 움직임 추정은 구현 복잡도에 가장 크게 영향을 미친다. 본 논문에서는 깊이 카메라와 색상 카메라를 동시에 이용하여 움직임 추정의 복잡도를 줄이는 방법을 제안한다. 깊이 카메라로부터 얻어진 거리 정보로 동영상내 객체 정보를 얻고, 비슷한 거리에 있는 화소들을 그룹화하여 동일한 객체로 라벨링을 수행한다. 라벨링된 현재 및 참조 화면내에서 움직임 추정 블록을 세부분(배경, 객체내부, 경계)의 탐색영역으로 구분하여 적응적으로 판단한다. 현재 블록이 객체내부영역이면 참조 화면에서 객체내부영역에만 움직임 추정을 탐색하고, 배경영역이면 블록은 참조 화면에서 배경영역에만 탐색한다. 모의실험을 바탕으로 전역탐색방법에 비하여 제안된 방법은 움직임 추정 차신호가 동일하게 유지되면서 탐색 복잡도가 크게 줄어듬을 확인할 수 있다.

• 전자공학회논문지
• /
• 제50권12호
• /
• pp.168-175
• /
• 2013

스테레오 좌우 영상간의 색 일치는 3D 영상을 재현할 때 매우 중요하다. 이를 위해 카메라 세팅 및 촬영 환경을 일치시켜서 스테레오 영상을 획득하더라도 여전히 색 불일치가 나타나게 된다. 이러한 색 불일치는 특성에 따라 전역과 지역적인 색불일치로 구분될 수 있다. 따라서 이들 특성을 고려하여 스테레오 영상의 색을 정확히 일치시킬 수 있는 방법이 필요하다. 본 논문에서는 누적 히스토그램과 3D 거리정보를 이용하여 전역과 지역의 색 불일치를 동시에 보정하는 방법을 제안한다. 먼저 기준이 되는 영상의 누적 히스토그램을 기반으로 한 매칭 함수를 이용하여 전역적으로 발생하는 색 불일치를 보정한다. 다음으로 대응되는 샘플 특징점 간의 CD-LUT(color difference look-up table)을 구성하고, disparity map을 통한 3D 거리 정보를 기반으로 한 샘플 특징점의 유사성을 기준으로 가중치를 적용하여 지역적인 색 일치를 수행한다. 마지막으로 전역적인 보정과 지역적인 보정된 영상을 결합함으로서 스테레오 영상에서 나타나는 색 불일치를 보정하였다. 색차가 발생한 스테레오 영상에 대해 기존 색 일치 방법과 제안한 방법을 비교하기 위하여 색상 유사도를(hue similarity)와 MOS(mean opinion scores) 이용하여 평가하였다. 실험 결과에서 제안한 방법을 통한 결과 영상이 기존 방법을 통한 결과 영상보다 더 높은 수치를 나타냄을 알 수 있었다.

• 대한원격탐사학회지
• /
• 제37권5_1호
• /
• pp.861-870
• /
• 2021

본 연구에서는 COMS (Communication, Oceanography and Meteorology Satellite) 위성의 GOCI(Geostationary Ocean Color Imager) 센서와 Himawari-8 위성의 AHI (Advanced Himawari Imager) 센서에서 산출되는 에어로졸 광학두께 (Aerosol Optical Depth; AOD)를 활용하여 단일화된 AOD 합성장을 생산하였다. 위성 간의 공간해상도와 위치좌표계가 다르기 때문에 이를 맞춰주는 전처리 작업을 선행하였다. 이후 지상관측 기반인 AERONET (AErosol RObotic NETwork)의 레벨 1.5 AOD 자료를 사용하여 각 위성과 AERONET과의 상관관계 분석 및 추세를 보간하여 기존 위성 AOD 보다 정확한 위성 AOD 자료를 생산하였다. 이후 합성과정을 진행하며 최종적으로 시공간적으로 더 완벽하고 정확한 AOD 합성장을 생산하였다. 생산된 AOD 합성장의 제곱근 평균 오차(Root Mean Square Error; RMSE)는 0.13, 평균 편향(mean bias)는 0.05로, 기존의 GOCI AOD (RMSE: 0.15, Mean bias: 0.11)와 AHI AOD (RMSE: 0.15, Mean bias: 0.05) 보다 나은 성능을 보였다. 또한 합성된 AOD는 단일위성에서 구름으로 인하여 관측되지 못한 지역에서 시공간적으로 보다 완벽하게 생산되었음을 확인하였다.