• 제어로봇시스템학회논문지
• /
• 제21권11호
• /
• pp.996-1002
• /
• 2015

In this paper, we present an effective system for the 3D scene labeling of objects from RGB-D videos. Our system uses a Markov Random Field (MRF) over a voxel representation of the 3D scene. In order to estimate the correct label of each voxel, the probabilistic graphical model integrates both scores from sliding window-based object detectors and also from object location prior maps. Both the object detectors and the location prior maps are pre-trained from manually labeled RGB-D images. Additionally, the model integrates the scores from considering the geometric constraints between adjacent voxels in the label estimation. We show excellent experimental results for the RGB-D Scenes Dataset built by the University of Washington, in which each indoor scene contains tabletop objects.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2010년도 추계학술대회
• /
• pp.203-205
• /
• 2010

파노라마 영상을 재구성하는 기존의 방법은 Labeling을 이용하여 객체를 비교한 후에 결합시키는 방법을 적용하였으나 시간이 많이 소요되고 각각의 이미지를 Labeling하는 과정에서 개체 간의 불일치가 발생하여 정확히 영상을 결합할 수 없는 경우가 발생한다. 따라서 본 논문에서는 처리 속도 개선을 위하여 전체 이미지의 1/3만 Labeling한 후에 객체 간을 비교하여 결함시킨다. 그리고 각도가 틀린 경우에는 특징점을 찾아내는 SURF 알고리즘을 적용하여 각각의 이미지에서 Labeling한 사각형의 4개의 포인터에 대해 1개의 중심점을 구하여 Homography를 이용하여 2개의 영상을 자연스럽게 정합한다. 본 논문에서 제안한 파노라마 영상 재구성 방법의 성능을 평가하기 위하여 다양한 이미지를 대상으로 실험한 결과, 기존의 방법보다 영상을 재구성하는데 효과적인 것을 확인하였다. 그리고 처리 속도 측면에서도 개선되었다.

• 한국항행학회논문지
• /
• 제19권6호
• /
• pp.484-491
• /
• 2015

항공영상은 디지털 광학 영상 기술의 성장과 무인기(UAV)의 발달로 인하여 영상의 도입 및 공급이 크게 증가하였고, 이러한 항공영상 데이터를 기반으로 지상의 속성 추출, 분류, 변화탐지, 영상 융합, 지도 제작 형태로 활용되고 있다. 특히, 영상분석 및 활용에 있어 딥 러닝 알고리즘은 패턴인식 분야의 한계를 극복하는 새로운 패러다임을 보여주고 있다. 본 논문은 딥 러닝 알고리즘인 ConvNet기반으로 항공영상의 영역분할 및 분류 결과를 통한 더욱더 넓은 범위와 다양한 분야에 적용할 수 있는 가능성을 제시한다. 학습데이터는 도로, 건물, 평지, 숲 총 3000개 4-클래스로 구축하였고 클래스 별로 일정한 패턴을 가지고 있어 특징 벡터맵을 통한 결과가 서로 다르게 나옴을 확인할 수 있다. 본 연구의 알고리즘은 크게 두 가지로 구성 되어 있는데 특징추출은 ConvNet기반으로 2개의 층을 쌓았고, 분류 및 학습과정으로 다층 퍼셉트론과 로지스틱회귀 알고리즘을 활용하여 특징들을 분류 및 학습시켰다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.630-635
• /
• 2007

In this paper, we propose a system for multiple people tracking using fragment based histogram matching. Appearance model is based on IHLS color histogram which can be calculated efficiently using integral histogram representation. Since histograms will loss all spatial information, we define a fragment based region representation which retain spatial information, robust against occlusion and scale issue by using disparity information. Multiple people labeling is maintained by creating online appearance representation for each people detected in scene and calculating fragment vote map. Initialization is performed automatically from background segmentation step.

• 한국컴퓨터정보학회논문지
• /
• 제18권4호
• /
• pp.13-18
• /
• 2013

디지털 카메라의 보급으로 카메라만 있으면 누구나 손쉽게 파노라마 사진을 찍을 수 있다. 파노라마 사진이란 카메라를 삼각대에 고정시킨 후, 일부분을 중첩시키면서 회전하여 얻어진 이미지를 수평으로 이동하여 이미지를 결합시키는 사진이다. 이때 수동으로 사진을 찍을 경우에는 각도가 틀어져 겹쳐지는 부분을 자연스럽게 정합하기 어렵다. 기존의 방법에서는 라벨링을 이용하여 객체를 비교한 후에 결합시키는 방법을 적용하였으나 시간이 많이 소요되고 각각의 이미지를 라벨링하는 과정에서 개체 간의 불일치가 발생하여 정확히 영상을 결합할 수 없는 경우가 발생한다. 따라서 본 논문에서는 처리 속도 개선을 위하여 전체 이미지의 1/3만 라벨링한 후에 객체 간을 비교하여 결함시킨다. 그리고 각도가 틀린 경우에는 특징점을 찾아내는 SURF 알고리즘을 적용하여 각각의 이미지에서 라벨링한 사각형의 4개의 포인터에 대해 1개의 중심점을 구하여 호모그래피를 이용하여 2개의 영상을 자연스럽게 정합한다. 본 논문에서 제안한 파노라마 영상 재구성 방법의 성능을 평가하기 위하여 다양한 이미지를 대상으로 실험한 결과, 기존의 방법보다 영상을 재구성하는데 효과적인 것을 확인하였다.

• 정보처리학회논문지B
• /
• 제14B권1호
• /
• pp.1-4
• /
• 2007

본 논문에서는 축구 동영상으로부터 자동적으로 하이라이트 장면들을 검출하는 방법을 제안한다. 축구 동영상에서 하이라이트 장면들은 슈팅 장면들이나 골 장면들로 정의 될 수 있다. 우리는 축구 동영상에 대한 구조적 분석을 통해서 일반적으로 골 포스트(goal posts) 영역 주위에서 하이라이트 장면들이 나타나는 것과 하이라이트 장면 이후에는 TV 카메라가 축구 선수들이나 관중석을 확대해서 보여주는 것을 확인할 수 있었다. 본 논문에서 축구 동영상으로부터 하이라이트 장면들을 검출하기 위한 과정은 세 단계로 구성된다. 첫 번째 단계는 통계적인 문턱치(statistical threshold)를 이용한 그라운드(playing field) 영역을 추출한다. 두 번째 단계는 골 포스트를 찾기 위해서 그라운드 영역과 그라운드가 아닌 영역들의 경계선 부분을 검출한다. 그리고 마지막 단계에서는 축구 선수나 관객들의 확대 장면을 검출하기 위해서 그라운드가 아닌 영역들에 대해서 connected component labeling 기법을 적용하여 한 장면 내에서 그라운드가 아닌 영역들의 비율을 계산한다. 본 논문에서는 하이라이트 장면 검출에 대한 성능을 평가하기 위하여 정확률(precision)과 재현율(recall)을 사용하고, 실험을 통하여 제안된 방법이 정확률 95.2%, 재현율 854%로 축구 동영상에서 하이라이트 장면을 효과적으로 검출할 수 있음을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권10호
• /
• pp.2643-2657
• /
• 2023

Scene graphs are structured representations that can clearly convey objects and the relationships between them, but are often heavily biased due to the highly skewed, long-tailed relational labeling in the dataset. Indeed, the visual world itself and its descriptions are biased. Therefore, Unbiased Scene Graph Generation (USGG) prefers to train models to eliminate long-tail effects as much as possible, rather than altering the dataset directly. To this end, we propose Geometric and Semantic Improvement (GSI) for USGG to mitigate this issue. First, to fully exploit the feature information in the images, geometric dimension and semantic dimension enhancement modules are designed. The geometric module is designed from the perspective that the position information between neighboring object pairs will affect each other, which can improve the recall rate of the overall relationship in the dataset. The semantic module further processes the embedded word vector, which can enhance the acquisition of semantic information. Then, to improve the recall rate of the tail data, the Class Balanced Seesaw Loss (CBSLoss) is designed for the tail data. The recall rate of the prediction is improved by penalizing the body or tail relations that are judged incorrectly in the dataset. The experimental findings demonstrate that the GSI method performs better than mainstream models in terms of the mean Recall@K (mR@K) metric in three tasks. The long-tailed imbalance in the Visual Genome 150 (VG150) dataset is addressed better using the GSI method than by most of the existing methods.

• 한국산학기술학회논문지
• /
• 제10권2호
• /
• pp.358-363
• /
• 2009

자연이미지로부터 텍스트 영역 검출은 다양한 응용분야에 활용됨으로 이 분야의 많은 연구가 필요하다. 최근의 연구 방법은 에지 및 연결요소 기반 방법을 결합하는 다양한 알고리즘을 이용하여 텍스트 영역을 검출하고 있다. 그러므로 본 논문은 이러한 결합방법으로 에지 및 국부적 최소/최대 변환 방법을 이용하여 텍스트 영역을 검출하는 알고리즘을 제안한다. 명도 이미지로부터 에지 및 국부적 최소/최대 연결성분을 검출하고, 에지 및 국부적 최소/최대 연결성분을 레이블화한다. 레이블된 영역을 분석하여 텍스트 후보 영역을 검출하고, 검출된 각각의 텍스트 후보 영역을 결합하여 단일 텍스트 후보 이미지를 생성한다. 텍스트 후보 개별문자의 인접성 및 유사도를 비교하여 검증함으로서 최종적인 텍스트 영역을 검출한다. 실험결과 제안한 알고리즘은 에지 요소 및 국부적 최소/최대 연결요소 검출 방법을 결합하여 자연 이미지로부터 텍스트 영역 검출의 정확도 및 재현률을 향상할 수 있었다.

• 전자공학회논문지B
• /
• 제33B권4호
• /
• pp.111-123
• /
• 1996

In this paper, a new edge-based segmentation algorithm for range image using pseudo reflectance images (PRIs) is proposed. A model of pseudo reflectance which is useful in analyzing three dimensional scene and objects is introduced and then three PRIs are generated by the model. For generating three PRIs, bels and jain's differential window operator is selected and three different light source directions are determined. Three edge images are extracted from each PRI and a fused (logical ORing) edge image is constructed for the benefit of enhanced edge formation. The final segmentation results of the proposed algoritm are obtained after the processing of thinning, labeling and correcting erroeneous regions with the fused edge image. The good performance of edge detection and segmentation is confirmed via computer simulation with synthetic and real range images.

• 전기학회논문지
• /
• 제58권3호
• /
• pp.605-613
• /
• 2009

In this paper, we studied for the real-time azimuthal measurement of HMD (Head Mounted Display) to control the tele-operated vision system on the mobile robot. In the preexistence tele-operated vision system, a joystick was used to control the pan-tilt unit of the remote camera system. To give the sense of presence to the tele-operator, we used a HMD to display the remote scene, measured the rotation angle of the HMD on a real time basis, and transmitted the measured rotation angles to the mobile robot controller to synchronize the pan-tilt angles of remote camera with the HMD. In this paper, we suggest an algorithm for the real-time estimation of the HMD rotation angles using feature points extraction from pc-camera image. The simple experiment is conducted to demonstrate the feasibility.