• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권10호
• /
• pp.4976-4994
• /
• 2018

The diffusion-based salient object detection methods have shown excellent detection results and more efficient computation in recent years. However, the current diffusion-based salient object detection methods still have disadvantage of detecting the object appearing at the image boundaries and different scales. To address the above mentioned issues, this paper proposes a multi-scale diffusion-based salient object detection algorithm with background and objectness seeds. In specific, the image is firstly over-segmented at several scales. Secondly, the background and objectness saliency of each superpixel is then calculated and fused in each scale. Thirdly, manifold ranking method is chosen to propagate the Bayessian fusion of background and objectness saliency to the whole image. Finally, the pixel-level saliency map is constructed by weighted summation of saliency values under different scales. We evaluate our salient object detection algorithm with other 24 state-of-the-art methods on four public benchmark datasets, i.e., ASD, SED1, SED2 and SOD. The results show that the proposed method performs favorably against 24 state-of-the-art salient object detection approaches in term of popular measures of PR curve and F-measure. And the visual comparison results also show that our method highlights the salient objects more effectively.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권12호
• /
• pp.5507-5528
• /
• 2016

In computer vision, salient object is important to extract the useful information of foreground. With active contour analysis acting as the core in this paper, we propose a bottom-up saliency detection algorithm combining with the Bayesian model and the global color distribution. Under the supports of active contour model, a more accurate foreground can be obtained as a foundation for the Bayesian model and the global color distribution. Furthermore, we establish a contour-based selection mechanism to optimize the global-color distribution, which is an effective revising approach for the Bayesian model as well. To obtain an excellent object contour, we firstly intensify the object region in the source gray-scale image by a seed-based method. The final saliency map can be detected after weighting the color distribution to the Bayesian saliency map, after both of the two components are available. The contribution of this paper is that, comparing the Harris-based convex hull algorithm, the active contour can extract a more accurate and non-convex foreground. Moreover, the global color distribution can solve the saliency-scattered drawback of Bayesian model, by the mutual complementation. According to the detected results, the final saliency maps generated with considering the global color distribution and active contour are much-improved.

• 스마트미디어저널
• /
• 제2권2호
• /
• pp.8-13
• /
• 2013

Nowadays, the saliency region detection has become a popular research topic because of its uses for many applications like object recognition and object segmentation. Some of recent methods apply color distinctiveness based on an analysis of statistics of color image derivatives in order to boosting color saliency can produce the good saliency maps. However, if the salient regions comprise more than half the pixels of the image or the background is complex, it may cause bad results. In this paper, we introduce the method to handle these problems by using maximum symmetric surround. The results show that our method outperforms the previous algorithms. We also show the segmentation results by using Otsu's method.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.67-70
• /
• 2022

NLP 분야에서 적극 활용되기 시작한 Transformer 모델을 Vision 분야에서 적용하기 시작하면서 object detection과 segmentation 등 각종 분야에서 기존 CNN 기반 모델의 정체된 성능을 극복하며 향상되고 있다. 또한, label 데이터 없이 이미지들로만 자기지도학습을 한 ViT(Vision Transformer) 모델을 통해 이미지에 포함된 여러 중요한 객체의 영역을 검출하는 saliency map을 추출할 수 있게 되었으며, 이로 인해 ViT의 자기지도학습을 통한 object detection과 semantic segmentation 연구가 활발히 진행되고 있다. 본 논문에서는 ViT 모델 뒤에 classifier를 붙인 모델에 일반 학습한 모델과 자기지도학습의 pretrained weight을 사용해서 전이학습한 모델의 시각화를 통해 각 saliency map들을 비교 분석하였다. 이를 통해, 클래스 분류 학습 기반 전이학습이 transformer의 saliency map에 미치는 영향을 확인할 수 있었다.

• 한국융합학회논문지
• /
• 제11권12호
• /
• pp.39-47
• /
• 2020

본 논문에서는 이미지에서 돌출되는 객체를 검출하기 위해 Saliency Attention을 이용한 딥러닝 기반의 검출 방법을 제안하였다. 돌출 객체 검출은 사람의 시선이 집중되는 물체를 배경으로부터 분리시키는 것이며, 이미지에서 관련성이 높은 부분을 결정한다. 객체 추적 및 검출, 인식 등의 다양한 분야에서 유용하게 사용된다. 기존의 딥러닝 기반 방법들은 대부분 오토인코더 구조로, 특징을 압축 및 추출하는 인코더와 추출된 특징을 복원 및 확장하는 디코더에서 많은 특징 손실이 발생한다. 이러한 손실로 돌출 객체 영역에 손실이 발생하거나 배경을 객체로 검출하는 문제가 있다. 제안하는 방법은 오토인코더 구조에서 특징 손실을 감소시키고 배경 영역을 억제하기 위해 Saliency Attention을 제안하였다. ELU 활성화 함수를 이용해 특징 값의 영향력을 결정하며 각각 정규화된 음수 및 양수 영역의 특징값에 Attention을 진행하였다. 제안하는 Attention 기법을 통해 배경 영역을 억제하며 돌출 객체 영역을 강조하였다. 실험 결과에서는 제안하는 방법이 기존 방법과 비교하여 향상된 검출 결과를 보였다.

• 한국정보전자통신기술학회논문지
• /
• 제10권4호
• /
• pp.318-324
• /
• 2017

본 항공기에 스테레오 카메라를 장착하여 영상 기반의 비행 객체 탐지 및 탐지된 객체의 3차원 위치를 추정하는 방법을 제시하였다. 구름 사이에 존재할 수 있는 원거리의 작은 객체를 탐지하기 위한 방법으로 PCT 기반의 Saliency Map을 생성하여 이용하였으며, 이렇게 탐지된 객체는 좌우 스테레오 영상에서 매칭을 수행하여 스테레오 시차(Disparity)를 추출하였다. 정확한 Disparity를 추출하기 위하여 비용집적(Cost Aggregation) 영역을 탐지 객체에 맞추어 가변되도록 가변 영역으로 사용하였으며, 본 논문에서는 Saliency Map에서 객체의 존재 영역으로 검출된 결과를 사용하였다. 좀 더 정밀한 Disparity를 추출하기 위하여 Sub-pixel interpolation 기법을 사용하여 Sub-pixel 레벨의 실수형 Disparity를 추출하였다. 또한 이에 카메라 파라미터를 적용하여 실제 탐지된 비행 객체의 3차원 공간 좌표를 생성하여 객체의 공간위치를 추정하는 방법을 제시하였다. 이는 향후 자율비행체의 영상기반 객체 탐지 및 충돌방지 시스템에 활용될 수 있을 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권6호
• /
• pp.2444-2463
• /
• 2020

Significant detection of video can more rationally allocate computing resources and reduce the amount of computation to improve accuracy. Deep learning can extract the edge features of the image, providing technical support for video saliency. This paper proposes a new detection method. We combine the Convolutional Neural Network (CNN) and the Deep Bidirectional LSTM Network (DB-LSTM) to learn the spatio-temporal features by exploring the object motion information and object motion information to generate video. A continuous frame of significant images. We also analyzed the sample database and found that human attention and significant conversion are time-dependent, so we also considered the significance detection of video cross-frame. Finally, experiments show that our method is superior to other advanced methods.

• 디지털융복합연구
• /
• 제10권8호
• /
• pp.211-217
• /
• 2012

기존의 GrabCut 알고리즘은 자동 객체 추출이 아닌 사용자가 객체 영역에 사각형 윈도우를 설정해야하는 알고리즘이다. 본 논문에서는 자동 시스템으로 변환하기 위해 인간의 시각 시스템을 기반으로 영상에서 가장 눈에 띄는 영역을 탐지하는 방법을 연구하였다. 주의 시각 영역인 Saliency Map을 생성하기 위해서 인간이 색채를 감지하는 '적/녹' '황/청'의 대립색설을 기반으로 하는 Lab 색공간을 이용하여 생성한다. 생성된 Saliency Map을 주파수 공간으로 변환하여 저주파 영역에 국부적인 경계를 나타내고 경계를 탐지해내어 Saliency Point를 생성한다. 이렇게 생성된 Saliency Point의 좌표 값을 이용하여 윈도우를 자동으로 생성한 후 GrabCut 알고리즘을 기반으로 객체를 추출하였다. 다양한 영상에 제안한 알고리즘을 적용한 결과 객체 영역에 자동으로 윈도우가 생성되었고 객체가 추출되었다.

• Journal of Information Processing Systems
• /
• 제9권4호
• /
• pp.592-601
• /
• 2013

Object segmentation is a challenging task in image processing and computer vision. In this paper, we present a visual attention based segmentation method to segment small sized interesting objects in natural images. Different from the traditional methods, we first search the region of interest by using our novel saliency-based method, which is mainly based on band-pass filtering, to obtain the appropriate frequency. Secondly, we applied the Gaussian Mixture Model (GMM) to locate the object region. By incorporating the visual attention analysis into object segmentation, our proposed approach is able to narrow the search region for object segmentation, so that the accuracy is increased and the computational complexity is reduced. The experimental results indicate that our proposed approach is efficient for object segmentation in natural images, especially for small objects. Our proposed method significantly outperforms traditional GMM based segmentation.

• ETRI Journal
• /
• 제41권6호
• /
• pp.797-810
• /
• 2019

Image saliency detection is the basis of perceptual image processing, which is significant to subsequent image processing methods. Most saliency detection methods can detect only a single object with a high-contrast background, but they have no effect on the extraction of a salient object from images with complex low-contrast backgrounds. With the prior knowledge, this paper proposes a method for detecting salient objects by combining the boundary contrast map and the geodesics-like maps. This method can highlight the foreground uniformly and extract the salient objects efficiently in images with low-contrast backgrounds. The classical receiver operating characteristics (ROC) curve, which compares the salient map with the ground truth map, does not reflect the human perception. An ROC curve with distance (distance receiver operating characteristic, DROC) is proposed in this paper, which takes the ROC curve closer to the human subjective perception. Experiments on three benchmark datasets and three low-contrast image datasets, with four evaluation methods including DROC, show that on comparing the eight state-of-the-art approaches, the proposed approach performs well.