• 제목/요약/키워드: semantic segmentation

검색결과 243건 처리시간 0.03초

멀티채널 기반 드라마 동영상 의미 분절화를 위한 비모수 베이지안 방법 (Nonparametric Bayesian Approach for Multichannel based Semantic Segmentation of TV Dramas)

  • 석호식;이바도;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.474-476
    • /
    • 2012
  • 본 논문에서는 드라마 동영상의 의미 분절화(Semantic segmentation)를 위한 멀티 채널 기반 비모수적 베이지만 방법론을 소개한다. 기존 방법론은 매우 한정적인 특징만을 이용하여 분절화를 시도하거나 이미지 채널이나 오디오 채널과 같은 단일 채널에서만 유효한 방법론을 이용하여 데이터 분석을 시도하였기에, TV 드라마와 같이 예측할 수 없는 변화를 보여주는 스트림 데이터에 적용하기에는 어려움이 많았다. 이와 같은 단점을 극복하기 위해 우리는 주어진 동영상을 단일 모달리티의 채널로 분할한 후 각 채널 별로 분절화를 시도하고 각 채널의 분절 결과를 동적으로 결합하여 주어진 동영상에서의 의미 분절화를 근사하는 방법을 개발하였다. 제안 방법은 실제 TV 동영상의 의미 분절화에 적용되었으며 인간 평가자에 의한 의미 변화 구간과의 비교를 통해 그 성능을 확인하였다.

A hierarchical semantic video object racking algorithm using mathematical morphology

  • Jaeyoung-Yi;Park, Hyun-Sang;Ra, Jong-Beom
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1998년도 Proceedings of International Workshop on Advanced Image Technology
    • /
    • pp.29-33
    • /
    • 1998
  • In this paper, we propose a hierarchical segmentation method for tracking a semantic video object using a watershed algorithm based on morphological filtering. In the proposed method, each hierarchy consists of three steps: First, markers are extracted on the simplified current frame. Second, region growing by a modified watershed algorithm is performed for segmentation. Finally, the segmented regions are classified into 3 categories, i.e., inside, outside, and uncertain regions according to region probability values, which are acquired by the probability map calculated from a estimated motion field. Then, for the remaining uncertain regions, the above three steps are repeated at lower hierarchies with less simplified frames until every region is decided to a certain region. The proposed algorithm provides prospective results in video sequences such as Miss America, Clair, and Akiyo.

  • PDF

Deformable Convolution 기반 어텐션 모듈을 사용한 의미론적 분할 모델 설계 (Design of a Semantic Segmentation Model Usingan Attention Module Based on Deformable Convolution)

  • 김진성;정세훈;심춘보
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.11-13
    • /
    • 2023
  • 의미론적 분할(Semantic Segmentation)은 이미지 내의 객체 및 배경을 픽셀 단위로 분류하는 작업으로 정밀한 탐지가 요구되는 분야에서 활발히 연구되고 있다. 기존 어텐션 기법은 의미론적 분할의 다운샘플링(Downsampling) 과정에서 발생하는 정보손실을 완화하기 위해 널리 사용됐지만 고정된 Convolution 필터의 형태 때문에 객체의 형태에 따라 유동적으로 대응하지 못했다. 본 논문에서는 이를 보완하고자 Deformable Convolution과 셀프어텐션(Self-attention) 구조기반 어텐션 모듈을 사용한 의미론적 분할 모델을 제안한다.

장면 분할 기법을 위한 의미적 유사도의 모델링 (Modeling of Semantic Similarity for Scene Segmentation)

  • 정의손;전성준;조동휘;금용호;함동균;김은지;박승보
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.225-228
    • /
    • 2022
  • 본 논문에서는 의미적 유사도 기반의 장면 분할 방법을 제안한다. 이 방법은 의미적 접근을 통해 기존 연구에서 가졌던 한계를 극복하고 정확한 장면 분할이 가능할 것으로 기대한다. 의미적 유사도 비교를 Class 종류 비교, Class별 객체의 개수 비교, 샷 간의 Histogram비교, 객체의 관심영역(ROI) Histogram비교 총 4가지 규칙으로 정의했고 이때 도출된 4가지 유사도는 전처리를 거쳐 종합 유사도를 계산한다. 또한 의미적 접근을 통해 연속되는 Shot의 유사도를 비교하고 기준값에 따라 Shot을 묶어서 최종적으로 의미적 유사도(Semantic Similarity)에 기반한 장면의 경계(Scene Boundary) 분할 방법을 제시한다.

  • PDF

Robust 2D human upper-body pose estimation with fully convolutional network

  • Lee, Seunghee;Koo, Jungmo;Kim, Jinki;Myung, Hyun
    • Advances in robotics research
    • /
    • 제2권2호
    • /
    • pp.129-140
    • /
    • 2018
  • With the increasing demand for the development of human pose estimation, such as human-computer interaction and human activity recognition, there have been numerous approaches to detect the 2D poses of people in images more efficiently. Despite many years of human pose estimation research, the estimation of human poses with images remains difficult to produce satisfactory results. In this study, we propose a robust 2D human body pose estimation method using an RGB camera sensor. Our pose estimation method is efficient and cost-effective since the use of RGB camera sensor is economically beneficial compared to more commonly used high-priced sensors. For the estimation of upper-body joint positions, semantic segmentation with a fully convolutional network was exploited. From acquired RGB images, joint heatmaps accurately estimate the coordinates of the location of each joint. The network architecture was designed to learn and detect the locations of joints via the sequential prediction processing method. Our proposed method was tested and validated for efficient estimation of the human upper-body pose. The obtained results reveal the potential of a simple RGB camera sensor for human pose estimation applications.

관심 영역 추출과 영상 분할 지도를 이용한 딥러닝 기반의 이미지 검색 기술 (Deep Image Retrieval using Attention and Semantic Segmentation Map)

  • 유민정;조은혜;김병준;김선옥
    • 방송공학회논문지
    • /
    • 제28권2호
    • /
    • pp.230-237
    • /
    • 2023
  • 자율주행은 4차 산업의 핵심 기술로 차, 드론, 자동차, 로봇 등 다양한 곳에 응용 가능하다. 그 중 위치 추정 기술은 GPS, 센서, 지도 등을 활용하여, 객체나 사용자의 위치를 파악하는 기술로 자율주행을 구현하기 위한 핵심적인 기술 중 하나이다. GPS나 LIDAR 등의 센서를 이용하여 위치 추정이 가능하지만, 이는 매우 고가이고 무거운 장비를 탑재해야 하며 지하 혹은 터널 등 전파 방해가 있는 곳의 경우 정밀한 위치 추정이 어렵다는 단점이 있다. 본 논문에서는 이를 보완하기 위해 저가의 비전 카메라로 획득한 컬러 영상을 입력으로 하여 관심 영역 추출 네트워크와 영상 분할 지도를 이용한 영상 검색 기술을 제안한다.

드론 항공영상을 이용한 딥러닝 기반 앙상블 토지 피복 분할 알고리즘 개발 (Development of Deep Learning Based Ensemble Land Cover Segmentation Algorithm Using Drone Aerial Images)

  • 박해광;백승기;정승현
    • 대한원격탐사학회지
    • /
    • 제40권1호
    • /
    • pp.71-80
    • /
    • 2024
  • 이 연구에서는 무인 항공기(Unmanned Aerial Vehicle, UAV)가 캡처한 이미지의 의미론적 토지 피복 분할 성능을 향상시키기 위한 앙상블 학습 기법을 제안하고 있다. 도시 계획과 같은 분야에서 UAV 사용이 증가함에 따라 토지 피복 분할을 위한 딥러닝 분할 방법을 활용한 기술 개발이 활발히 이루어지고 있다. 이 연구는 대표적인 분할 모델인 U-Net, DeepLabV3 그리고 Fully Convolutional Network (FCN)를 사용하여 분할 예측 성능을 개선하는 방법을 제안한다. 제안된 접근 방식은 세 가지 분할 모델의 훈련 손실, 검증 정확도 및 클래스별 점수를 통합하여 앙상블 모델을 개발하고 전반적인 예측 성능을 향상시킨다. 이 방법은 건물, 도로, 주차장, 논, 밭, 나무, 빈 공간, 미분류 영역을 포함하는 일곱 가지 클래스가 있는 토지 피복 분할 문제에 적용하여 평가하였다. 앙상블 모델의 성능은 mean Intersection over Union (mIoU)으로 평가하였으며, 제안된 앙상블 모델과 기존의 세 가지 분할 방법을 비교한 결과 mIoU 성능이 향상되었음이 나타났다. 따라서 이 연구는 제안된 기술이 의미론적 분할 모델의 성능을 향상시킬 수 있음을 확인하였다.

Artificial Intelligence-Based Breast Nodule Segmentation Using Multi-Scale Images and Convolutional Network

  • Quoc Tuan Hoang;Xuan Hien Pham;Anh Vu Le;Trung Thanh Bui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권3호
    • /
    • pp.678-700
    • /
    • 2023
  • Diagnosing breast diseases using ultrasound (US) images remains challenging because it is time-consuming and requires expert radiologist knowledge. As a result, the diagnostic performance is significantly biased. To assist radiologists in this process, computer-aided diagnosis (CAD) systems have been developed and used in practice. This type of system is used not only to assist radiologists in examining breast ultrasound images (BUS) but also to ensure the effectiveness of the diagnostic process. In this study, we propose a new approach for breast lesion localization and segmentation using a multi-scale pyramid of the ultrasound image of a breast organ and a convolutional semantic segmentation network. Unlike previous studies that used only a deep detection/segmentation neural network on a single breast ultrasound image, we propose to use multiple images generated from an input image at different scales for the localization and segmentation process. By combining the localization/segmentation results obtained from the input image at different scales, the system performance was enhanced compared with that of the previous studies. The experimental results with two public datasets confirmed the effectiveness of the proposed approach by producing superior localization/segmentation results compared with those obtained in previous studies.

임베디드 보드에서 실시간 의미론적 분할을 위한 심층 신경망 구조 (A Deep Neural Network Architecture for Real-Time Semantic Segmentation on Embedded Board)

  • 이준엽;이영완
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.94-98
    • /
    • 2018
  • 본 논문은 자율주행을 위한 실시간 의미론적 분할 방법으로 최적화된 심층 신경망 구조인 Wide Inception ResNet (WIR Net)을 제안한다. 신경망 구조는 Residual connection과 Inception module을 적용하여 특징을 추출하는 인코더와 Transposed convolution과 낮은 층의 특징 맵을 사용하여 해상도를 높이는 디코더로 구성하였고 ELU 활성화 함수를 적용함으로써 성능을 올렸다. 또한 신경망의 전체 층수를 줄이고 필터 수를 늘리는 방법을 통해 성능을 최적화하였다. 성능평가는 NVIDIA Geforce gtx 1080과 TX1 보드를 사용하여 주행환경의 Cityscapes 데이터에 대해 클래스와 카테고리별 IoU를 평가하였다. 실험 결과를 통해 클래스 IoU 53.4, 카테고리 IoU 81.8의 정확도와 TX1 보드에서 $640{\times}360$, $720{\times}480$ 해상도 영상처리에 17.8fps, 13.0fps의 실행속도를 보여주는 것을 확인하였다.

시멘틱 세그멘테이션을 활용한 이미지 오브젝트의 효율적인 영역 추론 (Efficient Inference of Image Objects using Semantic Segmentation)

  • 임헌영;이유림;지민규;고명현;김학동;김원일
    • 방송공학회논문지
    • /
    • 제24권1호
    • /
    • pp.67-76
    • /
    • 2019
  • 본 연구에서는 다중 라벨링이 되어 있는 이미지 데이터를 대상으로 시멘틱 세그멘테이션을 활용한 효율적인 오브젝트별 영역 분류 기법을 연구한다. 이미지 데이터에 포함된 색상 정보, 윤곽선, 명암, 채도 등 다양한 픽셀 단위 정보와 프로세싱 기법뿐만 아니라 각 오브젝트들이 위치한 세부 영역을 의미 있는 단위로 추출하여 추론 결과에 반영하는 실험을 진행하고 그 결과에 대해 논의한다. 이미지 분류에서 훌륭한 성능을 검증받은 뉴럴 네트워크를 활용하여 비정형성이 심하고 다양한 클래스 오브젝트가 포함된 이미지 데이터를 대상으로 어떤 오브젝트가 어디에 위치하였는지 파악하는 작업을 진행한다. 이러한 연구를 기반으로 향후 다양한 오브젝트가 포함된 복잡한 이미지의 실시간 세부 영역 분류를 진행하는 인공지능 서비스 제공을 목표로 한다.