• 제목/요약/키워드: spatial-temporal background information

검색결과 24건 처리시간 0.029초

자유 시점 TV에서 시점 합성을 위한 시공간적 배경 정보 추정 기반 홀 채움 방식 (Hole-filling Algorithm Based on Extrapolating Spatial-Temporal Background Information for View Synthesis in Free Viewpoint Television)

  • 김범수;응웬 띠엔 닷;홍민철
    • 전기전자학회논문지
    • /
    • 제20권1호
    • /
    • pp.31-44
    • /
    • 2016
  • 본 논문에서는 자유 시점 텔레비전에서 시점 합성 영상 획득을 위해 시공간적 배경 정보 추정 기반 홀 채움 방식을 제안한다. 신뢰할 수 있는 시간적 배경 정보를 획득하기 위해 새로운 배경 코드북의 구성 및 갱신하는 과정을 수행한다. 더불어, 공간적인 국부 배경 정보 추정을 위해 홀 영역의 배경 및 전경 영역의 구별 및 갱신 과정을 수행한다. 추정된 시공간 배경 정보를 조합하여 홀 채움 과정을 수행하고, 잔여 홀 채움을 수행하기 위해 깊이 배경 정보를 이용한 우선순위 함수를 결정하여 표본 기반 인페인팅 기법을 적용한다. 실험 결과를 통해 제안 방식은 기존방식들과 비교하여 평균 0.3~0.6dB의 성능 향상이 있음을 확인하였으며, 동영상 특성 및 홀 형태에 관계없이 제안된 방식이 새로운 시점 영상을 효과적으로 합성할 수 있음을 확인할 수 있었다.

추정된 시공간 배경 정보를 이용한 홀채움 방식 (Hole-Filling Method Using Extrapolated Spatio-temporal Background Information)

  • 김범수;응웬띠 엔닷;홍민철
    • 전자공학회논문지
    • /
    • 제54권8호
    • /
    • pp.67-80
    • /
    • 2017
  • 본 논문에서는 추정된 시공간 배경 정보를 이용하여 자유 시점에서 합성영상을 생성하기 위한 홀채움 방식을 제안한다. 시간적 배경 정보를 추정하기 위해 비겹침 패치 기반의 배경 코드북을 이용한 새로운 시간적 배경 모델을 소개한다. 더불어, 공간적 배경 후보의 하한 및 상한 값의 제약 조건을 설정하는 깊이영상 기반 공간적 국부 배경 예측 방식에 대해 제안한다. 추정된 시간적 배경 정보와 공간적 배경 정보의 유사도를 비교하여 가려짐 배경 영역의 홀채움 과정을 수행한다. 또한 3-D 워핑 후 발생하는 컬러영상과 깊이영상간의 불일치 문제를 해결하기 위해 깊이영상 기반의 고스트 제거 필터를 기술한다. 마지막으로 잔여 홀을 채우기 위해 새로운 깊이 항을 포함한 우선순위 함수를 이용하여 인페인팅 방식이 적용된다. 실험 결과를 통해 기존의 홀채움 방식들과 비교하여 제안하는 방식의 객관적, 주관적 성능의 우수성을 확인할 수 있었다.

시간축과 공간축 화소 정보를 이용한 배경 생성 (Background Generation using Temporal and Spatial Information of Pixels)

  • 조상현;강행봉
    • 정보처리학회논문지B
    • /
    • 제17B권1호
    • /
    • pp.15-22
    • /
    • 2010
  • 비디오 감시 시스템에서 정확한 물체 추적을 위해서는 움직이는 물체가 없는 정적인 배경 영상이 필수적이다. 하지만 기존의 배경 생성 방법들은 주로 시간 축에 따른 화소 정보를 이용하여 오랫동안 정지해 있는 물체들이 존재하는 경우에는 적용하기 어려운 단점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 mean-shift와 fast marching method(FMM)을 이용해 시간 축 화소 정보와 공간 축 화소 정보를 이용하여 배경을 생성하는 방법을 제안한다. mean-shift를 이용해 시간 축에 따른 화소 값의 최빈값을 추정하여 배경을 생성하고, FMM을 이용해공간 축에 따른 화소 정보를 이용하여 일정 기간 동안 움직이지 않은 물체가 있는 환경에서 바람직한 배경을 생성한다. 실험 결과는 제안한 방법이 기존의 시간에 따른 빈도만을 이용하는 방법보다 더 효율적임을 보여준다.

Spatial-temporal texture features for 3D human activity recognition using laser-based RGB-D videos

  • Ming, Yue;Wang, Guangchao;Hong, Xiaopeng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권3호
    • /
    • pp.1595-1613
    • /
    • 2017
  • The IR camera and laser-based IR projector provide an effective solution for real-time collection of moving targets in RGB-D videos. Different from the traditional RGB videos, the captured depth videos are not affected by the illumination variation. In this paper, we propose a novel feature extraction framework to describe human activities based on the above optical video capturing method, namely spatial-temporal texture features for 3D human activity recognition. Spatial-temporal texture feature with depth information is insensitive to illumination and occlusions, and efficient for fine-motion description. The framework of our proposed algorithm begins with video acquisition based on laser projection, video preprocessing with visual background extraction and obtains spatial-temporal key images. Then, the texture features encoded from key images are used to generate discriminative features for human activity information. The experimental results based on the different databases and practical scenarios demonstrate the effectiveness of our proposed algorithm for the large-scale data sets.

고정 카메라에서의 시공간적 경계 정보를 이용한 이동 객체 윤곽선 검출 방법 (Moving Object Contour Detection Using Spatio-Temporal Edge with a Fixed Camera)

  • 곽재호;김회율
    • 방송공학회논문지
    • /
    • 제15권4호
    • /
    • pp.474-486
    • /
    • 2010
  • 본 논문에서는 시간적, 공간적 경계 정보를 이용한 이동 객체의 윤곽선 검출 방법을 제안한다. 일반적으로 이동 객체의 경우 객체의 윤곽선(contour)을 구성하는 경계(edge) 픽셀에서 시간 축과 공간 축을 중심으로 큰 변화량(gradient)을 가진다. 따라서 시간 축과 공간 축을 중심으로 변화량이 큰 경계 픽셀을 구하면 이동 객체의 윤곽선을 검출할 수 있다. 본 논문에서는 임의의 픽셀에 대하여 시간 축을 중심으로 한 경계 정보를 구하기 위해 Temporal Edge라는 새로운 형태의 변화량 계산 방법을 제안한다. Temporal Edge는 시간 t와, t-2에서 입력된 두 그레이 스케일 영상의 차를 시간 축을 기준으로 x방향, y방향으로 Sobel Mask를 적용하여 구한다. 검출된 Temporal Edge를 이용하여 이동 객체의 윤곽선이 존재하는 후보 영역을 검출하고, 검출된 후보 영역을 중심으로 공간적 경계 정보를 구하여 이동 객체의 대강의 윤곽선을 검출 한다. 후처리 과정에서 검출된 대강의 윤곽선으로부터 배경 경계와 노이즈 픽셀을 제거한 후 최종적으로 이동 객체의 윤곽선을 검출한다. 제안한 방법은 기존의 배경 차 방법과는 다르게 별도의 배경 영상을 만들지 않기 때문에 배경 차 방법이 가지는 문제점을 극복하였으며, 빠른 연산 속도로 실시간 적용이 가능하다. 실험을 통하여 야간에도 강인한 윤곽선을 검출할 수 있음을 확인하였고, 엔트로피 방법과의 비교를 통해 제안하는 방법의 우수성을 보였다.

유전자 알고리즘 기반의 비지도 객체 분할 방법 (Unsupervised Segmentation of Objects using Genetic Algorithms)

  • 김은이;박세현
    • 전자공학회논문지CI
    • /
    • 제41권4호
    • /
    • pp.9-21
    • /
    • 2004
  • 본 논문은 동영상내의 객체를 자동으로 추출하고 추적할 수 있는 유전자 알고리즘 기반의 분할 방법을 제안한다. 제안된 방법은 시간 분할과 공간 분할로 이루어진다. 공간 분할은 각 프레임을 정확한 경계를 가진 영역으로 나누고 시간 분할은 각 프레임을 전경 영역과 배경 영역으로 나눈다. 공간 분할은 분산 유전자 알고리즘을 이용하여 수행된다. 그러나, 일반적인 유전자 알고리즘과는 달리, 염색체는 이전 프레임의 분할 결과로부터 초기화되고, 동적인 객체 부분에 대응하는 불안정 염색체만이 진화연산자에 의해 진화된다. 시간 분할은 두 개의 연속적인 프레임의 밝기 차이에 기반을 둔 적응적 임계치 방법에 의해 수행한다. 얻어진 공간과 시간 분할 결과의 결합을 통해서 객체를 추출하고, 이 객체들은 natural correspondence에 의해 전체 동영상을 통해 정확히 추적된다. 제안된 방법은 다음의 두 가지 장점을 가진다. 1) 제안된 비디오 분할 방법은 사전 정보를 필요로 하지 않는 자동 동영상 분할 방법이다. 2) 제안된 공간 분할방법은 기존의 유전자 알고리즘보다 해공간의 효율적인 탐색을 제공할 수 있을 뿐만 아니라, 정확한 객체 추적 메커니즘을 포함하고 있는 새로운 진화 알고리즘이다. 이러한 장점들은 제안된 방법이 잘 알려진 동영상과 실제 동영상에 성공적으로 적용됨을 통해 검증된다.

A Knowledge Representation Scheme Formalizing Spatio-Temporal Aspects of Dynamic Situations in Virtual Environments

  • Gebre, Haymanot Alalo;Choi, Jun Seong;Park, Jong Hee
    • International Journal of Contents
    • /
    • 제11권1호
    • /
    • pp.21-30
    • /
    • 2015
  • A simulated realistic virtual environment is inhabited by autonomous cyber-humans who play the roles of agents in events. A key element, which enables this realism, is the historical context formed by time and space. A knowledge-representation scheme, composed of both spatial and temporal aspects needed by the agent to respond to dynamically changing situations, is essential for the design of a realistic virtual agent. In this work, spatial and temporal aspects of dynamic situations in the virtual environment have been formalized as a key component of our knowledge-representation scheme. This scheme provides a mathematical framework to construct realistic virtual situations that change with time, and background knowledge for agents in the simulated environment to deduce new pieces of information and plan against changing situations.

3차원 양방향 필터를 이용한 소형 표적 검출 (Small Target Detection Using 3-dimensional Bilateral Filter)

  • 배태욱
    • 한국멀티미디어학회논문지
    • /
    • 제16권6호
    • /
    • pp.746-755
    • /
    • 2013
  • 본 논문은 적외선 영상 시퀀스에서 2차원 양방향 필터 (bilateral filter)를 이용하여 표적의 공간적 정보를 추출하고, 시퀀스의 시간적 프로파일에서는 1차원 양방향 필터를 이용하여 표적의 시간적 정보를 추출하여 표적의 궤적을 검출하는 3차원 양방향 필터를 제안하였다. 평탄 배경 및 표적 영역, 에지 영역을 구별하기 위하여 2차원 영상에서는 공간적 분산값을 이용하며, 배경 프로파일 및 표적 프로파일, 에지 프로파일을 구별하기 위하여 화소의 시간적 프로파일에서는 시간적 분산값을 이용하였다. 이를 통하여 공간적으로는 표적이 없는 배경을 예측하고, 시간적으로는 표적이 없는 배경 프로파일을 생성한다. 최종적으로 공간적으로 예측된 배경 및 시간적으로 예측된 배경 프로파일을 이용하여 표적의 궤적을 추출한다. 기존 방법과 제안한 방법의 성능 비교를 위하여, ROC (receiver operating characteristics) 곡선을 실험에서 사용하였다. 실험결과에서 제안된 방법이 기존방법들보다 오경보율 (false alarm rate)이 낮고, 표적 및 배경에 대한 향상된 식별력을 가졌음을 확인하였다.

MRF 프레임워크 기반 비모수적 배경 생성 (Non-parametric Background Generation based on MRF Framework)

  • 조상현;강행봉
    • 정보처리학회논문지B
    • /
    • 제17B권6호
    • /
    • pp.405-412
    • /
    • 2010
  • 기존의 배경 생성방법은 주로 시간에 따른 context만을 이용해 복잡한 환경에서는 적용하기 힘들다. 이러한 단점을 해결하기 위해, 본 논문에서는 움직이는 물체를 포함하지 않는 배경 영상을 생성하기 위해 시간에 따른 context와 공간에 따른 context를 융합한 새로운 배경 생성 방법을 제안한다. 제안한 방법은 먼저 샘플링된 프레임 이미지를 m*n의 블록으로 나누고 각각의 블록을 고정 블록과 비고정 블록으로 나눈다. 비고정 블록에 대해서, 각 블록의 시간적 context와 공간적 context를 모델링하기 위해 MRF 프레임워크를 이용한다. MRF 프레임워크는 영상 픽셀과 연관된 특징과 같은 context에 독립된 entity를 모델링하는데 많이 이용되는 방법으로 본 논문에서는 비고정 블록에 대한 시간적 context와 공간적 context를 모델링하기 위해 이용된다. 실험결과는 제안한 방법이 기존의 시간에 따른 context만을 이용했을 경우보다 더 효율적임을 보여준다.

Spatial and Temporal Analyses of Cervical Cancer Patients in Upper Northern Thailand

  • Thongsak, Natthapat;Chitapanarux, Imjai;Suprasert, Prapaporn;Prasitwattanaseree, Sukon;Bunyatisai, Walaithip;Sripan, Patumrat;Traisathit, Patrinee
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제17권11호
    • /
    • pp.5011-5017
    • /
    • 2016
  • Background: Cervical cancer is a major public health problem worldwide. There have been several studies indicating that risk is associated with geographic location and that the incidence of cervical cancer has changed over time. In Thailand, incidence rates have also been found to be different in each region. Methods: Participants were women living or having lived in upper Northern Thailand and subjected to cervical screening at Maharaj Nakorn Chiang Mai Hospital between January 2010 and December 2014. Generalized additive models with Loess smooth curve fitting were applied to estimate the risk of cervical cancer. For the spatial analysis, Google Maps were employed to find the geographical locations of the participants' addresses. The Quantum Geographic Information System was used to make a map of cervical cancer risk. Two univariate smooths: x equal to the residency duration was used in the temporal analysis of residency duration, and x equal to the calendar year that participants moved to upper Northern Thailand or birth year for participants already living there, were used in the temporal analysis of the earliest year. The spatial-temporal analysis was conducted in the same way as the spatial analysis except that the data were split into overlapping calendar years. Results: In the spatial analysis, the risk of cervical cancer was shown to be highest in the Eastern sector of upper Northern Thailand (p-value <0.001). In the temporal analysis of residency duration, the risk was shown to be steadily increasing (p-value =0.008), and in the temporal analysis of the earliest year, the risk was observed to be steadily decreasing (p-value=0.016). In the spatial-temporal analysis, the risk was stably higher in Chiang Rai and Nan provinces compared to Chiang Mai province. According to the display movement over time, the odds of developing cervical cancer declined in all provinces. Conclusions: The risk of cervical cancer has decreased over time but, in some areas, there is a higher risk than in the major province of Chiang Mai. Therefore, we should promote cervical cancer screening coverage in all areas, especially where access is difficult and/or to women of lower socioeconomic status.