• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.173-176
• /
• 2009

본 논문에서는 영상 정보와 오디오 정보 분석을 이용하여 TV 골프 방송 프로그램에서 중요 이벤트 구간을 검출하고 요약 하는 알고리즘을 제안한다. 제안하는 알고리즘에서는 입력되는 TV 골프 동영상을 영상 신호와 오디오 신호로 분리한 후에, 연속적인 오디오 스트림을 내용 기반의 오디오 구간으로 분류한 뒤 오디오 이벤트 구간을 검출하고, 이와 병렬적으로 영상정보에서 선수들의 플레이 장면을 검출한다. 플레이 장면 검출에 있어서는 방송 환경이나 날씨 등의 변화하는 다양한 조건에 대해 플레이 장면에 대한 오프라인 모델과 함께 경기 내에서 발생한 온라인 모델에 대한 학습을 혼합 적용함으로써 검출 성능을 높였다. 오디오 신호로부터 관중들의 박수소리와 스윙 사운드를 통해 검출된 오디오 이벤트와 플레이 장면은 이벤트 장면 검출 및 요약본 생성을 위해 사용된다. 제안된 알고리즘은 멀티 모달 정보를 이용하여 이벤트 구간 검출을 수행함으로써 중요 이벤트 구간 검출의 정확도를 높일 수 있었고, 검출된 이벤트 구간에 대한 요약본 생성을 통해 골프 경기를 시청하는 사용자가 원하는 부분을 빠르게 브라우징하여 시청하는 것이 가능하여 높은 사용자 만족도를 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 추계학술발표논문집 (하)
• /
• pp.891-894
• /
• 2000

본 논문에서는 효과적인 내용기반 비디오 검색을 위한 샷 경계 검출, 장면 경계 검출, 그리고 비디오 크래시피케이션 방법을 연구하였다. 먼저, 샷 경계 검출을 위해 칼라 히스토그램과 DCT 변환 계수를 통합하여 사용했다. 그리고 장면 경계 검출을 위해서는 영상 정보뿐만 아니라 오디오 정보를 함께 사용하여 장면 경계를 검출하였다. 또한 비디오 크래시피케이션에서는 장면 경계검출시 추출한 오디오 정보를 이용해 비디오를 내용별로 분류하는 연구를 제안하였다. 뉴스, 광고, 스포츠 등 다양한 3개 분야의 TV 프로그램으로 구성된 약 8,500개 영상 프레임과 약 50,000개의 오디오 프레임을 가진 실험 비디오 데이터베이스를 구성하여 제안된 시스템을 실험하였다. 실험한 결과, 약 88%의 정확도(Precision)를 가지는 장면 경계 검출과 약 85%의 평균 분류율을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권8호
• /
• pp.864-876
• /
• 2000

본 논문에서는 일반적인 영화를 인코딩한 MPEG 형식의 비디오 데이타에 대해 장면과 장면 사이의 경계점에서 나타나는 여러 오디오 특성을 이용하는 새로운 장면 경계 검출 방법을 제안하고 실험을 통해서 그 유용성을 보인다. 일반적인 영상에서 장면 경계 지점에서는 영상의 내용이 크게 바뀜에 따라 오디오 정보도 같이 변화한다는 특성이 있으며, 본 논문에서는 이러한 장면경계에서의 오디오 정보 변화를 각각 급진변화(Radical Change), 점진변화(Gradual Change), 미세변화(Micro Change)로 분류하였으며, 각 변화의 특성을 분석하고 이를 검출하는 알고리즘을 제안하였다. 급진변화는 장면과 장면의 경계점에서 오디오가 음량의 급격한 증감이 발생하고 음색 또한 급격히 달라지는 형태를 취하고 있으며, 점진변화는 긴 시간에 걸쳐서 음량 및 음색이 달라지는 형태를, 미세변화는 음량의 변화없이 일부 음색과 주파수 분포가 달라지는 특성을 가지고 있다. 본 논문에서는 이러한 특성을 토대로 시간축을 따라 진행하는 윈도우를 설정하여 이 윈도우 내에서의 오디오 변화를 추적함으로써 위의 세 가지 형태의 장면 경계를 추출하는 방법을 제안한다. 다양한 영화를 통한 실험에서 실제 샘플로 사용된 영화들에서 가장 많은 부분을 차지하는 급진변화에 대하여 본 논문에서 제안한 방법이 높은 검출율을 얻을 수 있음을 알 수 있었다. 본 논문에서 제안한 오디오 정보를 이용한 장면 경계 검출 방법은 비디오 정보를 이용한 장면 경계 검출과 같이 병행하여 사용함으로써 MPEG 형식의 영상정보에 대한 데이타 베이스 구축에 유용하게 사용될수 있을 것이다.관 주위에 많았다.findings suggest that compounds 6 and 11 are modulating various elements of the host immune response.%로서, carbofuran 단독투여와 carbofuran과 PB 또는 3-MC 투여사이에 대사산물의 종류는 같았으나 생성율에는 큰 차이가 있었다. 이와 같은 결과는 쥐에 carbofuran 투여 후 PB나 3-MC를 투여함으로써 carbofuran의 대사가 빠르게 이루어지고, 주 대사산물 중3-hydroxycarbofuran보다 독성 이 낮은 3-ketocarbofuran으로의 대사가 빠르게 이루어지기 때문에 carbofuran의 독성이 경감되어 쥐가 생존할 수 있는 것으로 판단된다.시장젓갈${\lrcorner}$에는 글루타민산, leucine, alanine, lysine의 4종류, ${\ulcorner}$반찬젓갈${\lrcorner}$에는 글루타민산, leucine, alanine의 3종류, ${\ulcorner}$일본병조림젓갈${\lrcorner}$은 글루타민산이 현저하게 많다.회하였다.ollowed fro all Sullungtang samples from Hanwoo. The results showed that the overall quality of Sullungtang significantly decreased as the parity increased for Hanwoo cows. The Sullungtang

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2009년도 추계학술대회
• /
• pp.133-136
• /
• 2009

본 논문에서는 야구 동영상에서 실시간으로 중요 이벤트 장면을 검출하는 알고리즘을 제안한다. 제안하는 알고리즘은 영상정보를 분석하여 Pitching 신과 Close Up 신을 추출하여 Play 구간을 검출하고, 오디오 정보를 분석하여 오디오 이벤트 구간을 검출한다. Play 구간의시작인 Pitching 신을 검출하기 위해서는 오프라인 모델과 온라인 모델을 혼용하여 다양한 환경에 상관없이 높은 성능을 보일 수 있도록 하였으며, 아나운서의 억양 및 관중의 함성의 고조도가 높아지는 구간을 기반으로 검출된 오디오 이벤트 구간을 영상 정보 분석을 통해 획득된 Play 장면구간을 결합하여 중요 이벤트 장면 검출의 정확도를 높일 수 있도록 하였다. 실험에 의하면 제안하는 알고리즘은 1초의 동영상 데이터를 처리하는데 0.024초의 소요 시간이 필요하고, 0.89의 Recall과 0.975의 Precision 검출 성능을 보임을 알 수 있었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 제13회 신호처리 합동 학술대회 논문집
• /
• pp.759-762
• /
• 2000

멀티미디어 정보의 보다 효율적인 검색을 위해서는 비디오 요약정보의 생성 및 색인 작업이 필요하며, 이러한 요약정보를 만들기 위해서는 많은 시간과 비용이 소요된다. 스포츠 비디오 프로그램의 요약정보를 만들 때 오디오 신호를 이용하여 주요 장면을 검출할 경우 이러한 시간과 비용을 줄일 수 있다. 본 연구에서는 축구경기 비디오에서 주요장면을 나타내는 핵심 사운드로 주심의 호르라기 소리 및 아나운서의 "슛" 음성을 정의하고 이를 오디오 신호에서 검출하는 방법에 대해 연구하였다.

• 방송공학회논문지
• /
• 제12권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 뉴스 동영상 정보의 생성을 위해 뉴스 단위의 기준이 되는 앵커 장면을 효과적으로 검출하는 기법을 제안한다. 우선 뉴스 동영상의 오디오 및 비디오 구성 요소에 대한 관찰을 통하여 앵커 장면 검출에 적합한 기본적인 특징들을 선택하였다. 제안 알고리듬에서는 색인의 정확도를 높이기 위해 몇몇 오디오 특징과 함께 비디오 특징으로서 움직임 특징을 함께 이용하였으며, 전체적인 구조는 '오디오 정지 구간 검출', '오디오 클러스터 분류', 그리고 '움직임 활동도와의 매칭'의 3단계로 구성된다. MPEG-2 방식으로 부호화된 뉴스 동영상에 대한 실험을 통해 제안 알고리듬의 성능이 만족스러움을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.202-203
• /
• 2011

본 논문에서는 인터액티브 스마트 TV 적용을 위한 사운드트랙 검색 시스템을 제안한다. 제안하는 시스템은 동영상을 오디오와 비디오특징을 구분한 후, 각 오디오와 비디오 신호를 분석한다. 비디오 신호의 분석은 MPEG-2 비디오 인코더로부터 영상의 장면전환과 시작과 끝 위치를 검출하고, 오디오 신호의 분석은 AC-3 오디오 인코더로부터 오디오 특징을 추출한 후, 오디오 정보의 비트 벡터를 추출하여 데이터베이스를 생성한다. 생성된 데이터베이스와 사용자가 북마크를 하여 요청한 쿼리와 비교를 통하여 오디오 특징정보가 유사한 부분의 장면을 검색하고, 검색된 장면을 사용자에게 제공한다. 제안된 시스템의 성능 측정을 위해서 뉴스, 패널토론, 음악방송, 광고, 드라마 등 50개 TV 방송 프로그램의 데이터베이스를 이용해서 정확성을 측정하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.215-217
• /
• 2008

동영상 내용검색을 위해서 가장 많이 사용되고 있는 기술은 컷 추출에 의한 내용비교 방법이다. 그러나 컷 추출을 위해 사용되는 CHD(Color Histogram Difference)나 ECR(Edge Change Ratio)등은 영상물의 Cropping, Resizing Low bit rate등의 변화에 대해 대단히 취약하다. 본 방법은 이러한 변형에 강인하도록 상대적으로 변형이 적은 오디오정보를 이용하여 Indexing과 Searching을 수행하였다. 특히 변형에 강인한 Searching을 위해 오디오의 장면(Scene)을 검출하였고 장면을 중심으로 Time-frequency domain에서 각각의 Frequency bin. 에 대한 스펙트럴 파워를 파워임계값을 중심으로 이진화(Binary)하였다. 제안된 방법으로 Cropping, clipping, Lowbit rate, Additive Frame 등의 변형본에 대한 검색을 시도한 결과 False posit ive Error 와 True Negative Error 에 대해 각각 1%미만의 오탐지 결과를 얻었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
• /
• pp.470-472
• /
• 2000

본 논문에서는 영상 정보뿐만 아니라 오디오 정보를 함께 사용한 비디오 세그멘테이션에 대해 연구하였다. 대용량의 정보를 가지고 있는 비디오에 대하여 장면 경계 검출(Scene Break Detection)을 할 경우, 카메라 팬이나 장면 내에 여려 가지 다른 샷(Shot)으로 인하여 영상 정보만으로는 효과적인 검출이 어렵다. 이러한 문제를 해결하기 위해 비디오 내의 오디오 정보도 함께 사용함으로써 문제를 개선했다. 뉴스, 광고, 스포츠 등 다양한 3개 분야의 TV 프로그램으로 구성된 약 4,000개 영상 프레임과 약 30,000개의 오디오 프레임으로 구성된 비디오 데이터베이스에 대하여 실험한 결과, 영상 정보만 사용한 경우보다 우수한 성능을 확인하였다. 영상 정보 특징값으로는 칼라 히스토그램과 DC계수를 사용했고, 오디오 특징값으로는 SR(Silence ratio), VSTD(Volume standard deviation), NPR(Non pitch ratio)을 사용했다.