• Journal of Ecology and Environment
• /
• v.42 no.2
• /
• pp.85-89
• /
• 2018

Observations and video documentation of interactions between animals living in dens, cavities, and other enclosed spaces are difficult, but they play an important role in field biology, ecology, and conservation. For example, bird parents visiting nests and feeding their nestlings may provide crucial information for testing of ecological hypotheses and may easily attract attention of participants of citizen-science ecological and conservation projects. Because of the nest concealment of cavity-nesting birds, their behaviors in the nest can only be studied by using video surveillance. Professional wildlife surveillance systems are extremely expensive. Here, we describe an inexpensive video setup that can be constructed with relatively little effort and is more affordable than any previously described system. We anticipate that the relatively low cost of about 250 USD for a battery-operated system is an important feature for citizen-science type of projects and for applications in heavily populated areas where the potential for theft and vandalism may be high. Based on our experiences, we provide methodological advice on practical aspects of using this system in the field for ecological research on birds. We highlight the low cost, easiness of construction, and potential availability to a large number of observers taking part in wildlife monitoring projects, and we offer technical help to participants of such research projects.

• The Journal of the Acoustical Society of Korea
• /
• v.28 no.5
• /
• pp.441-446
• /
• 2009

This paper proposes an automatic indexing algorithm of golf video using audio information. In the proposed algorithm, the input audio stream is demultiplexed into the stream of video and audio. By means of Adaboost-cascade classifier, the continuous audio stream is classified into announcer's speech segment recorded in studio, music segment accompanied with players' names on TV screen, reaction segment of audience according to the play, reporter's speech segment with field background, filed noise segment like wind or waves. And golf swing sound including drive shot, iron shot, and putting shot is detected by the method of impulse onset detection and modulation spectrum verification. The detected swing and applause are used effectively to index action or highlight unit. Compared with video based semantic analysis, main advantage of the proposed system is its small computation requirement so that it facilitates to apply the technology to embedded consumer electronic devices for fast browsing.

• Journal of Information Processing Systems
• /
• v.17 no.4
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• Journal of Fashion Business
• /
• v.24 no.1
• /
• pp.75-87
• /
• 2020

The purpose of this study is to find trends in new media fashion content by analyzing the fashion content of the official Instagram accounts of domestic fashion magazines that are being transformed by digital media. The framework for these analysis of fashion content type and methods of production is based on one used in an earlier research project. Empirical analysis is conducted on Vogue Korea's official Instagram accounts, using the highest number of major views as the secondary measure of interest. After screening for fashion content in posts on the Vogue Korea account for four months, 291 short video postings were extracted to analyze the number of views the postings received. The results were categorized as 'star', 'show/exhibition', 'product', 'shop', 'fashion film', 'designer', or 'event', included in the data are the number of postings by type and the number of views by post. Based on the characteristics of the creator and the editing, the posts were classified into 'professional production highlight', 'professional production private', 'UCC' or 'GIF' videos, the number of views per post were also collected. The research results show different levels of interest depending on the type of fashion content, and also on the way the videos were produced. The study also investigated how the combination of these two factors affects interest. When producing a new media fashion content, combining a 'star' type post with 'professional production private' video content was most popular. The selection of production method is therefore important even given the same type of content.

• Journal of Korea Multimedia Society
• /
• v.24 no.8
• /
• pp.1044-1058
• /
• 2021

Tempered electronic contents have multiplied in last few years, thanks to the emergence of sophisticated artificial intelligence(AI) algorithms. Deepfakes (fake footage, photos, speech, and videos) can be a frightening and destructive phenomenon that has the capacity to distort the facts and hamper reputation by presenting a fake reality. Evidence of ownership or authentication of digital material is crucial for combating the fabricated content influx we are facing today. Current solutions lack the capacity to track digital media's history and provenance. Due to the rise of misrepresentation created by technologies like deepfake, detection algorithms are required to verify the integrity of digital content. Many real-world scenarios have been claimed to benefit from blockchain's authentication capabilities. Despite the scattered efforts surrounding such remedies, relatively little research has been undertaken to discover where blockchain technology can be used to tackle the deepfake problem. Latest blockchain based innovations such as Smart Contract, Hyperledger fabric can play a vital role against the manipulation of digital content. The goal of this paper is to summarize and discuss the ongoing researches related to blockchain's capabilities to protect digital content authentication. We have also suggested a blockchain (smart contract) dependent framework that can keep the data integrity of original content and thus prevent deepfake. This study also aims at discussing how blockchain technology can be used more effectively in deepfake prevention as well as highlight the current state of deepfake video detection research, including the generating process, various detection algorithms, and existing benchmarks.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.247-250
• /
• 2009

VOD(Video On Demand) 서비스는 통 방 융합 환경에서의 킬러서비스로, 지상파 방송사에서는 인터넷을 통해 '다시 보기', 'TV VOD' 등의 서비스를 제공하고 있다. 이러한 기존의 방송 VOD 서비스는 콘텐트를 실제 재생하기 전에는 사용자가 원하는 장면을 찾기가 쉽지 않으며, 또한 콘텐트를 실제 재생하더라도 대사 내용이 텍스트로 제공되지 않으므로 청각 장애자의 경우 내용을 파악하기가 어렵다. 본 논문에서는 이와 같은 기존의 방송 VOD 서비스의 단점을 보완하기 위해 디지털 방송 프로그램으로부터 자막 데이터를 추출하고 이를 기반으로 방송 콘텐트의 구간 정보를 생성하기 위한 연구 내용과 이를 적용하여 웹사이트를 통해 제공되고 있는 '주요장면 보기' 서비스의 실 구축 사례를 소개한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.209-212
• /
• 2009

본 논문에서는 MDCT기반의 오디오 특징과 영상 특징을 이용하여 축구 동영상의 하이라이트를 효과적으로 요약하는 방식을 제안한다. 제안하는 방식에서는 입력되는 축구 동영상을 비디오 신호와 오디오 신호로 분리한 후에, 분리된 연속적인 오디오 신호를 압축영역의 MDCT계수를 통해 이벤트 사운드별로 분류하여 오디오 이벤트 후보구간을 추출한다. 입력된 비디오 신호에서는 장면 전환점을 추출하고 추출된 장면 전환점으로부터 페널티 영역을 검출한다. 검출된 오디오 이벤트 후보구간과 검출된 페널티 영역장면을 함께 결합하여 축구 동영상의 이벤트 장면을 검출한다. 검출된 페널티 영역 장면을 통해 검출된 이벤트 구간을 다른 이벤트 구간보다 더 높은 우선순위를 갖는 하이라이트로 선정하여 요약본이 생성된다. 생성된 하이라이트 요약본의 평가는 precision과 recall을 통해 정확도를 평가하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.637-640
• /
• 2004

논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10a
• /
• pp.817-820
• /
• 2001

비디오 데이터에서 캡션은 비디오의 중요한 부분과 내용을 나타내는 가장 보편적인 방법이다. 본 논문에서는 축구 비디오에서 캡션이 갖는 특징을 분석하고 캡션에 의한 키 프레임을 추출하도록 하며, 하이라이트 생성 규칙에 따라 하이라이트를 생성하도록 한다. 키 프레임 추출은 이벤트 발생에 따른 캡션의 등장과 캡션 내용의 변화를 추출하는 것으로 탬플리트 매칭과 지역적 차영상을 통하여 추출하며 샷을 재설정 하여 중요 이벤트를 포함한 하이라이트를 생성하도록 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.314-317
• /
• 2021

하이라이트 영상은 원본 영상의 중요한 장면들을 짧은 시간 안에 감상할 수 있게 도와준다. 특히나 경기 시간 긴 축구나 야구 그리고 e-스포츠의 시청자들에게 있어, 하이라이트 영상의 효용성은 더욱 증가한다. 하이라이트 영상 추출의 자동화로 방송사나 온라인 플랫폼은 비용 절감과 시간 절약의 이점을 얻을 수 있다. 따라서 본 논문에서는 스포츠 영상에서 자동으로 하이라이트 구간을 추출하는 모델을 제안한다. 제안하는 모델은 멀티 헤드 어텐션 매커니즘과 LSTM 네트워크의 결합으로 구성된다. 해당 매커니즘의 여러 헤드를 통해 어텐션을 다양한 관점에서 진행한다. 이로 인해 영상의 전체적인 맥락과 장면 간의 유기적 관계를 다양한 관점에서 파악할 수 있다. 또한 오디오와 이미지 정보를 함께 이용하여 모델을 학습한다. 학습한 모델의 평가는 e-스포츠 경기 영상을 이용하여 평가한다.