• 전자통신동향분석
• /
• 제35권3호
• /
• pp.20-33
• /
• 2020

Temporal action detection (TAD) in untrimmed videos is an important but a challenging problem in the field of computer vision and has gathered increasing interest recently. Although most studies on action in videos have addressed action recognition in trimmed videos, TAD methods are required to understand real-world untrimmed videos, including mostly background and some meaningful action instances belonging to multiple action classes. TAD is mainly composed of temporal action localization that generates temporal action proposals, such as single action and action recognition, which classifies action proposals into action classes. However, the task of generating temporal action proposals with accurate temporal boundaries is challenging in TAD. In this paper, we discuss TAD technologies that are considered high performance in terms of representative TAD studies based on deep learning. Further, we investigate evaluation methodologies for TAD, such as benchmark datasets and performance measures, and subsequently compare the performance of the discussed TAD models.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.145-149
• /
• 2024

최근 시간적 행동 검출 연구가 활발히 진행되고 있다. 시간적 행동 검출 연구의 한 분야인 오프라인 행동 검출은 온라인 행동 검출과 달리 비디오를 한번에 입력으로 받는다. 이를 통해 오프라인 행동 검출은 양방향 정보를 이용할 수 있으며 또한 이를 학습하기 위해 Bi-directional LSTM을 주로 사용한다. 본 논문에서는 기존 방법과 달리 완전지도 시간적 행동 검출에서 역재생 비디오를 생성하고 이를 통해 양뱡향 정보를 학습하는 방법을 제안한다. 구체적으로 역재생 비디오와 순재생 비디오를 함께 학습 데이터로 구성하는 방법과 각각 모델에 학습시킨 후 두 모델을 앙상블 모델로 구성하는 방법을 제안하였다. 제안하는 방법의 성능 평가를 위해 TALLFormer 모델을 이용하여 THUMOS-14 데이터셋에 대한 실험을 진행하였다. 역재생 및 순재생 비디오를 학습 데이터로 구성한 경우 기존 방법에 비해 5.1% 낮은 성능을, 모델 앙상블을 진행했을 경우 1.9% 우수한 성능을 보였다.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.199-203
• /
• 2024

본 논문에서는 단일 프레임 지도 시간적 행동 지역화에서 1D 합성곱 층의 커널 사이즈 변화를 제안한다. 본 논문에서는 두 개의 1D 합성곱 층의 커널 사이즈를 각각 3과 1을 사용하는 기존 방법을 기반으로, 각각의 1D 합성곱 층의 커널 사이즈를 변화시키는 방법을 제안하였다. 제안하는 방법의 효율성을 검증하기 위하여 THUMOS'14 데이터셋을 활용하여 비교실험을 수행하였다. 또한 성능 평가를 위해 전체 비디오에 대한 분류 정확도(Accuracy), mAP(mean Average Precision) 그리고 Average mAP를 성능 지표로 사용하였다. 본 논문의 실험 결과에 따르면 제안하는 방법이 기존 방법보다 더 정확한 mAP와 Average mAP를 제공할 수 있음을 관찰하였다. 또한 커널 사이즈를 7과 1로 변화시킨 방법이 전체 비디오에 대한 분류 정확도에서 8.0% 개선된 것을 확인할 수 있었다.

• 인지과학
• /
• 제27권4호
• /
• pp.573-597
• /
• 2016

최근 행위 개념의 신경적 표상에 대한 fMRI나 EEG 연구들은 행위 개념의 처리가 감각-운동 정보의 모사(simulation)를 불러일으킨다고 주장한다. 이와 아울러 행위동사나 행위 문장 이해가 현재 수행해야 하는 행위를 간섭하거나 촉진시킨다는 행동연구들도 존재한다. 그러나 행위 개념 처리와 현재 행동 수행간의 실시간 상호작용이 감각-운동정보의 모사를 매개로 하는지, 또 다른 기전에 바탕을 두는지 아직까지 분명하지 않다. 본 연구에서는 행위 언어 지각이 어떻게 현재 행위 수행에 영향을 주는지 그 기저에 있는 신경 메커니즘을 시공간적으로 탐색하고자 시간해상도가 높은 뇌파 측정과 다중전류원분석이라는 뇌파분석 기법을 사용하였다. 이를 위하여 실험참가자에게 단서 자극 색상에 따라 손으로 버튼 누르기 행동과 발로 페달 밟기 행동을 해야 하는 단서-운동반응 과제를 수행하도록 하였고, 단서가 제시되기 직전에 반응 행위자체를 기술하는 행위동사(즉, 눌러라, 밟아라, 멈춰라)를 청각적으로 제시하여 행위동사와 반응 행동 간의 의미 일치성에 따른 상호작용을 관찰하였다. 반응시간 분석 결과, 손으로 버튼을 누르는 반응행위와 발을 이용하여 페달을 밟는 반응행위 모두에서 행위동사와 반응행위가 일치하는 경우 촉진효과가 관찰되었고, 불일치에 따른 간섭효과는 손 행위에서 나타났다. 전류원 파형 분석결과, 행위동사와 반응행위간의 의미일치성 효과는 행위 동사 처리 기간에는 베르니케 영역, 운동단서 제시 시점에선 전대상회와 보조운동영역, 운동수행 시점에서는 보조운동영역과 일차운동피질에서 통계적으로 유의한 차이가 관찰되었다. 현재 결과로는 행위동사가 특정 운동피질을 활성화시켜 이를 매개로 현재 행위에 영향을 준다고 하기보다, 뒤따르는 행위를 예측하고 이를 준비하는 과정에 영향을 미쳐, 촉진/간섭효과를 가져오는 것으로 보인다. 마지막으로 본 연구가 가지는 행위 개념의 신경학적 표상에 대한 함의와 연구 방법론상 한계에 대해 논의하였다.