• Journal of Information Processing Systems
• /
• 제17권2호
• /
• pp.337-351
• /
• 2021

Automatically recognizing facial expressions in video sequences is a challenging task because there is little direct correlation between facial features and subjective emotions in video. To overcome the problem, a video facial expression recognition method using spatiotemporal recurrent neural network and feature fusion is proposed. Firstly, the video is preprocessed. Then, the double-layer cascade structure is used to detect a face in a video image. In addition, two deep convolutional neural networks are used to extract the time-domain and airspace facial features in the video. The spatial convolutional neural network is used to extract the spatial information features from each frame of the static expression images in the video. The temporal convolutional neural network is used to extract the dynamic information features from the optical flow information from multiple frames of expression images in the video. A multiplication fusion is performed with the spatiotemporal features learned by the two deep convolutional neural networks. Finally, the fused features are input to the support vector machine to realize the facial expression classification task. The experimental results on cNTERFACE, RML, and AFEW6.0 datasets show that the recognition rates obtained by the proposed method are as high as 88.67%, 70.32%, and 63.84%, respectively. Comparative experiments show that the proposed method obtains higher recognition accuracy than other recently reported methods.

• 전자공학회논문지
• /
• 제49권12호
• /
• pp.265-274
• /
• 2012

본 논문에서는 레이더와 비전센서 융합 기반의 움직임추정을 이용한 전방차량 검출 및 추적 방법을 제안한다. 제안하는 방법은 움직임추정을 통하여 레이더로 관측한 타겟의 부정확한 횡방향 위치를 보정할 뿐만 아니라 자차의 거동에 따른 자차-지면 간의 기하학적 관계 변화에 적응적으로 전방차량을 검출하고 추적한다. 또한 연산량 부담이 적은 특징점기반의 움직임추정 방법을 사용하여 차량을 검증하는 과정의 수행 횟수 감소를 도모하였다. 제안하는 움직임추정 방법으로 보정한 타겟이 기존의 방법에 비해 높은 시간적 일관성(temporal consistency)을 가지고 전방차량을 추적하는 것은 물론 다양한 도로환경에서 강건하게 전방차량을 검출하는 것을 실험을 통해 입증하였다.

• Nuclear Engineering and Technology
• /
• 제54권10호
• /
• pp.3717-3723
• /
• 2022

For the first time, two-dimensional temporal behavior of the edge localized mode (ELM) filament is measured in the edge tokamak plasma with a multi-channel electrical probe array (MCEP). MCEP, which has 16 floating probes (4 × 4), is mounted at the far scrape-off layer (SOL) region in the KSTAR. An electron temperature and an ion flux are measured by sideband method (SBM), which can achieve two-dimensional measurements with high time resolution. Furthermore, temporal evolutions of the electron temperature and the ion flux are obtained during the ELM occurrence. In the H-mode period, short spikes from ELM bursts are observed in measured plasma parameters, and the trend is similar to that of typical Hα signal. Interestingly, when blob-like ELM filaments crash the probe, the heat flux is significantly higher in a local region of the probe array. The results show that our probe array using the SBM can measure the ELM behavior and the plasma parameters without the effect of the stray current caused by the huge device. This study can provide valuable data needed to understand the interaction between the SOL plasma and the plasma facing components (PFCs).

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권6호
• /
• pp.1692-1705
• /
• 2024

In this paper, we present a method that integrates a Grammar Transducer as an external language model to enhance the accuracy of the pre-trained Korean End-to-end (E2E) Automatic Speech Recognition (ASR) model. The E2E ASR model utilizes the Connectionist Temporal Classification (CTC) loss function to derive hypothesis sentences from input audio. However, this method reveals a limitation inherent in the CTC approach, as it fails to capture language information from transcript data directly. To overcome this limitation, we propose a fusion approach that combines a clause-level n-gram language model, transformed into a Weighted Finite-State Transducer (WFST), with the E2E ASR model. This approach enhances the model's accuracy and allows for domain adaptation using just additional text data, avoiding the need for further intensive training of the extensive pre-trained ASR model. This is particularly advantageous for Korean, characterized as a low-resource language, which confronts a significant challenge due to limited resources of speech data and available ASR models. Initially, we validate the efficacy of training the n-gram model at the clause-level by contrasting its inference accuracy with that of the E2E ASR model when merged with language models trained on smaller lexical units. We then demonstrate that our approach achieves enhanced domain adaptation accuracy compared to Shallow Fusion, a previously devised method for merging an external language model with an E2E ASR model without necessitating additional training.

• Maxillofacial Plastic and Reconstructive Surgery
• /
• 제15권1호
• /
• pp.11-20
• /
• 1993

Bony ankylosis is an intraarticular condition where there is fusion of the bony surfaces of the joint : The condyle and the glenoid fossa. It occurs in both children and adults, unfortunately more frequently in the former, in whom early recognition and correction is particularly critical. Trauma is well proven to be the predominant cause of TMJ ankylosis. Infection, rheumatoid arthritis and neoplasm are another, significant cases of TMJ ankylosis. The necessity for using an interpositional material to prevent TMJ reankylosis has been widely discussed and many interpositional materials have been used, including temporal muscle and fascia, dermis, auricular cartilage, fascia lata, fat, Lyo-dura, Silastic and various metals. The temporal muscle and fascia have been widely used pedicled flap for head and neck reconstruction. The use of a temporal muscle and fascia for reconstruction of the TMJ, particularly in cases of ankylosis is a very reasonable option. Its principle advantages are its autogenous nature, resilience, and proximity to the joint, allowing for a pedicled transfer of vascularized tissue into the joint area. However, the viability of temporal muscle and fascia is a critical question. We treated 2 cases of TMJ ankylosis with temporal muscle and fascia transfer and one case with temporal fascia. We obtained satisfactory results as to functional aspects.

• 정보과학회 논문지
• /
• 제43권12호
• /
• pp.1365-1375
• /
• 2016

일상생활 환경 속에서 자율적으로 동작하는 서비스 로봇에게 가장 필수적인 능력 중 하나가 동적으로 변화하는 주변 환경에 대한 올바른 상황 인식과 이해 능력이다. 다양한 센서 데이터 스트림들로 부터 신속히 의사 결정에 필요한 고수준의 상황 지식을 생성해내기 위해서는, 멀티 모달 센서 데이터의 융합, 불확실성 처리, 기호 지식의 실체화, 시간 의존성과 가변성 처리, 실시간성을 만족할 수 있는 시-공간 추론 등 많은 문제들이 해결되어야 한다. 이와 같은 문제들을 고려하여, 본 논문에서는 지능형 서비스 로봇을 위한 효과적인 동적 상황 관리 및 시-공간 추론 방법을 제시한다. 본 논문에서는 상황 지식 관리와 추론의 효율성을 극대화하기 위해, 저수준의 상황 지식은 센서 및 인식 데이터가 입력될 때마다 실시간적으로 생성되지만, 반면에 고수준의 상황 지식은 의사 결정 모듈에서 요구가 있을 때만 후향 시-공간 추론을 통해 유도되도록 알고리즘을 설계하였다. Kinect 시각 센서 기반의 Turtlebot를 이용한 실험을 통해, 제안한 방법에 기초한 동적 상황 관리 및 추론 시스템의 높은 효율성을 확인할 수 있었다.

• 환경영향평가
• /
• 제27권3호
• /
• pp.279-290
• /
• 2018

도시화와 인간의 영향으로 도심 내 산림 임연부가 증가함에 따라 도시 산림 관리 측면에서 도시 산림 임연부의 현황 파악과 모니터링의 중요성이 대두되고 있다. 본 연구는 도시 산림 임연부의 현황파악을 위해 시간적 예측, 공간적 예측에서 정확도가 높은 FSDAF(Flexible Spatio-temporal DAta Fusion) 융합 영상 기법을 활용하여 도출한 $NDVI_{max}$ 영상을 사용하여 인접한 토지피복 유형에 따른 도시 산림 임연부의 식생 활력도 차이를 평가하는데 목적이 있다. 서울시 내 도시 산림 임연부를 대상으로 분석해 본 결과, 산림 내부로 갈수록 식생활력도가 증가하는 경향이 나타났다. 임연부에 인접한 4가지 토지피복 유형 중 도로가 산림 임연부에 미치는 영향이 가장 큰 것으로 나타났다. 특히, 도로로부터 산림 임연부의 30m까지 그 영향이 가장 두드러지게 나타났으며, 90m까지 영향을 미치는 것으로 나타났다. 본 연구의 결과는 도시 산림 모니터링 및 도시 산림 임연부 관리 측면에서 토지 피복 유형과 토지피복 변화가 인접한 산림에 미치는 영향을 평가하는데 활용 가능할 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3924-3940
• /
• 2020

Dynamic hand gesture recognition(d-HGR) plays an important role in human-computer interaction(HCI) system. With the growth of hand-pose estimation as well as 3D depth sensors, depth, and the hand-skeleton dataset is proposed to bring much research in depth and 3D hand skeleton approaches. However, it is still a challenging problem due to the low resolution, higher complexity, and self-occlusion. In this paper, we propose a hand-shape feature extraction(HSFE) network to produce robust hand-shapes. We build a hand-shape model, and hand-skeleton based on LSTM to exploit the temporal information from hand-shape and motion changes. Fusion between two models brings the best accuracy in dynamic hand gesture (DHG) dataset.

• 한국진공학회지
• /
• 제14권2호
• /
• pp.69-77
• /
• 2005

중성입자빔 가열장치의 이온원과 빔라인 부품들을 개발하고 시험하기 위해 제작한 부피 $60m^3$의 시험설비에는 특성 비교를 위해 몇 가지 다른 방식으로 제작된 대용량 크라이오 흡착펌프를 장착하여 사용하고 있다. 크라이오 펌프의 활성탄 패널을 냉각시키면서 수소를 적절한 간격으로 도입하여 수소 분압을 측정하고 그 시간적인 변화를 통해 온도에 따른 수소흡착과 방출특성을 분석해 보았으며 관련 파라미터 사이의 상호 영향에 대해 알아보기 위해 시뮬레이션을 수행했다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
• /
• pp.231-234
• /
• 2011

Audiovisual-based human emotion recognition can be considered a good approach for multimodal humancomputer interaction. However, the optimal multimodal information fusion remains challenges. In order to overcome the limitations and bring robustness to the interface, we propose a framework of automatic human emotion recognition system from speech and face display. In this paper, we develop a new approach for fusing information in model-level based on the relationship between speech and face expression to detect automatic temporal segments and perform multimodal information fusion.