• 음성과학
• /
• 제8권3호
• /
• pp.123-132
• /
• 2001

In recent years research on HCI technology has been very active and speech recognition is being used as its typical method. Its recognition, however, is deteriorated with the increase of surrounding noise. To solve this problem, studies concerning the multimodal HCI are being briskly made. This paper describes automated lipreading for bimodal speech recognition on the basis of image- and speech information. It employs audio-visual DB containing 1,074 words from 70 voice and tri-viseme as a recognition unit, and state tied HMM as a recognition model. Performance of automated recognition of 22 to 1,000 words are evaluated to achieve word recognition of 60.5% in terms of 22word recognizer.

• 한국진공학회:학술대회논문집
• /
• 한국진공학회 2015년도 제49회 하계 정기학술대회 초록집
• /
• pp.51.2-51.2
• /
• 2015

Understanding interfacial phenomena has been one of the main research issues not only in semiconductors but only in life sciences. I have been trying to meet the atomic scale surface and interface analysis challenges from semiconductor industries and furthermore to extend the application scope to biomedical areas. Optical imaing has been most widely and successfully used for biomedical imaging but complementary ion beam imaging techniques based on mass spectrometry and ion scattering can provide more detailed molecular specific and nanoscale information In this presentation, I will review the 27 years history of medium energy ion scattering (MEIS) development at KRISS and DGIST for nanoanalysis. A electrostatic MEIS system constructed at KRISS after the FOM, Netherland design had been successfully applied for the gate oxide analysis and quantitative surface analysis. Recenlty, we developed time-of-flight (TOF) MEIS system, for the first time in the world. With TOF-MEIS, we reported quantitative compositional profiling with single atomic layer resolution for 0.5~3 nm CdSe/ZnS conjugated QDs and ultra shallow junctions and FINFET's of As implanted Si. With this new TOF-MEIS nano analysis technique, details of nano-structured materials could be measured quantitatively. Progresses in TOF-MEIS analysis in various nano & bio technology will be discussed. For last 10 years, I have been trying to develop multimodal nanobio imaging techniques for cardiovascular and brain tissues. Firstly, in atherosclerotic plaque imaging, using, coherent anti-stokes raman scattering (CARS) and time-of-flight secondary ion mass spectrometry (TOF-SIMS) multimodal analysis showed that increased cholesterol palmitate may contribute to the formation of a necrotic core by increasing cell death. Secondly, surface plasmon resonance imaging ellipsometry (SPRIE) was developed for cell biointerface imaging of cell adhesion, migration, and infiltration dynamics for HUVEC, CASMC, and T cells. Thirdly, we developed an ambient mass spectrometric imaging system for live cells and tissues. Preliminary results on mouse brain hippocampus and hypotahlamus will be presented. In conclusions, multimodal optical and mass spectrometric imaging privides overall structural and morphological information with complementary molecular specific information, which can be a useful methodology for biomedical studies. Future challenges in optical and mass spectrometric imaging for new biomedical applications will be discussed.

• 한국해양학회지
• /
• 제28권2호
• /
• pp.114-120
• /
• 1993

입도분포의 특징분석에 종래의 조직특성치 대신 수치해석적인 분해법의 적용을 시 도하였다. 그 결과 이 방법이 제주해협의 대륙붕 표층퇴적물과 같은 복모드형 입 도분포의 분석에 매우 유용함이 입증 되었다. 복모드형 입도분포 퇴적물은 제주해협 대륙붕에서는 86%의 높은 비율을 점한다. 종래의 입도특성치(평균, 표준편차, 왜도, 첨도)는 복모드형 입도분포에 대해서는 왜곡된 값을 보인다. 따라서 입도분포의 모드 에 대체로 대응되는 정규성분으로 분해해서 각 정규성분의 특성치를 해석함으로써 입 도특성치에서와 같은 특징의 누락이나 왜곡을 피할 수 있다. 제주해협 대륙붕의 167개 퇴적물 입도분포곡선을 비선형 최소자승법을 사용하여 정규성분으로 분해해서 총 387 개의 정규성분을 얻었다. 정규성분의 평균은 1-3 phi 8-9 phi에 집중되는 것이 많다. 이중 조립질 정규성분의 평균치는 복잡하고 특징적인 지리적 분포를 보인다. 이러한 분포는 퇴적물 총층후 분포와 매우 유사하며 해저면의 지질과 지형을 면밀하게 반영하 고 있다. 해저면을 형성하는 퇴적층은 플라이스토세 후기의 해침성 모래층이며 해저지 형은 플라이스토세말 빙하기 저해수면시기의 침식에 의해 형성된 것으로 보인다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.45-57
• /
• 2018

주행 중에 발생하는 졸음은 큰 사고로 직결될 수 있는 매우 위험한 운전자 상태이다. 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 졸음 감지 방법들이 존재하지만 운전자들이 가지는 개개인의 특성을 모두 반영한 일반화 된 운전자 상태 인식에는 한계가 있다. 최근에는 운전자의 상태를 인식하기 위한 딥 러닝기반의 상태인식 연구들이 제안되었다. 딥 러닝은 인간이 아닌 기계가 특징을 추출하여 보다 일반화된 인식모델을 도출할 수 있는 장점이 있다. 본 연구에서는 운전자의 상태를 파악하기 위해 이미지와 PPG를 동시에 학습하여 기존 딥 러닝 방식보다 정확한 상태 인식 모델을 제안한다. 본 논문은 운전자의 이미지와 PPG 데이터가 졸음 감지에 어떤 영향을 미치는지, 함께 사용되었을 때 학습 모델의 성능을 향상시키는지 실험을 통해 확인하였다. 이미지만을 사용했을 때 보다 이미지와 PPG를 함께 사용하였을 때 3%내외의 정확도 향상을 확인했다. 또한, 운전자의 상태를 세 가지로 분류하는 멀티모달 딥 러닝 기반의 모델을 96%의 분류 정확도를 보였다.

• 접착 및 계면
• /
• 제21권4호
• /
• pp.162-167
• /
• 2020

피부 모사형 다기능 유연 센서는 인체 피부의 높은 자극 감지 성능과 기계적 안정성을 모사하고자 다학계적 접근을 통해 발전되어 왔다. 하지만, 실제 적용을 위해서는 일상생활 속에서 접하는 다양한 종류의 자극을 명확히 구분하고 각 자극의 세기를 정확히 감지하는 높은 수준의 자극 구별 능력이 필수적임에도 불구하고, 아직까지 낮은 수준의 자극 구별 능력을 보이는 실정이다. 본고에서는 기존 피부 모사형 유연 센서의 기본적인 작동 메커니즘과 대표적인 연구들을 간략히 소개하고, 최근 보고된 피부 모사형 다기능 유연 센서 관련 연구들의 연구 결과 및 자극 구별 능력에 대해 깊이 있게 다루고자 한다.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• 지능정보연구
• /
• 제20권1호
• /
• pp.1-14
• /
• 2014

최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.

• 생물정신의학
• /
• 제18권2호
• /
• pp.55-60
• /
• 2011

Neuroimaging studies in schizophrenia have remarkably increased and provided some clues to understand its pathophysiology. Here, we reviewed the neuroimaging, studies including volume analysis, functional magnetic resonance imaging (MRI) and diffusion tensor imaging, and findings in both early stage schizophrenia and high-risk group. The reviewed studies suggested that the brain with schizophrenia showed both regional deficits and dysconnectivity of neural circuit in the first episode, even high-risk group as well as chronic schizophrenia. Multimodal neuroimaging or combined approach with genetic, electro-or magneto-encephalographic data could provide promising results to understand schizophrenia in the near future.

• Physical Therapy Rehabilitation Science
• /
• 제7권4호
• /
• pp.197-203
• /
• 2018

Objective: Independent walking is the most essential prerequisite to maintain quality of life in older persons. The purpose of this review was to investigate the effect of fall prevention strategies on fall risk for type 2 diabetes mellitus (T2DM) within community-dwelling older adults aged 65 and over. Design: A systematic review and meta-analysis. Methods: PubMed and three other databases were searched up to October 31st, 2018 and randomized controlled trials (RCTs) evaluating fall prevention strategies for fall risk in persons who were 65 years of age or above with T2DM were included. The review extracted the following information from each study selected: first author's surname, published year, country, study population, type of intervention, intensity of intervention, comparison, measurement variables, additional therapy, summary of results, and mean and standard deviation from selected studies. Results: This review selected fourteen RCTs with 460 older adults with diabetes mellitus. Of the 14 studies, the types of intervention used to improve the risk of falls were strengthening (5), aerobic exercises (2), multimodal exercises (4), one virtual reality exercise (1), whole body vibration with balance exercise (1), and Tai Chi exercise (1). Seven RCTs were eligible for the meta-analysis. Therapeutic interventions were more effective than the control group for the Timed Up-and-Go test (-1.11; 95% CI, -1.82 to -0.41) and the 6-minute Walk Test (-1.89; 95% CI, -8.33 to 4.54). Conclusions: The results of the review suggest that interventions to prevent fall risk in older adults with T2DM should focus on strengthening, balance, aerobic, and multimodal exercises.

• Journal of information and communication convergence engineering
• /
• 제20권3호
• /
• pp.174-180
• /
• 2022

Emotion recognition is an essential component of complete interaction between human and machine. The issues related to emotion recognition are a result of the different types of emotions expressed in several forms such as visual, sound, and physiological signal. Recent advancements in the field show that combined modalities, such as visual, voice and electroencephalography signals, lead to better result compared to the use of single modalities separately. Previous studies have explored the use of multiple modalities for accurate predictions of emotion; however the number of studies regarding real-time implementation is limited because of the difficulty in simultaneously implementing multiple modalities of emotion recognition. In this study, we proposed an emotion recognition system for real-time emotion recognition implementation. Our model was built with a multithreading block that enables the implementation of each modality using separate threads for continuous synchronization. First, we separately achieved emotion recognition for each modality before enabling the use of the multithreaded system. To verify the correctness of the results, we compared the performance accuracy of unimodal and multimodal emotion recognitions in real-time. The experimental results showed real-time user emotion recognition of the proposed model. In addition, the effectiveness of the multimodalities for emotion recognition was observed. Our multimodal model was able to obtain an accuracy of 80.1% as compared to the unimodality, which obtained accuracies of 70.9, 54.3, and 63.1%.