• Structural Engineering and Mechanics
• /
• 제31권3호
• /
• pp.333-347
• /
• 2009

Due to structural complicacy, structural health monitoring for civil engineering needs more accurate and effectual methods of damage identification. This study aims to import multi-source information fusion (MSIF) into structural damage diagnosis to improve the validity of damage detection. Firstly, the essential theory and applied mathematic methods of MSIF are introduced. And then, the structural damage identification method based on multi-mode information fusion is put forward. Later, on the basis of a numerical simulation of a concrete continuous box beam bridge, it is obviously indicated that the improved modal strain energy method based on multi-mode information fusion has nicer sensitivity to structural initial damage and favorable robusticity to noise. Compared with the classical modal strain energy method, this damage identification method needs much less modal information to detect structural initial damage. When the noise intensity is less than or equal to 10%, this method can identify structural initial damage well and truly. In a word, this structural damage identification method based on multi-mode information fusion has better effects of structural damage identification and good practicability to actual structures.

• Journal of Information Processing Systems
• /
• 제17권3호
• /
• pp.556-570
• /
• 2021

The existing video expression recognition methods mainly focus on the spatial feature extraction of video expression images, but tend to ignore the dynamic features of video sequences. To solve this problem, a multi-mode convolution neural network method is proposed to effectively improve the performance of facial expression recognition in video. Firstly, OpenFace 2.0 is used to detect face images in video, and two deep convolution neural networks are used to extract spatiotemporal expression features. Furthermore, spatial convolution neural network is used to extract the spatial information features of each static expression image, and the dynamic information feature is extracted from the optical flow information of multiple expression images based on temporal convolution neural network. Then, the spatiotemporal features learned by the two deep convolution neural networks are fused by multiplication. Finally, the fused features are input into support vector machine to realize the facial expression classification. Experimental results show that the recognition accuracy of the proposed method can reach 64.57% and 60.89%, respectively on RML and Baum-ls datasets. It is better than that of other contrast methods.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권6호
• /
• pp.2801-2816
• /
• 2016

Owing to their low scalability, weak support on big data, insufficient data collaborative analysis and inadequate situational awareness, the traditional methods fail to meet the needs of the security data analysis. This paper proposes visualization methods to fuse the multi-source security data and grasp the network situation. Firstly, data sources are classified at their collection positions, with the objects of security data taken from three different layers. Secondly, the Heatmap is adopted to show host status; the Treemap is used to visualize Netflow logs; and the radial Node-link diagram is employed to express IPS logs. Finally, the Labeled Treemap is invented to make a fusion at data-level and the Time-series features are extracted to fuse data at feature-level. The comparative analyses with the prize-winning works prove this method enjoying substantial advantages for network analysts to facilitate data feature fusion, better understand network security situation with a unified, convenient and accurate mode.

• International Journal of Control, Automation, and Systems
• /
• 제3권2호
• /
• pp.173-182
• /
• 2005

In this paper, a target tracking algorithm for tracking maneuvering vehicles is presented. The overall algorithm belongs to the category of an interacting multiple-model (IMM) algorithm used to detect multiple targets using fused information from multiple sensors. First, two kinematic models are derived: a constant velocity model for linear motions, and a constant-speed turn model for curvilinear motions. Fpr the constant-speed turn model, a nonlinear information filter is used in place of the extended Kalman filter. Being equivalent to the Kalman filter (KF) algebraically, the information filter is extended to N-sensor distributed dynamic systems. The model-matched filter used in multi-sensor environments takes the form of a federated nonlinear information filter. In multi-sensor environments, the information-based filter is easier to decentralize, initialize, and fuse than a KF-based filter. In this paper, the structural features and information sharing principle of the federated information filter are discussed. The performance of the suggested algorithm using a Monte Carlo simulation under the two patterns is evaluated.

• 한국군사과학기술학회지
• /
• 제15권5호
• /
• pp.557-564
• /
• 2012

This paper presents UGV localization using multi-sensor fusion based on federated filter in outdoor environments. The conventional GPS/INS integrated system does not guarantee the robustness of localization because GPS is vulnerable to external disturbances. In many environments, however, vision system is very efficient because there are many features compared to the open space and these features can provide much information for UGV localization. Thus, this paper uses the scene matching and pose estimation based vision navigation, magnetic compass and odometer to cope with the GPS-denied environments. NR-mode federated filter is used for system safety. The experiment results with a predefined path demonstrate enhancement of the robustness and accuracy of localization in outdoor environments.

• 전자공학회논문지CI
• /
• 제41권3호
• /
• pp.67-77
• /
• 2004

최근 잡음환경에서 신뢰도 높은 음성인식을 위해 음성정보와 영상정보를 융합하는 방법이 활발히 연구되고 있다. 본 논문에서는 이절적인 정보의 융합에 적합한 신경망 모델을 기반으로 음성, 영상 및 문맥 정보 등 다양한 정보를 융합하여 잡음 환경에서 고려단어를 인식하는 음성인식 기법에 대하여 기술한다. 음성과 영상 특징을 이용한 이중 모드 신경망 BMNN(BiModal Neural Network)을 제안한다. BMM은 4개 층으로 이루어진 다층퍼셉트론의 구조를 가지며 각 층은 입력 특징의 추상화 기능을 수행한다. BMNN에서는 제 3층이 잡음에 의한 음성 정보의 손실을 보상하기 위하여 음성과 영상 특징을 통합하는 기능을 수행한다. 또한, 잡음환경에서 음성 인식률을 향상시키기 위해 사용자가 말한 단어들의 순차 패턴을 나타내는 문맥정보를 이용한 후처리 방법을 제안한다. 잡음환경에서 BMNN은 단순히 음성만을 사용한 것 보다 높은 성능을 보임으로써 그 타당성을 확인할 수 있을 뿐 아니라, 특히 문맥을 이용한 후처리를 하였을 경우 잡음 환경에서 90%이상의 인식률을 달성하였다 본 연구는 잡음환경에서 강인한 음성인식을 위해 다양한 추가 정보를 사용함으로써 성능을 향상시킬 수 있음을 제시한다.

• Journal of Positioning, Navigation, and Timing
• /
• 제1권1호
• /
• pp.35-43
• /
• 2012

The UGV is one of the special field robot developed for mine detection, surveillance and transportation. To achieve successfully the missions of the UGV, the accurate and reliable navigation data should be provided. This paper presents design and implementation of multi-sensor-based open architecture integrated navigation for localization of UGV. The presented architecture hierarchically classifies the integrated system into four layers and data communications between layers are based on the distributed object oriented middleware. The navigation manager determines the navigation mode with the QoS information of each navigation sensor and the integrated filter performs the navigation mode-based data fusion in the filtering process. Also, all navigation variables including the filter parameters and QoS of navigation data can be modified in GUI and consequently, the user can operate the integrated navigation system more usefully. The conventional GPS/INS integrated system does not guarantee the long-term reliability of localization when GPS solution is not available by signal blockage and intentional jamming in outdoor environment. The presented integration algorithm, however, based on the adaptive federated filter structure with FDI algorithm can integrate effectively the output of multi-sensor such as 3D LADAR, vision, odometer, magnetic compass and zero velocity to enhance the accuracy of localization result in the case that GPS is unavailable. The field test was carried out with the UGV and the test results show that the presented integrated navigation system can provide more robust and accurate localization performance than the conventional GPS/INS integrated system in outdoor environments.

• 한국콘텐츠학회논문지
• /
• 제18권8호
• /
• pp.92-101
• /
• 2018

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

• 한국기계가공학회지
• /
• 제17권4호
• /
• pp.39-46
• /
• 2018

Two surfaces that have relative motion show different characteristics according to surface roughness or surface patterns in all lubrication areas. For two rough surfaces with mixed lubrication, this paper proposes a new approach that includes the contact characteristics of the surfaces and a probabilistic method for a numerical analysis of lubrication. As the contact area of the two surfaces changes according to the loading conditions, asperity contact is very important. An average flow model developed by Patir-Cheng is central to the study of lubrication for rough surfaces. This average flow model also refers to a multi-asperity contact model for deriving a modified Reynolds equation and calculating the lubricant characteristics of a bearing surface with random roughness during fluid flow. Based on the average flow model, this paper carried out a numerical analysis of lubrication using a contact model by considering a load change made by the actual contact of asperities between two surfaces. Lubrication properties show different characteristics according to the surface patterns. This study modeled various geometric surface patterns and calculated the characteristics of lubrication.

• 시큐리티연구
• /
• 제31호
• /
• pp.157-185
• /
• 2012

오늘날 사이버 공간의 도래와 일상화라는 증강 현실의 확대, 그리고 세계화로 인한 인간과 물품, 그리고 문화의 빠른 이동 등의 결과는 우리가 생산을 하고 경제활동을 하고 문화생활을 하는 일상의 혁명적인 변환뿐만 아니라 우리가 상대방을 공격하고 파괴하는 범죄나 전쟁 등의 폭력 사용에서의 혁명적인 변환을 가져왔다. 그리고 이러한 환경 조건의 변화는 개인적인 차원에서 지역적 차원, 그리고 국가적 차원과 지구적 차원에 걸쳐 다른 차원에서 각각 존재해 왔던 여러 다양한 차원의 안보 또는 치안의 위협들을 서로 결합시킴으로서 이러한 여러 다른 차원의 안보 또는 치안의 위협들을 다차원 안보위협의 총합이라는 형태로 오늘날 우리의 삶과 개개인의 안전과 국가적 단위에 심각한 위협이 되도록 조건지우고 있다. 이 논문은 이러한 다차원 안보위협의 총합이 서로 얽혀 있으며 각각의 개별 안보 위협들의 총합을 함께 바라보는 통합적 시각을 가질 때 문제의 근원적 실체를 제대로 이해할 수 있고 우리가 직면하고 있는 공포의 실체를 정확히 파악할 수 있음을 보여주고자 한다. 이 글에서 제시하는 개념인 융합안보라는 개념은 다차원 안보위협의 총합에 대한 통합적 네트워크적 응전의 방식을 개념적으로 제시한 것이다. 융합안보는 기존의 국가안보와 치안이라는 분절적 시각을 극복하고 국가안보와 치안을 통합적으로 인식하고 정보기관, 군, 경찰, 검찰, 소방, 민간 경비 등의 각 영역들의 경계를 넘어 통합적으로 접근함으로서 오늘날 다차원 안보위협이 던지고 있는 도전들에 대한 응전의 방식들을 만들어 가고자하는 개념적 노력이다. 그와 함께 이 논문은 융합안보와 관련하여 해외의 주요 국제기구와 국가들에서 시도되고 있는 통합적 네트워크적 대응 방안들에 대해서도 소개하고자 한다. 글쓴이는 지난 10년간 미국, 러시아, 이스라엘, 우즈베키스탄, 오스트리아, 캐나다, 멕시코, 독일 등지를 돌면서 관찰하였던 사항들과 여러 교육, 훈련과 세미나, 콘퍼런스, 그리고 개인적 접촉 등의 기회를 통해 가졌던 여러 관련 전문가들과의 인터뷰 등의 내용을 종합하여 유엔 등 국제기구와 세계의 여러 주요 국가들에서 시도되어오고 있는 오늘날의 보다 복잡한 안보위협들에 대한 융합적 대응방안들, 즉 기관의 네트워크적 협력, 데이터베이스의 구축 및 교류 등 을 소개할 것이다.