• Journal of the Korean Society of Hazard Mitigation
• /
• v.9 no.5
• /
• pp.9-13
• /
• 2009

Modal parameters including resonant frequencies and mode shapes are heavily utililized in most damage identification throries for structural health monitoring. However, extracting modal parameters from dynamic responses needs postprocessing which inevitably involves errors in curve-fitting resonants as well as transforming the domain of responses. In this paper, the applicability of a damage identification method based on free vibration responses to the in-sevice responses is experimentally verified. The experiment is performed via applying periodic and nonperiodic moving loads to a simply supported beam and displacement responses are measured. The moving load is simulated using steel balls and a downhill device. The damage identification results show that the in-service response may be applicable to identifying damage in the beam.

• Proceedings of the Korea Society for Simulation Conference
• /
• 2004.05a
• /
• pp.118-122
• /
• 2004

본 논문에서는 인체의 머리 부분을 촬영한 의료 영상에서 뇌 영역만을 분할하는 방법에 대해 제시하고자 한다. 뇌의 해부학적 구조 및 기능적 이상 부위를 파악할 경우에 영상 내에 함께 보여지는 두개골과 뇌척수액 등을 제외한 대뇌피질 영역을 분할하면 보다 효과적인 정보 분석 및 진단이 가능하게 된다. 본 시스템에서는 3단계 알고리즘을 제시한다. 첫 번째 단계에서는 영상 내에 존재하는 잡음을 제거하기 위한 필터링이고, 두 번째 단계에서는 필터링된 결과에 대한 영상분할을 수행하는 것이다 이 때 정확한 결과 도출을 위하여 사용자의 인터렉션이 들어가게 된다. 세번째 단계에서는 형태학적 방법을 이용하여 분할 결과를 보완한다. 본 연구를 위한 실험에는 자기 공명 촬영 영상(MRI: Magnetic Resonance Imaging), 단일 광전자 방출 단층 촬영영상(SPECT: Single Photon Emission Computed Tomography), 양전자 방출 단층 촬영영상(PET: Positron Emission Tomography) 등을 사용하였다. 본 시스템에서는 다양한 모달리티의 뇌 영상에서 대뇌피질 부분을 정확하게 영상 분할함으로써 뇌의 구조적 이상을 판단하기 위한 해부학적 정보 분석을 가능케 하고 있다. 뿐만 아니라 뇌 질환에 대한 정확한 진단 시뮬레이션도 가능하게 하고자 한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.11a
• /
• pp.310-313
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적으로 얼굴 영역과 입술 영역을 추출하고 오프라인이 아닌 실시간으로 입력된 입술 영상의 인식을 처리하여 립리딩의 사용도를 높이는 것이다. 본 논문에서는 사용자가 쉽게 사용할 수 있는 PC카메라를 사용하여 영상을 입력받아 학습과 인식을 실시간으로 처리하는 립리딩 시스템을 구현하였다. 본 논문에서는 움직임이 있는 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI모델을 이용하였다. 입력 영상에서 일정한 크기의 영역에 대한 색도 히스토그램 모델을 만들어 색도 영상에 적용함으로써 얼굴영역의 확률 분포를 구하였고, Mean-Shift Algorithm을 이용하여 얼굴영역의 검출과 추적을 하였다. 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였고, HMM 기반 패턴 인식을 사용하여 실시간으로 실험영상데이터에 대한 학습과 인식을 수행할 수 있었다.

• Journal of the Korea Society of Computer and Information
• /
• v.10 no.5 s.37
• /
• pp.353-362
• /
• 2005

Recently, study of Bimodal recognition has become very active. In this paper we propose a Bimodal user recognition system that uses face information and audio information. Face recognition consists of face detection step and face recognition step. Face detection uses AdaBoost to find face candidate area. After finding face candidates, PCA feature extraction is applied to decrease the dimension of feature vector. And then, SVM classifiers are used to detect and recognize face. Audio recognition uses MFCC for audio feature extraction and HMM is used for audio recognition. Experimental results show that the Bimodal recognition can improve the user recognition rate much more than audio only recognition, especially in the Presence of noise.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.84-86
• /
• 2018

요즘 자율주행과 같은 최신 기술의 발전과 더불어 촬영된 영상 장면에 대한 깊이있는 이해가 필요하게 되었다. 특히, 기계학습 기술이 발전하면서 카메라로 찍은 영상에 대한 의미론적 분할 기술에 대한 연구도 활발히 진행되고 있다. FuseNet은 인코더-디코더 구조를 이용하여 장면 내에 있는 객체에 대한 의미론적 분할 기술을 적용할 수 있는 신경망 모델이다. FuseNet은 오직 RGB 입력을 받는 기존의 FCN보다 깊이정보까지 활용하여 RGB 정보를 기반으로 추출한 특징지도와의 요소합 연산을 통해 멀티 모달 구조를 구현했다. 의미론적 분할 연구에서는 객체의 전역 컨텍스트가 고려되는 것이 중요한데, 이를 위해 여러 계층을 깊게 쌓으면 연산량이 많아지는 단점이 있다. 이를 극복하기 위해서 기존의 합성곱 방식을 벗어나 새롭게 제안된 팽창 합성곱 연산(Dilated Convolution)을 이용하면 객체의 수용 영역이 효과적으로 넓어지고 연산량이 적어질 수 있다. 본 논문에서는 컨볼루션 연산의 새로운 방법론적 접근 중 하나인 팽창된 합성곱 연산을 이용해 의미론적 분할 연구에서 새로운 멀티 모달 네트워크의 성능 향상 방법을 적용하여 계층을 더 깊게 쌓지 않더라도 파라미터의 증가 없이 해상도를 유지하면서 네트워크의 전체 성능을 향상할 수 있는 최적화된 방법을 제안한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.05b
• /
• pp.524-527
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적 영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적인 얼굴 영역과 입술 영역을 추출하는 것이다. 본 논문에서는 움직임이 있는 영상에서 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI 모델과 블록 매칭을 이용하였고 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였다. 추출된 입술 파라미터와 음성 데이터에 각각 HMM 기반 패턴 인식 방법을 개별적으로 적용하여 단어를 인식하였고 각각의 인식 결과를 가중치를 주어 합병하였다. 실험 결과에 의하면 잡음으로 음성 인식률이 낮아지는 경우에 음성인식과 립리딩을 함께 사용함으로써 전체적인 인식 결과를 향상시킬 수 있었다.

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.12
• /
• pp.505-518
• /
• 2023

3D point cloud semantic segmentation is a computer vision task that involves dividing the point cloud into different objects and regions by predicting the class label of each point. Existing 3D semantic segmentation models have some limitations in performing sufficient fusion of multi-modal features while ensuring both characteristics of 2D visual features extracted from RGB images and 3D geometric features extracted from point cloud. Therefore, in this paper, we propose MMCA-Net, a novel 3D semantic segmentation model using 2D-3D multi-modal features. The proposed model effectively fuses two heterogeneous 2D visual features and 3D geometric features by using an intermediate fusion strategy and a multi-modal cross attention-based fusion operation. Also, the proposed model extracts context-rich 3D geometric features from input point cloud consisting of irregularly distributed points by adopting PTv2 as 3D geometric encoder. In this paper, we conducted both quantitative and qualitative experiments with the benchmark dataset, ScanNetv2 in order to analyze the performance of the proposed model. In terms of the metric mIoU, the proposed model showed a 9.2% performance improvement over the PTv2 model using only 3D geometric features, and a 12.12% performance improvement over the MVPNet model using 2D-3D multi-modal features. As a result, we proved the effectiveness and usefulness of the proposed model.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.45-48
• /
• 2001

립리딩은 잡음 환경 하에서 음성 인식 성능을 향상을 위해 영상정보를 이용한 바이모달(bimodal)음성인식으로 연구되었다[1][2]. 그 일환으로 이미 영상정보를 이용한 립리딩은 구현되었다. 그러나 현재까지의 시스템들은 환경의 변화에 강인하지 못하다. 본 논문에서는 이미지 기반 립리딩 방법을 적용하여 입술 영역을 보다 안정적으로 찾아 성능을 향상 시켰다. 그러나 이 방법은 많은 데이터량을 처리해야 하므로 전처리 과정이 필요하다. 전처리로 입력영상을 그레이 레벨로 변환하는 방법과, 입술을 반으로 접는 방법, 그리고 주성분 분석(PCA: Principal Component Analysis)을 사용하였다. 또한 인식성능 향상을 위해 음성에서 잡음 제거나 분석$\cdot$합성에 효과적인 성능을 보이는 RASTA(Relative Spectral)필터를 적용하여 시간 영역에서의 변화가 적은 성분이나 급변하는 성분, 그 밖의 잡음 등을 제거하였다. 그 결과 $72.7\%$의 높은 인식 성능을 보였다.

• Journal of the Korean Society for Aeronautical & Space Sciences
• /
• v.34 no.4
• /
• pp.76-82
• /
• 2006

Flutter analyses are performed for the KF-16D aircraft with brand new ALQ-X ECM pod. A flutter analysis method using test modal data is proposed and validated using published F-16 modal data and flutter analysis results. Ground vibration test is performed for KF-16D stands on its landing gears. Attained modal data are transformed to free-free condition of KF-16D aircraft with ALQ-X pod and ALQ-119 pod, respectively. As the results of comparison of flutter analyses, ALQ-X is cleared to be operated in the flight envelope authorized for existing ECM pods.

• Journal of the Earthquake Engineering Society of Korea
• /
• v.12 no.4
• /
• pp.19-33
• /
• 2008

Dynamic response measurements from natural excitation were carried out for 25- and 42-story buildings to evaluate their inherent properties, such as natural frequencies, mode shapes and damping ratios. Both are reinforced concrete buildings adopting a core wall, or with shear walls as the major lateral force resisting system, but frames are added in the plan or elevation. In particular, shear walls in a 25-story building are converted to frames from the 4th floor level downwards while maintaining a core wall throughout, resulting in a fairly complex structure. Due to this, along with similar stiffness characteristics in the principal directions, significantly coupled and closely spaced modes of motion are expected in this building, making identification rather difficult. By using various state-of-the-art system identification methods, the modal parameters are extracted, and the results are then compared. Three frequency-domain and four time-domain based operational modal identification methods are considered. Overall, all natural frequencies and damping ratios estimated from the different identification methods showed a greater consistency for both buildings, while mode shapes exhibited some degree of discrepancy, varying from method to method. On the other hand, in comparison with analysis results obtained using the initial finite element(FE) models, test results exhibited a significant difference of about doubled frequencies, at least for the three lower modes in both buildings. To improve the correlation between test and analysis, a few manual schemes of FE model updating based on plausible reasons have been applied, and acceptable results are obtained. The advantages and disadvantages of each identification method used are addressed, and some difficulties that might arise from the updating of FE models, including automatic procedures, for such large structures are carefully discussed.