• 제목/요약/키워드: Fusion Technique

검색결과 646건 처리시간 0.026초

Multimodal Biometrics Recognition from Facial Video with Missing Modalities Using Deep Learning

  • Maity, Sayan;Abdel-Mottaleb, Mohamed;Asfour, Shihab S.
    • Journal of Information Processing Systems
    • /
    • 제16권1호
    • /
    • pp.6-29
    • /
    • 2020
  • Biometrics identification using multiple modalities has attracted the attention of many researchers as it produces more robust and trustworthy results than single modality biometrics. In this paper, we present a novel multimodal recognition system that trains a deep learning network to automatically learn features after extracting multiple biometric modalities from a single data source, i.e., facial video clips. Utilizing different modalities, i.e., left ear, left profile face, frontal face, right profile face, and right ear, present in the facial video clips, we train supervised denoising auto-encoders to automatically extract robust and non-redundant features. The automatically learned features are then used to train modality specific sparse classifiers to perform the multimodal recognition. Moreover, the proposed technique has proven robust when some of the above modalities were missing during the testing. The proposed system has three main components that are responsible for detection, which consists of modality specific detectors to automatically detect images of different modalities present in facial video clips; feature selection, which uses supervised denoising sparse auto-encoders network to capture discriminative representations that are robust to the illumination and pose variations; and classification, which consists of a set of modality specific sparse representation classifiers for unimodal recognition, followed by score level fusion of the recognition results of the available modalities. Experiments conducted on the constrained facial video dataset (WVU) and the unconstrained facial video dataset (HONDA/UCSD), resulted in a 99.17% and 97.14% Rank-1 recognition rates, respectively. The multimodal recognition accuracy demonstrates the superiority and robustness of the proposed approach irrespective of the illumination, non-planar movement, and pose variations present in the video clips even in the situation of missing modalities.

철근 콘크리트 구조물에 매설된 다중화 광섬유 압력 센서 (Mutiplexed Fiber Optic Pressure Sensor Embedded in a Reinforced Concrete Structure)

  • 이경진;이호일;박재희;김명규;강신원
    • 센서학회지
    • /
    • 제8권3호
    • /
    • pp.232-238
    • /
    • 1999
  • 페브리-페롯 간섭계 원리를 이용한 광섬유 센서를 철근 콘크리트 구조물에 매설하고 구조물에 압력을 가했을 때 위상변화와 스트레인과의 특성 관계를 조사하였다. 단일모드 광섬유 (SMF) 내에 $TiO_2$ 유전체 박막을 용융 접합하여 공극의 길이가 10 mm인 광섬유 페브리-페롯 간섭계를 제작하였다. 제작한 페브리-페롯 간섭계와 6 mm의 철근을 $100{\times}100{\times}500\;mm^3$ 크기의 철근 콘크리트 구조물에 매설하였다. 광섬유 간섭계 및 광섬유 리드선은 접착제로 광섬유를 보호하였으며, 여러 지점에서 구조물이 받는 압력의 크기를 측정하기 위해 TDM 방식의 다중화 방법을 이용하였다. 제작한 광섬유 간섭계 센서의 광출력 특성은 인가한 하중에 따라 선형적으로 변화하였으며, 제작된 센서의 감도는 각각 $1.03^{\circ}/kg$$0.76^{\circ}/kg$이였다.

  • PDF

광학 영상과 Lidar의 정보 융합에 의한 신뢰성 있는 구조물 검출 (Information Fusion of Photogrammetric Imagery and Lidar for Reliable Building Extraction)

  • 이동혁;이경무;이상욱
    • 방송공학회논문지
    • /
    • 제13권2호
    • /
    • pp.236-244
    • /
    • 2008
  • 본 논문에서는 칼라 세그멘테이션, 에지 정합, 지각적 그룹핑 등을 사용하여 Lidar 데이터와 광학 영상의 정보 융합에 의한 새로운 구조물 검출 및 복원 알고리듬을 제안한다. 제안하는 알고리듬은 두 가지 단계로 구성된다. 첫 번째로, 항공 Lidar 데이터로부터 초기 구조물 추출 결과와 영상의 칼라 세그멘테이션 결과를 사용하여 coarse building boundary를 추출한다. 두 번째로, coarse building boundary와 에지 정합 및 지각적 그룹핑에 의해 보다 정밀한 구조물 추출 결과인 precise building boundary를 추출한다. 본 논문에서 제안하는 알고리듬은 보다 신뢰성 있는 구조물 검출을 위해, 광학 영상으로부터 칼라 정보를 사용한다. 이를 통해, Lidar에 의해 획득된 붕괴된 형태의 구조물 외곽선을 보완한다. 또한, 인공지물의 특징으로서, 에지의 직선성 및 다면체 형태의 지붕모양을 반영함으로써 신뢰성 있는 구조물을 검출한다. 다중 센서 데이터에 대한 실험은 제안하는 알고리듬이 Lidar 단일 센서 결과에 비해 정밀하고 신뢰성 있는 결과를 보여준다.

다양한 형식의 얼굴정보와 준원근 카메라 모델해석을 이용한 얼굴 특징점 및 움직임 복원 (Facial Features and Motion Recovery using multi-modal information and Paraperspective Camera Model)

  • 김상훈
    • 정보처리학회논문지B
    • /
    • 제9B권5호
    • /
    • pp.563-570
    • /
    • 2002
  • 본 논문은 MPEG4 SNHC의 얼굴 모델 인코딩을 구현하기 위하여 연속된 2차원 영상으로부터 얼굴영역을 검출하고, 얼굴의 특징데이터들을 추출한 후, 얼굴의 3차원 모양 및 움직임 정보를 복원하는 알고리즘과 결과를 제시한다. 얼굴 영역 검출을 위해서 영상의 거리, 피부색상, 움직임 색상정보등을 융합시킨 멀티모달합성의 방법이 사용되었다. 결정된 얼굴영역에서는 MPEG4의 FDP(Face Definition Parameter) 에서 제시된 특징점 위치중 23개의 주요 얼굴 특징점을 추출하며 추출성능을 향상시키기 위하여 GSCD(Generalized Skin Color Distribution), BWCD(Black and White Color Distribution)등의 움직임색상 변환기법과 형태연산 방법이 제시되었다. 추출된 2차원 얼팔 특징점들로부터 얼굴의 3차원 모양, 움직임 정보를 복원하기 위하여 준원근 카메라 모델을 적용하여 SVD(Singular Value Decomposition)에 의한 인수분해연산을 수행하였다. 본 논문에서 제시된 방법들의 성능을 객관적으로 평가하기 위하여 크기와 위치가 알려진 3차원 물체에 대해 실험을 행하였으며, 복원된 얼굴의 움직임 정보는 MPEG4 FAP(Face Animation Parameter)로 변환된 후, 인터넷상에서 확인이 가능한 가상얼굴모델에 인코딩되어 실제 얼굴파 일치하는 모습을 확인하였다.

UV-조사 수정란 내로 이식한 유전자 변화 배반엽 세포의 재구성 (Recolonization of Transfected Blastodermal Cells in Developing Embryos after Transferring into UV-irradiated Fertilized Hen′s Egg)

  • 이기석;이황;김기동;박성수;이상호
    • 한국가금학회지
    • /
    • 제27권2호
    • /
    • pp.155-161
    • /
    • 2000
  • Unfortunately, there is no technique which is stable and repetitive to produce transgenic chicken, although various ways of gene transfer including PGC-and embryonic cell-mediated gene transfer, DNA microinjection, virus inoculation and sperm cells have been employed. The aims of this study were 세 develop and establish such a stable, repetitive and efficient way of gene transfer giving a faithful gene expression during development after the reconstruction of embryo in an UV-irradiated egg. A dual reporter plasmid (pJJ9), a fusion gene containing lacZ and GFP driven by a CMV promoter was used to exploit either merits of both reporting markers. lacZ with strong signal or GFP with vital marking. Electroporated embryonic blastodermal cells (EBCs) in the presence of the pJJ9 DNA faithfully showed 377 bp PCR product and lacZ or GFP expressions in the identical cells in vitro of in vivo. Furthermore, analyses of expression pattern of the foreign DNA demonstrated that microinjected EBCs cells into the UV-irradiated recipient egg should participate in normal developmental process, for example, proliferation and differentiation into various tissues. Thirty percentages of the manipulated eggs showed lacZ expression in their tissues. These results together with the specific procedures used in this study should facilitate avian transgenesis.

  • PDF

방사선분자변환기술 기반 천연 생물소재 구조변환에 따른 가공적성 및 생리활성 증진 연구 (Improvement of physiological activity and processing quality through structural transformation of natural biomaterials based on radiation technology)

  • 변의백;송하연;김혜민;김우식;이승식;최대성;임상용;정병엽
    • 한국식품과학회지
    • /
    • 제50권3호
    • /
    • pp.249-259
    • /
    • 2018
  • Radiation technology (RT) has long been applied in various fields for increasing the safety and shelf-life of foods by controlling pathogen-induced poisoning. RT was introduced for the first time in Korea in the 1950s to eliminate harmful microorganisms in food materials. In the 1980s, RT had been scientifically proven to be effective for the sterilization of food and public health products. In recent years, irradiation with gamma rays has also been used for improving physiological properties through the structural modification of natural molecules, which has been proposed to be applicable to various industries. In particular, radiation transformation technology (RTT), which involves the development of new functional compounds through the molecular conversion of natural biomaterials, is becoming a new high-value technology as a fusion technique of RT and biotechnology. The present reports have suggested that RTT can be an effective tool for the development of new functional compounds and improvement of the physiological activity of biomolecules.

동(東)아시아의 불교식문화비교연구(佛敎食文化比較硏究) -경도(京都) 서본원사(西本願寺)의 [어정기(御正忌)]- (Study on Buddhist Dietary Culture in East Asia -[Goshogi] of Nishihonganji in Kyoto-)

  • 김천호
    • 한국식생활문화학회지
    • /
    • 제11권1호
    • /
    • pp.43-52
    • /
    • 1996
  • [Goshogi] which is held from 9th to 16th January, every year is the Buddhist service of praying for the soul of Shinran's $(l173{\sim}1262)$ after death. It is the most majestic high-filling style and also unparalled in the annals of Japanese history in sacrificial offering. Shinran was horned in the Fujiwara's family. And not only he believed Prince Shodoku's belife but also retired to the mountain to enter the priesthood by it. Prince Shodoku built Horyu temple which is the typical temple of Nara ages. Buddism was transmitted from Korean peninsula, three countries of Silla, Bekje and Kokuryo effected on many field of Japnese culture during that ages. At the same time, Kasugadaisha and Danjanjinja of Shinto religion was built by Fujiwara Family. Both of them was Buddhist temple before. Throughout like these historical background, the facts what the religious services and the sacrificial offerings for Prince Shodoku, Wakamiyasai of Kasugas' and Kakitsusai of Danjanjinja must be influenced from Korean Peningula. So the dietary culture of the religious rites and traditional customs between two countries could be thought the relation with a narrow stream strait. But among them, in the size, color and shape, the cooking method and technique in the usage of rice powder and sugar, it is tops in value. The noteworthy points of the thought were as follows: 1. high-filling style of the sacrificial offerings what is mixed and harmonized with Buddhism, Confucious, Sharmanism, Toaism and Korean traditioal customs. 2. eating together of god and human. 3. the fusion of gods and Buddha.

  • PDF

수몰 지역의 영상복원을 위한 정밀기하보정 및 채널선정 비교연구 (A Study on the Comparison of Channel Selection and Precision Geometric Correction for Image Restoration of an Submerged Water)

  • 연상호
    • 한국지리정보학회지
    • /
    • 제7권1호
    • /
    • pp.1-8
    • /
    • 2004
  • 우리가 살아가고 있는 현실공간에서 사라진 과거의 지형공간을 복원한다는 것은 매우 의미가 있는 실험연구이다. 본 연구는 20여 년 전에 다목적 대형 댐의 건설로 대부분 물속으로 사라진 청풍호수 주변의 마을을 대상으로 원격탐사기법으로 3차원 지형을 복원하기 위한 연구이다. 수몰 이전의 비교적 해상도가 높은 인공위성 사진과 영상 및 지도를 이용하여 과거의 새로운 영상을 복원하는 실험을 실시하였다. 이로써 영상과 영상의 좌표변환, 영상과 지도와의 정밀기하보정, 과거지도와 참조지도 및 좌표변환을 통하여 DEM과의 중첩오차를 최소화시키고, 영상 복원 시에 손실정보를 최소화하는 최적채널 선정을 통하여 수몰이전을 가장 잘 보여주는 퓨젼영상을 복원할 수 있었다.

  • PDF

Faster-RCNN을 이용한 열화상 이미지 처리 및 합성 기법 (Thermal Image Processing and Synthesis Technique Using Faster-RCNN)

  • 신기철;이준수;김주식;김주형;권장우
    • 융합정보논문지
    • /
    • 제11권12호
    • /
    • pp.30-38
    • /
    • 2021
  • 본 논문에서는 열화상 이미지에서의 열 데이터 추출 및 해당 데이터를 사용한 발열 설비 탐지 향상 기법을 제안한다. 주요 목표는 열화상 이미지에서 바이트 단위로 데이터를 해석하여 열 데이터와 실화상 이미지를 추출하고 해당 이미지와 데이터를 합성한 합성 이미지를 딥러닝 모델에 적용하여 발열 설비의 탐지 정확도를 향상 시키는 것이다. 데이터는 한국수력원자력발전소 설비 데이터를 사용하였으며, 학습 모델로는 Faster-RCNN을 사용하여 각 데이터 그룹에 따른 딥러닝 탐지 성능을 비교 평가한다. 제안한 방식은 Average Precision 평가에서 기존 방식에 비해 평균 0.17 향상 되었다.본 연구는 이로서 국가 데이터 기반 열화상 데이터와 딥러닝 탐지의 접목을 시도하여 유효한 데이터 활용도 향상을 이루었다.

무선통신을 이용한 원격제어 기술 구현 (A Study on Implementation of Remote Control System using Wireless Technologies)

  • 장동원;조인귀
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.307-309
    • /
    • 2016
  • 본고에서는 WiFi, ZigBee, 블루투스 등 무선 통신 기술을 이용해서 로봇, 헬스케어, 스마트그리드, 자율자동차 분야 등에서 무선에 의한 센싱 및 전력 전송을 제어하는 시스템에 대해서 기술하였다. 최근에 사물인터넷 (Interne of Things) 및 사물통신(Machine to Machine)을 이용한 다양한 응용이 많은 분야에서 제기되고 있으며 이를 위해서는 제어, 컴퓨팅, 네트워킹 기술이 융합된 기술을 요구한다. 기존의 제어 중심이었던 임베디드 시스템에 유무선 통신망을 이용한 컴퓨팅 기술이 융합된 가상물리 시스템(Cyber Physical System)이 미국 및 유럽에서 향후 국가 주도 기술로 채택되어 연 산 학이 협력하여 추진 중이다. 본고에서는 이러한 기술 개념에 일치하는 무선을 이용한 센싱에 의해 무선으로 전력을 전송하는 시스템을 제어하는 기술을 구현하고 기술하였다.

  • PDF