• 제목/요약/키워드: Deep Fusion Model

검색결과 83건 처리시간 0.027초

다중 작업, 다중 홉 질문 응답을 위한 그래프 추론 및 맥락 융합 (Graph Reasoning and Context Fusion for Multi-Task, Multi-Hop Question Answering)

  • 이상의;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권8호
    • /
    • pp.319-330
    • /
    • 2021
  • 최근 오픈 도메인 자연어 질문 응답 분야에서는 다중 작업, 다중 홉 질문 응답에 관한 연구들이 활발히 진행되어 오고 있다. 본 논문에서는 이러한 다중 작업, 다중 홉 질문들에 효과적으로 응답하기 위해, 계층적 그래프 기반의 새로운 심층 신경망 모델을 제안한다. 제안 모델에서는 계층적 그래프와 그래프 신경망을 이용해 여러 문단들로부터 서로 다른 수준의 맥락 정보를 얻어낸 후, 이들을 활용하여 답변 유형, 뒷받침 문장들과 답변 영역 등을 동시에 예측해낸다. 본 논문에서는 오픈 도메인 자연어 질문 응답 데이터 집합인 HotpotQA를 이용한 실험들을 통해, 제안 모델의 높은 성능과 긍정적 효과를 입증한다.

Recovery of underwater images based on the attention mechanism and SOS mechanism

  • Li, Shiwen;Liu, Feng;Wei, Jian
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권8호
    • /
    • pp.2552-2570
    • /
    • 2022
  • Underwater images usually have various problems, such as the color cast of underwater images due to the attenuation of different lights in water, the darkness of image caused by the lack of light underwater, and the haze effect of underwater images because of the scattering of light. To address the above problems, the channel attention mechanism, strengthen-operate-subtract (SOS) boosting mechanism and gated fusion module are introduced in our paper, based on which, an underwater image recovery network is proposed. First, for the color cast problem of underwater images, the channel attention mechanism is incorporated in our model, which can well alleviate the color cast of underwater images. Second, as for the darkness of underwater images, the similarity between the target underwater image after dehazing and color correcting, and the image output by our model is used as the loss function, so as to increase the brightness of the underwater image. Finally, we employ the SOS boosting module to eliminate the haze effect of underwater images. Moreover, experiments were carried out to evaluate the performance of our model. The qualitative analysis results show that our method can be applied to effectively recover the underwater images, which outperformed most methods for comparison according to various criteria in the quantitative analysis.

Learning Algorithms in AI System and Services

  • Jeong, Young-Sik;Park, Jong Hyuk
    • Journal of Information Processing Systems
    • /
    • 제15권5호
    • /
    • pp.1029-1035
    • /
    • 2019
  • In recent years, artificial intelligence (AI) services have become one of the most essential parts to extend human capabilities in various fields such as face recognition for security, weather prediction, and so on. Various learning algorithms for existing AI services are utilized, such as classification, regression, and deep learning, to increase accuracy and efficiency for humans. Nonetheless, these services face many challenges such as fake news spread on social media, stock selection, and volatility delay in stock prediction systems and inaccurate movie-based recommendation systems. In this paper, various algorithms are presented to mitigate these issues in different systems and services. Convolutional neural network algorithms are used for detecting fake news in Korean language with a Word-Embedded model. It is based on k-clique and data mining and increased accuracy in personalized recommendation-based services stock selection and volatility delay in stock prediction. Other algorithms like multi-level fusion processing address problems of lack of real-time database.

전이학습 기반 특징융합을 이용한 누출판별 기법 연구 (A Study on Leakage Detection Technique Using Transfer Learning-Based Feature Fusion)

  • 한유진;박태진;이종혁;배지훈
    • 정보처리학회 논문지
    • /
    • 제13권2호
    • /
    • pp.41-47
    • /
    • 2024
  • 시간 및 주파수 영역에서 각각 학습한 모델 간에 성능 차이가 발생할 경우, 앙상블을 수행하더라도 개별 모델 간의 성능 불균형으로 인하여 앙상블의 성능이 오히려 저하되는 현상을 확인할 수 있었다. 따라서, 본 논문은 시간 영역과 주파수 영역에서 특징을 추출하고, 이들을 융합한 단계적 학습 방법을 통해 파이프라인 누출 감지의 정확성을 높이기 위한 누출판별 기법을 제안한다. 이 방법은 두 단계의 학습 과정으로 이루어지며, 먼저, 단계 1에서는 시간 영역과 주파수 영역에서 독립적으로 모델 학습을 수행하여 도메인별로 주어진 데이터로부터 중요한 특징들을 효과적으로 추출하도록 하였다. 단계 2에서는 사전학습 완료된 각 모델로부터 해당 분류기를 제거한 후, 두 도메인의 특징들을 서로 융합하고 새로운 분류기를 추가하여 재학습을 수행하였다. 본 논문에서 제안하는 전이학습 기반 특징융합 기법은 시간 및 주파수 영역에서 추출된 특징들을 융합하여 모델 학습을 수행함으로써, 두 영역의 특징이 상호 보완적으로 작용하여 모델이 다양한 정보를 활용함으로 인해 99.88%의 높은 정확도를 달성하여 파이프 누수 감지에 있어 우수한 성능을 입증하였다.

도로 주변 지역의 CCTV영상을 이용한 야간시간대 미세먼지 농도 추정 (Estimation of PM concentrations at night time using CCTV images in the area around the road)

  • 원태연;어양담;조수민;송준영;윤준희
    • 한국측량학회지
    • /
    • 제39권6호
    • /
    • pp.393-399
    • /
    • 2021
  • 본 연구는 다양한 미세먼지 농도 환경의 야간 CCTV 영상을 학습 시켜 영상에 의한 미세먼지 농도 추정에 대한 실험을 진행하였다. 주간 영상의 경우 많은 관련 연구가 존재하였고, 영상의 다양한 텍스쳐와 밝기 정보가 잘 표현되어 학습에 영향을 주는 정보가 뚜렷하다. 하지만 야간 영상의 경우 주간 영상에 비해 담고 있는 정보가 적고 야간 영상만 사용한 연구가 드물다. 따라서 차량과 가로등 같은 광원 때문에 특징이 균일하지 못한 야간 촬영 영상들과 비교적 광원이 일정한 건물 지붕, 건물 벽, 가로등을 ROI로 결합한 실험을 진행하였다. 이후 야간 영상으로 딥러닝 기반 미세먼지 농도 추정이 가능한지 상관도를 주간 실험과 비교 분석하였다. 실험 결과, 지붕 ROI (Region of Interest) 학습한 경우의 결과 값이 가장 높았고, 전체 영상과의 결합 학습모델은 더 향상된 결과를 보여주었다. 전체적으로 R2가 0.9를 상회하여 야간 CCTV 영상으로부터 미세먼지 추정이 가능함을 나타내고 있고, 날씨 자료의 추가 결합 학습은 실험 결과에 크게 영향을 주지 않은 것으로 계산되었다.

새로운 반려견 등록방식 도입을 위한 안면 인식 성능 개선 연구 (A Study on Improving Facial Recognition Performance to Introduce a New Dog Registration Method)

  • 이동수;박구만
    • 방송공학회논문지
    • /
    • 제27권5호
    • /
    • pp.794-807
    • /
    • 2022
  • 동물보호법 개정에 따라 반려견 등록이 의무화 되었음에도 불구하고, 현재 등록 방법의 불편함으로 등록율이 저조한 상태이다. 본 논문에서는 새로운 등록 방법으로 검토되고 있는 반려견 안면 인식 기술에 대한 성능 개선 연구를 진행하였다. 딥러닝 학습을 통해, 반려견의 안면 인식을 위한 임베딩 벡터를 생성하여 반려견 개체별로 식별하기 위한 방법을 실험하였다. 딥러닝 학습을 위한 반려견 이미지 데이터셋을 구축하고, InceptionNet과 ResNet-50을 백본 네트워크로 사용하여 실험하였다. 삼중항 손실 방법으로 학습하였으며, 안면 검증과 안면 식별로 나뉘어 실험하였다. ResNet-50 기반의 모델에서 최고 93.46%의 안면 검증 성능을 얻을 수 있었으며, 안면 식별 시험에서는 rank-5에서 91.44%의 최고 성능을 각각 얻을 수 있었다. 본 논문에서 제시한 실험 방법과 결과는 반려견의 등록 여부 확인, 반려견 출입시설에서의 개체 확인 등 다양한 분야로 활용이 가능하다.

반려견 자동 품종 분류를 위한 전이학습 효과 분석 (Analysis of Transfer Learning Effect for Automatic Dog Breed Classification)

  • 이동수;박구만
    • 방송공학회논문지
    • /
    • 제27권1호
    • /
    • pp.133-145
    • /
    • 2022
  • 국내에서 지속적으로 증가하는 반려견 인구 및 산업 규모에 비해 이와 관련한 데이터의 체계적인 분석이나 품종 분류 방법 연구 등은 매우 부족한 실정이다. 본 논문에서는 국내에서 양육되는 반려견의 주요 14개 품종에 대해 딥러닝 기술을 이용한 자동 품종 분류 방법을 수행하였다. 이를 위해 먼저 딥러닝 학습을 위한 반려견 이미지를 수집하고 데이터셋을 구축하였으며, VGG-16 및 Resnet-34를 백본 네트워크로 사용하는 전이학습을 각각 수행하여 품종 분류 알고리즘을 만들었다. 반려견 이미지에 대한 두 모델의 전이학습 효과를 확인하기 위해, Pre-trained 가중치를 사용한 것과 가중치를 업데이트하는 실험을 수행하여 비교하였으며, VGG-16 기반으로 fine tuning을 수행했을 때, 최종 모델에서 Top 1 정확도는 약 89%, Top 3 정확도는 약 94%의 정확도 성능을 각각 얻을수 있었다. 본 논문에서 제안하는 국내의 주요 반려견 품종 분류 방법 및 데이터 구축은 동물보호센터에서의 유기·유실견 품종 구분이나 사료 산업체에서의 활용 등 여러가지 응용 목적으로도 활용될 수 있는 가능성을 가지고 있다.

USBL, DVL과 선수각 측정신호를 융합한 심해 무인잠수정의 항법시스템 (Navigation System for a Deep-sea ROV Fusing USBL, DVL, and Heading Measurements)

  • 이판묵;심형원;백혁;김방현;박진영;전봉환;유승열
    • 한국해양공학회지
    • /
    • 제31권4호
    • /
    • pp.315-323
    • /
    • 2017
  • This paper presents an integrated navigation system that combines ultra-short baseline (USBL), Doppler velocity log (DVL), and heading measurements for a deep-sea remotely operated vehicle, Hemire. A navigation model is introduced based on the kinematic relation of the position and velocity. The system states are predicted using the navigation model and corrected with the USBL, DVL, and heading measurements using the Kalman filter. The performance of the navigation system was confirmed through re-navigation simulations with the measured data at the Southern Mariana Arc submarine volcanoes. Based on the characteristics of the measurements, the design process for the parameters of the system modeling error covariance, measurement error covariance, and initial error covariance are presented. This paper reviews the influence of the outliers and blackout of the USBL and DVL measurements, and proposes an outlier rejection algorithm that is robust to USBL blackout. The effectiveness of the method is demonstrated with re-navigation for the data that includes USBL blackouts.

Single Low-Light Ghost-Free Image Enhancement via Deep Retinex Model

  • Liu, Yan;Lv, Bingxue;Wang, Jingwen;Huang, Wei;Qiu, Tiantian;Chen, Yunzhong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권5호
    • /
    • pp.1814-1828
    • /
    • 2021
  • Low-light image enhancement is a key technique to overcome the quality degradation of photos taken under scotopic vision illumination conditions. The degradation includes low brightness, low contrast, and outstanding noise, which would seriously affect the vision of the human eye recognition ability and subsequent image processing. In this paper, we propose an approach based on deep learning and Retinex theory to enhance the low-light image, which includes image decomposition, illumination prediction, image reconstruction, and image optimization. The first three parts can reconstruct the enhanced image that suffers from low-resolution. To reduce the noise of the enhanced image and improve the image quality, a super-resolution algorithm based on the Laplacian pyramid network is introduced to optimize the image. The Laplacian pyramid network can improve the resolution of the enhanced image through multiple feature extraction and deconvolution operations. Furthermore, a combination loss function is explored in the network training stage to improve the efficiency of the algorithm. Extensive experiments and comprehensive evaluations demonstrate the strength of the proposed method, the result is closer to the real-world scene in lightness, color, and details. Besides, experiments also demonstrate that the proposed method with the single low-light image can achieve the same effect as multi-exposure image fusion algorithm and no ghost is introduced.

스트리트뷰 영상의 객체탐지를 활용한 보행 장애물 정보 갱신 (Updating Obstacle Information Using Object Detection in Street-View Images)

  • 박슬아;송아람
    • 한국측량학회지
    • /
    • 제39권6호
    • /
    • pp.599-607
    • /
    • 2021
  • 스트리트뷰(Street-view) 영상은 도로의 특정 위치를 중심으로 한 전방위 영상을 제공하며, 보행 환경에 대한 다양한 장애물 정보를 포함한다. 보행자용 길안내 서비스에 활용하기 위한 보행 네트워크(Pedestrian network) 데이터는 교통약자를 비롯한 보행자의 이동 편의성을 보장하기 위하여 보행 장애물에 대한 최신 정보를 반영해야 한다. 본 연구에서는 스트리트뷰 영상과 딥러닝 기반의 객체탐지 알고리즘을 활용하여 서울 전역에 위치한 주요 보행 장애물인 볼라드(Bollard)를 학습하였다. 또한, 탐지된 볼라드 정보와 보행 네트워크 간의 공간매칭을 통해 횡단보도 노드를 대상으로 볼라드의 유무와 개수 정보를 장애물 속성으로 입력하고, 동시에 누락된 횡단보도 정보를 갱신하기 위한 프로세스를 정의하였다. 스트리트뷰 영상으로 학습된 모델은 보행 상황에서 스마트폰으로 촬영한 사진에 대해서도 적용이 가능하며, 향후 스트리트뷰 영상에 포함된 다양한 보행 장애물에 대한 추가 학습을 통해 효율적인 보행 장애 정보 갱신이 가능할 것으로 기대된다.