• 제목/요약/키워드: Fully connected layer

검색결과 90건 처리시간 0.022초

RGB-Depth 카메라와 Deep Convolution Neural Networks 기반의 실시간 사람 양손 3D 포즈 추정 (Real-time 3D Pose Estimation of Both Human Hands via RGB-Depth Camera and Deep Convolutional Neural Networks)

  • 박나현;지용빈;기건;김태연;박혜민;김태성
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.686-689
    • /
    • 2018
  • 3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

민첩한 활성함수를 이용한 합성곱 신경망의 성능 향상 (Performance Improvement Method of Convolutional Neural Network Using Agile Activation Function)

  • 공나영;고영민;고선우
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권7호
    • /
    • pp.213-220
    • /
    • 2020
  • 합성곱 신경망은 합성곱층과 완전연결층으로 구성되어 있다. 합성곱층과 완전연결층의 각 층에서는 비선형 활성함수를 사용하고 있다. 활성함수는 뉴런 간에 신호를 전달할 때 입력신호가 일정 기준 이상이면 신호를 전달하고 기준에 도달하지 못하면 신호를 보내지 않을 수 있는 뉴런의 정보전달 방법을 모사하는 함수이다. 기존의 활성함수는 손실함수와 관계성을 가지고 있지 않아 최적해를 찾아가는 과정이 늦어지는 점을 개선하기 위해 활성함수를 일반화한 민첩한 활성함수를 제안하였다. 민첩한 활성함수의 매개변수는 역전파 과정에서, 매개변수에 대한 손실함수의 1차 미분계수를 이용한 학습과정을 통해 최적의 매개변수를 선택하는 방법으로 손실함수를 감소시킴으로써 심층신경망의 성능을 향상시킬 수 있다. MNIST 분류문제를 통하여 민첩한 활성함수가 기존의 활성함수에 비해 우월한 성능을 가짐을 확인하였다.

Implementation of Speech Recognition and Flight Controller Based on Deep Learning for Control to Primary Control Surface of Aircraft

  • Hur, Hwa-La;Kim, Tae-Sun;Park, Myeong-Chul
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권9호
    • /
    • pp.57-64
    • /
    • 2021
  • 본 논문에서는 음성 명령을 인식하여 비행기의 1차 조종면을 제어할 수 있는 장치를 제안한다. 음성 명령어는 19개의 명령어로 구성되며 총 2,500개의 데이터셋을 근간으로 학습 모델을 구성한다. 학습 모델은 TensorFlow 기반의 Keras 모델의 Sequential 라이브러리를 이용하여 CNN 모델로 구성되며, 학습에 사용되는 음성 파일은 MFCC 알고리즘을 이용하여 특징을 추출한다. 특징을 인식하기 위한 2단계의 Convolution layer 와 분류를 위한 Fully Connected layer는 2개의 dense 층으로 구성하였다. 검증 데이터셋의 정확도는 98.4%이며 테스트 데이터셋의 성능평가에서는 97.6%의 정확도를 보였다. 또한, 라즈베리 파이 기반의 제어장치를 설계 및 구현하여 동작이 정상적으로 이루어짐을 확인하였다. 향후, 음성인식 자동 비행 및 항공정비 분야의 가상 훈련환경으로 활용될 수 있을 것이다.

Deep Learning-Based Brain Tumor Classification in MRI images using Ensemble of Deep Features

  • Kang, Jaeyong;Gwak, Jeonghwan
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권7호
    • /
    • pp.37-44
    • /
    • 2021
  • 뇌 MRI 영상의 자동 분류는 뇌종양의 조기 진단을 하는 데 있어 중요한 역할을 한다. 본 연구에서 우리는 심층 특징 앙상블을 사용한 MRI 영상에서의 딥 러닝 기반 뇌종양 분류 모델을 제안한다. 우선 사전 학습된 3개의 합성 곱 신경망을 사용하여 입력 MRI 영상에 대한 심층 특징들을 추출한다. 그 이후 추출된 심층 특징들은 완전 연결 계층들로 구성된 분류 모듈의 입력 값으로 들어간다. 분류 모듈에서는 우선 3개의 서로 다른 심층 특징들 각각에 대해 먼저 완전 연결 계층을 거쳐 특징 차원을 줄인다. 그 이후 3개의 차원이 준 특징들을 결합하여 하나의 특징 벡터를 생성한 뒤 다시 완전 연결 계층의 입력값으로 들어가서 최종적인 분류 결과를 예측한다. 우리가 제안한 모델을 평가하기 위해 웹상에 공개된 뇌 MRI 데이터 셋을 사용하였다. 실험 결과 우리가 제안한 모델이 다른 기계학습 기반 모델보다 더 좋은 성능을 나타냄을 확인하였다.

Enhanced CT-image for Covid-19 classification using ResNet 50

  • Lobna M. Abouelmagd;Manal soubhy Ali Elbelkasy
    • International Journal of Computer Science & Network Security
    • /
    • 제24권1호
    • /
    • pp.119-126
    • /
    • 2024
  • Disease caused by the coronavirus (COVID-19) is sweeping the globe. There are numerous methods for identifying this disease using a chest imaging. Computerized Tomography (CT) chest scans are used in this study to detect COVID-19 disease using a pretrain Convolutional Neural Network (CNN) ResNet50. This model is based on image dataset taken from two hospitals and used to identify Covid-19 illnesses. The pre-train CNN (ResNet50) architecture was used for feature extraction, and then fully connected layers were used for classification, yielding 97%, 96%, 96%, 96% for accuracy, precision, recall, and F1-score, respectively. When combining the feature extraction techniques with the Back Propagation Neural Network (BPNN), it produced accuracy, precision, recall, and F1-scores of 92.5%, 83%, 92%, and 87.3%. In our suggested approach, we use a preprocessing phase to improve accuracy. The image was enhanced using the Contrast Limited Adaptive Histogram Equalization (CLAHE) algorithm, which was followed by cropping the image before feature extraction with ResNet50. Finally, a fully connected layer was added for classification, with results of 99.1%, 98.7%, 99%, 98.8% in terms of accuracy, precision, recall, and F1-score.

3D CNN 기반 전립선 MRI 영상 분할 기술 (3D CNN-Based Segmentation of Prostate MR images)

  • 문주혁;최환;이세호;장원동;김창수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2017년도 하계학술대회
    • /
    • pp.145-146
    • /
    • 2017
  • 본 논문에서는 남성의 하반신을 촬영한 MRI 영상으로부터 전립선을 분할하는 알고리즘을 제안한다. 우선 3 차원 입체 영상을 학습하기 위해 3D 컨볼루션 계층(convolutional layer) 및 3D 풀링 계층(pooling layer)에 기반한 네트워크를 제안한다. 다음으로 네트워크의 최후단에 해당하는 전연결 계층(fully connected layer)의 강인한 학습을 돕는 잡음 계층을 제안한다. 잡음 계층은 네트워크의 학습 파라미터 혹은 출력 영상에 가우시안 잡음를 더함으로써 드롭 아웃과 같이 훈련 영상에 대한 과적합(overfitting)을 막고 테스트 영상에 강인한 네트워크의 학습을 돕는다. 마지막으로 실험을 통해 제안하는 기법이 기존 기법에 비해 우수한 분할 성능을 보임을 확인한다.

  • PDF

Zero-skipping을 적용한 MNIST 분류 CNN 구현 (Implementation of MNIST classification CNN with zero-skipping)

  • 한성현;정준모
    • 전기전자학회논문지
    • /
    • 제22권4호
    • /
    • pp.1238-1241
    • /
    • 2018
  • 본 논문에서는 zero-skipping을 적용한 MNIST 분류 CNN을 구현했다. CNN의 activation에서 0이 30~40% 나오고, 0은 MAC 연산에 영향을 끼치지 않기 때문에 0을 branch를 통해 skip하게 되면 성능 향상을 시킬 수 있다. 그러나 컨볼루션 레이어에서는 branch를 통해 skip하게 되면 성능 하락이 발생한다. 그에 따라 컨볼루션 레이어에서는 연산의 영향을 미치지 않는 NOP을 주어 연산을 skip하고 풀리 커넥티드 레이어에서는 branch를 통해 skip했다. 기존의 CNN보다 약 1.5배의 성능 향상을 확인했다.

지터에 강건한 딥러닝 기반 프로파일링 부채널 분석 방안 (Robust Deep Learning-Based Profiling Side-Channel Analysis for Jitter)

  • 김주환;우지은;박소연;김수진;한동국
    • 정보보호학회논문지
    • /
    • 제30권6호
    • /
    • pp.1271-1278
    • /
    • 2020
  • 딥러닝 기반 프로파일링 부채널 분석은 신경망을 이용해 부채널 정보와 중간값의 관계를 파악하는 공격 방법이다. 신경망은 신호의 각 시점을 별도의 차원으로 해석하므로 차원별 가중치를 갖는 신경망은 지터가 있는 데이터의 분포를 학습하기 어렵다. 본 논문에서는 CNN(Convolutional Neural Network)의 완전연결 층을 GAP(Global Average Pooling)로 대체하면 태생적으로 지터에 강건한 신경망을 구성할 수 있음을 보인다. 이를 입증하기 위해 ChipWhisperer-Lite 전력 수집 보드에서 수집한 파형에 대해 실험한 결과 검증 데이터 집합에 대한 완전연결 층을 사용하는 CNN의 정확도는 최대 1.4%에 불과했으나, GAP를 사용하는 CNN의 정확도는 최대 41.7%로 매우 높게 나타났다.

윈도우 주의 모듈 기반 트랜스포머를 활용한 이미지 분류 방법 (Window Attention Module Based Transformer for Image Classification)

  • 김상훈;김원준
    • 방송공학회논문지
    • /
    • 제27권4호
    • /
    • pp.538-547
    • /
    • 2022
  • 최근 소개된 트랜스포머(Transformer)를 이용한 이미지 분류 방법들은 기존 합성곱 신경망 기반 방법 대비 괄목할 만한 성능 향상을 보여주고 있다. 지역적 특성을 효과적으로 고려하기 위해 이미지 영역을 복수의 윈도우 영역으로 나누어 트랜스포머를 적용하는 방법에 대한 연구가 활발히 진행되어 왔으나, 윈도우 간 관계 및 중요도에 대한 학습은 여전히 부족한 상황이다. 본 논문에서는 이러한 문제점을 극복하기 위해 각 윈도우의 중요도를 학습에 반영할 수 있는 트랜스포머 구조를 제안한다. 제안하는 방법은 각 윈도우 영역에 대한 자기주의(Self-attention) 연산을 기반으로 압축과 완전 연결 계층(Fully Connected Layer)을 통해 각 윈도우 영역의 중요도를 계산한다. 계산된 중요도는 윈도우 영역들 간의 관계를 학습한 가중치로써 각 윈도우 영역에 곱해져 특징 값을 재조정 한다. 실험 결과를 통해 제안하는 방법이 기존 트랜스포머 기반 방법의 성능을 효과적으로 향상 시킬 수 있음을 보인다.

사전 학습된 딥러닝 모델들의 피처 레벨 앙상블을 이용한 포트홀 검출 기법 연구 (Research on Pothole Detection using Feature-Level Ensemble of Pretrained Deep Learning Models)

  • 신예은;김인기;김범준;전영훈;곽정환
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
    • /
    • pp.35-38
    • /
    • 2023
  • 포트홀은 주행하는 자동차와 접촉이 이뤄지면 차체나 운전자에게 충격을 주고 제어를 잃게 하여 도로 위 안전을 위협할 수 있다. 포트홀의 검출을 위한 국내 동향으로는 진동을 이용한 방식과 신고시스템 이용한 방식과 영상 인식을 기반한 방식이 있다. 이 중 영상 인식 기반 방식은 보급이 쉽고 비용이 저렴하나, 컴퓨터 비전 알고리즘은 영상의 품질에 따라 정확도가 달라지는 문제가 있었다. 이를 보완하기 위해 영상 인식 기반의 딥러닝 모델을 사용한다. 따라서, 본 논문에서는 사전 학습된 딥러닝 모델의 정확도 향상을 위한 Feature Level Ensemble 기법을 제안한다. 제안된 기법은 사전 학습된 CNN 모델 중 Test 데이터의 정확도 기준 Top-3 모델을 선정하여 각 딥러닝 모델의 Feature Map을 Concatenate하고 이를 Fully-Connected(FC) Layer로 입력하여 구현한다. Feature Level Ensemble 기법이 적용된 딥러닝 모델은 평균 대비 3.76%의 정확도 향상을 보였으며, Top-1 모델인 ShuffleNet보다 0.94%의 정확도 향상을 보였다. 결론적으로 본 논문에서 제안된 기법은 사전 학습된 모델들을 이용하여 각 모델의 다양한 특징을 통해 기존 모델 대비 정확도의 향상을 이룰 수 있었다.

  • PDF