• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권12호
• /
• pp.403-410
• /
• 2020

오토인코더의 데이터 복원(Output result) 기능을 이용한 노이즈 제거 및 초해상도와 같은 연구가 진행되는 가운데 오토인코더의 차원 축소 기능을 이용한 클러스터링의 성능 향상에 대한 연구도 활발히 진행되고 있다. 오토인코더를 이용한 클러스터링 기능과 데이터 복원 기능은 모두 동일한 학습을 통해 성능을 향상시킨다는 공통점이 있다. 본 논문은 이런 특징을 토대로, 데이터 복원 성능이 뛰어나도록 설계된 오토인코더 모델이 클러스터링 성능 또한 뛰어난지 알아보기 위한 실험을 진행했다. 데이터 복원 성능이 뛰어난 오토인코더를 설계하기 위해서 스킵연결(Skip connection) 기법을 사용했다. 스킵연결 기법은 기울기 소실(Vanishing gradient)현상을 해소해주고 모델의 학습 효율을 높인다는 장점을 가지고 있을 뿐만 아니라, 데이터 복원 시 손실된 정보를 보완해 줌으로써 데이터 복원 성능을 높이는 효과도 가지고 있다. 스킵연결이 적용된 오토인코더 모델과 적용되지 않은 모델의 데이터 복원 성능과 클러스터링 성능을 그래프와 시각적 추출물을 통해 결과를 비교해 보니, 데이터 복원 성능은 올랐지만 클러스터링 성능은 떨어지는 결과를 확인했다. 이 결과는 오토인코더와 같은 신경망 모델이 출력된 결과 성능이 좋다고 해서 각 레이어들이 데이터의 특징을 모두 잘 학습했다고 확신할 수 없음을 알려준다. 마지막으로 클러스터링의 성능을 좌우하는 잠재변수(latent code)와 스킵연결의 관계를 분석하여 실험 결과의 원인에 대해 파악하였고, 파악한 결과를 통해 잠재변수와 스킵연결의 특징정보를 이용해 클러스터링의 성능저하 현상을 보완할 수 있다는 사실을 보였다. 이 연구는 한자 유니코드 문제를 클러스터링 기법을 이용해 해결하고자 클러스터링 성능 향상을 위한 선행연구이다.

• 한국정보통신학회논문지
• /
• 제24권12호
• /
• pp.1574-1580
• /
• 2020

기존의 신체 인식 방법은 특수한 기기를 사용하거나 이미지로부터 영상처리를 통해 검출하는 방법들이 있다. 특수 기기를 사용할 경우 기기를 사용할 수 있는 환경이 제약되고 기기의 비용이 많이 든다는 단점이 있다. 카메라와 영상처리를 사용할 경우 환경의 제약과 비용이 낮아지는 장점이 있지만, 성능이 떨어진다. 이런 단점을 해결하기 위해 카메라와 합성 곱 심층 신경망을 사용한 신체 인식 방법들이 연구되었다. 합성 곱 심층 신경망의 성능을 올리기 위해 다양한 기법들이 제안되었다. 본 논문에서는 합성 곱 심층 신경망의 성능을 올리기 위한 기법 중 스킵 연결을 다양한 형태로 사용하여 스킵 연결이 손 검출 망에 끼치는 영향을 실험하였다. 실험을 통해 기본 스킵 연결 이외 추가적인 스킵 연결의 존재가 성능에 나은 영향을 끼치고 하향 스킵 연결만 추가된 망이 가장 나은 성능을 보임을 확인하였다.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.633-642
• /
• 2019

최근, 단일 이미지 초해상도 복원 기법(super-resolution)에서 컨볼루션 신경망 모델은 매우 성공적이다. 잔여 학습 기법은 컨볼루션 신경망 훈련의 안전성과 성능을 향상시킬 수 있다. 본 논문은 저해상도 입력 이미지에서 고해상도 목표 이미지로 비선형 매핑 학습을 위해 고밀도 스킵 연결(dense skip-connection)을 통한 재귀 잔차 구조를 이용한 단일 이미지 초해상도 복원 기법을 제안한다. 제안하는 단일 이미지 초해상도 복원 기법은 고밀도 스킵 연결 방식을 통해 재귀 잔차 학습 방법을 채택해서 깊은 신경망에서 학습이 어려운 문제를 완화하고 더 쉽게 최적화하기 위해 신경망 안에 불필요한 레이어를 제거한다. 제안하는 방법은 매우 깊은 신경망의 사라지는 변화도(vanishing gradient) 문제를 완화할 뿐만 아니고 낮은 복잡성으로 뛰어난 성능을 얻음으로써 단일 이미지 초해상도 복원 기법의 성능을 향상시킨다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬 보다 결과가 더 우수함을 보인다.

• 한국정보통신학회논문지
• /
• 제26권12호
• /
• pp.1769-1776
• /
• 2022

긴 문장으로 이루어진 글을 자동으로 요약하는 것은 중요한 기술이다. BART 모델은 이러한 요약 문제에서 좋은 성능을 보여주고 널리 사용되고 있는 모델 중 하나이다. 일반적으로 특정 도메인의 요약 모델을 생성하기 위해서는 큰 데이터세트를 학습한 언어 모델을 그 도메인에 맞게 다시 학습하는 미세조정 작업을 수행한다. 이러한 미세조정은 일반적으로 마지막 전 연결 계층의 노드 수를 변경하는 방식으로 진행된다. 하지만 본 논문에서는 최근 다양한 모델에 적용되어 좋은 성능을 보여주고 있는 어텐션 계층을 추가하는 방법으로 미세조정하는 방법을 제안한다. 제안하는 방법의 성능을 평가하기 위해 미세조정 과정에서 층을 더 깊게 쌓기, 스킵 연결 없는 미세조정 등 다양한 실험을 진행하였다. BART 언어 모델에 스킵 연결을 가진 2개의 어텐션 계층을 추가하였을 때 가장 좋은 성능을 보였다.

• 지능정보연구
• /
• 제27권3호
• /
• pp.175-197
• /
• 2021

최근 딥 러닝 기술의 발전으로 뉴스, 블로그 등 다양한 문서에 포함된 텍스트 분석에 딥 러닝 기술을 활용하는 연구가 활발하게 수행되고 있다. 다양한 텍스트 분석 응용 가운데, 텍스트 분류는 학계와 업계에서 가장 많이 활용되는 대표적인 기술이다. 텍스트 분류의 활용 예로는 정답 레이블이 하나만 존재하는 이진 클래스 분류와 다중 클래스 분류, 그리고 정답 레이블이 여러 개 존재하는 다중 레이블 분류 등이 있다. 특히, 다중 레이블 분류는 여러 개의 정답 레이블이 존재한다는 특성 때문에 일반적인 분류와는 상이한 학습 방법이 요구된다. 또한, 다중 레이블 분류 문제는 레이블과 클래스의 개수가 증가할수록 예측의 난이도가 상승한다는 측면에서 데이터 과학 분야의 난제로 여겨지고 있다. 따라서 이를 해결하기 위해 다수의 레이블을 압축한 후 압축된 레이블을 예측하고, 예측된 압축 레이블을 원래 레이블로 복원하는 레이블 임베딩이 많이 활용되고 있다. 대표적으로 딥 러닝 모델인 오토인코더 기반 레이블 임베딩이 이러한 목적으로 사용되고 있지만, 이러한 기법은 클래스의 수가 무수히 많은 고차원 레이블 공간을 저차원 잠재 레이블 공간으로 압축할 때 많은 정보 손실을 야기한다는 한계가 있다. 이에 본 연구에서는 오토인코더의 인코더와 디코더 각각에 스킵 연결을 추가하여, 고차원 레이블 공간의 압축 과정에서 정보 손실을 최소화할 수 있는 레이블 임베딩 방법을 제안한다. 또한 학술연구정보서비스인 'RISS'에서 수집한 학술논문 4,675건에 대해 각 논문의 초록으로부터 해당 논문의 다중 키워드를 예측하는 실험을 수행한 결과, 제안 방법론이 기존의 일반 오토인코더 기반 레이블 임베딩 기법에 비해 정확도, 정밀도, 재현율, 그리고 F1 점수 등 모든 측면에서 우수한 성능을 나타냄을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.708-710
• /
• 2021

본 논문에서는 X-ray 진단에서 산란선으로 인한 영상의 왜곡을 보정하는 방법으로서 수정된 구조의 AE(Auto-Encoder) 모델에 기반한 방법론을 제안한다. 기존 AE 모델의 계층에 따라 특징지도의 크기가 축소되고 팽창되는 과정에서 영상 복원에 필요한 정보가 소실될 가능성을 보완하기 위하여 동일 레벨 계층 간에 스킵 연결을 추가하였다. 또한 X-ray 영상에서 피사체 세부 부위의 두께와 밀도에 따라 산란선의 영향이 서로 다른 형태로 나타난다는 특성을 학습 과정에 효과적으로 반영하기 위하여 어텐션 모듈을 추가한 네트워크 구조를 도입하였다. 총 80 쌍의 흉부 X-ray 영상 데이터에 대하여 기존의 AE 모델을 사용한 방법 및 U-Net 과 FFA-Net 모델을 사용한 영상 복원 기법의 실험 결과를 상호 비교함으로써 제안된 방법의 타당성을 평가하였다.

• 한국인터넷방송통신학회논문지
• /
• 제23권5호
• /
• pp.71-76
• /
• 2023

본 논문에서는 딥러닝을 이용한 영상 분할에서 성능을 향상하기 위해 퍼지 논리를 적용하는 퍼지 딥러닝 모델인 퍼지 U-Net을 제안한다. 퍼지 논리를 이용한 퍼지 모듈을 영상 분할에서 우수한 성능을 보이는 딥러닝 모델인 U-Net에 결합하여 다양한 형태의 퍼지 모듈을 시뮬레이션하였다. 제안된 딥러닝 모델의 퍼지 모듈은 이미지의 특징맵과 해당 분할 결과 사이의 본질적이고 복잡한 규칙을 학습다. 이를 위해 치아 CBCT 데이터에 적용하여 제안된 방법의 우수성을 입증하였다. 시뮬레이션 결과 제안된 퍼지 U-Net에서 더하기 스킵 연결을 사용한 모델의 ADD-RELU 퍼지 모듈 구조의 성능이 시험용 데이터에 대해 0.7928로 가장 우수한 것을 볼 수 있다.

• 스마트미디어저널
• /
• 제13권3호
• /
• pp.53-61
• /
• 2024

본 논문은 기존 방법보다 우수한 성능을 달성하는 피부 병변 분할을 위한 새로운 M자 모양 인코더-디코더 아키텍처를 제안한다. 제안된 아키텍처는 왼쪽과 오른쪽 다리를 활용하여 다중 스케일 특징 추출을 가능하게 하고, 스킵 연결 내에서 어텐션 메커니즘을 통합하여 피부 병변 분할 성능을 더욱 향상시킨다. 입력 영상은 네 가지 다른 패치로 분할되어 입력되며 인코더-디코더 프레임워크 내에서 피부 병변 분할 성능의 향상된 처리를 가능하게 한다. 제안하는 방법에서 어텐션 메커니즘을 통해 입력 영상의 특징에 더 많은 초점을 맞추어 더욱 정교한 영상 분할 결과를 도출하는 것이다. 실험 결과는 제안된 방법의 효과를 강조하며, 기존 방법과 비교하여 우수한 정확도, 정밀도 및 Jaccard 지수를 보여준다.

• 한국음향학회지
• /
• 제42권5호
• /
• pp.395-401
• /
• 2023

음향 이벤트 검출(Sound Event Detection, SED)은 음향 신호에서 관심 있는 음향의 종류와 발생 구간을 검출하는 기술로, 음향 감시 시스템 및 모니터링 시스템 등 다양한 분야에서 활용되고 있다. 최근 음향 신호 분석에 관한 국제 경연 대회(Detection and Classification of Acoustic Scenes and Events, DCASE) Task 4를 통해 다양한 방법이 소개되고 있다. 본 연구는 다양한 영역에서 성능 향상을 이끌고 있는 Dense Convolutional Networks(DenseNet)을 음향 이벤트 검출에 적용하기 위해 설계 변수에 따른 성능 변화를 비교 및 분석한다. 실험에서는 DenseNet with Bottleneck and Compression(DenseNet-BC)와 순환신경망(Recurrent Neural Network, RNN)의 한 종류인 양방향 게이트 순환 유닛(Bidirectional Gated Recurrent Unit, Bi-GRU)을 결합한 DenseRNN 모델을 설계하고, 평균 교사 모델(Mean Teacher Model)을 통해 모델을 학습한다. DCASE task4의 성능 평가 기준에 따라 이벤트 기반 f-score를 바탕으로 설계 변수에 따른 DenseRNN의 성능 변화를 분석한다. 실험 결과에서 DenseRNN의 복잡도가 높을수록 성능이 향상되지만 일정 수준에 도달하면 유사한 성능을 보임을 확인할 수 있다. 또한, 학습과정에서 중도탈락을 적용하지 않는 경우, 모델이 효과적으로 학습됨을 확인할 수 있다.

• 대한원격탐사학회지
• /
• 제37권5_1호
• /
• pp.1061-1070
• /
• 2021

본 연구에서는 국내 농업지역에 대한 작물재배지역의 분류를 위하여 FC-DenseNet 모델에 attention gate를 적용하여 딥러닝 모델의 성능을 향상시키고자 하였다. Attention gate는 특징맵의 공간/분광적 중요도에 따른 가중치를 추가적으로 학습하여 딥러닝 모델의 학습을 용이하게 하고, 모델의 성능을 향상시킬 수 있다. Attention gate를 FC-DenseNet의 스킵 연결 부분에 추가한 딥러닝 모델을 이용하여 양파 및 마늘 지역의 작물분류를 수행하였다. PlanetScope 위성영상을 이용하여 훈련자료를 제작하였으며, 훈련자료의 불균형 문제를 해결하기 위하여 전처리 과정을 적용하였다. 다양한 평가자료를 이용하여 작물재배분류 결과를 평가한 결과, 제안된 딥러닝 모델은 기존의 FC-DenseNet과 비교하여 효과적으로 양파 및 마늘 지역을 분류할 수 있는 것을 확인하였다.