• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.67-70
• /
• 2022

NLP 분야에서 적극 활용되기 시작한 Transformer 모델을 Vision 분야에서 적용하기 시작하면서 object detection과 segmentation 등 각종 분야에서 기존 CNN 기반 모델의 정체된 성능을 극복하며 향상되고 있다. 또한, label 데이터 없이 이미지들로만 자기지도학습을 한 ViT(Vision Transformer) 모델을 통해 이미지에 포함된 여러 중요한 객체의 영역을 검출하는 saliency map을 추출할 수 있게 되었으며, 이로 인해 ViT의 자기지도학습을 통한 object detection과 semantic segmentation 연구가 활발히 진행되고 있다. 본 논문에서는 ViT 모델 뒤에 classifier를 붙인 모델에 일반 학습한 모델과 자기지도학습의 pretrained weight을 사용해서 전이학습한 모델의 시각화를 통해 각 saliency map들을 비교 분석하였다. 이를 통해, 클래스 분류 학습 기반 전이학습이 transformer의 saliency map에 미치는 영향을 확인할 수 있었다.

• 지능정보연구
• /
• 제9권3호
• /
• pp.65-79
• /
• 2003

운송 컨테이너의 식별자를 추출하고 인식하는 것은 컨테이너 식별자들의 크기나 위치가 정형화되어 있지 않고 외부의 잡음으로 인하여 식별자의 형태가 훼손되어 있기 때문에 어렵다. 본 논문에서는 이러한 특성을 고려하여 컨테이너 영상에 대해 Canny 마스크를 이용하여 에지를 검출하고, 검출된 에지 정보를 이용하여 수직블록과 수평블록을 추출하여 컨테이너의 식별자 영역을 추출한다. 추출된 컨테이너의 식별자 영역에서 윤곽선 추적 알고리즘을 이용하여 개별 식별자를 추출하며, 그들의 인식을 위해서는 개선된 ARTl과 지도 학습 방법을 결합한 개선된 성능의 자가 생성 지도 학습 알고리즘을 제안하여 적용한다. 제안된 방법의 성능을 확인하기 위하여 운송 컨테이너 영상들을 대상으로 실험 결과, 윤곽선 추적 알고리즘을 이용한 식별자의 추출 방법이 히스토그램을 이용한 식별자의 추출 방법보다 추출률이 개선되었고 인식 결과에서도 개선된 ART1 기반 자가 생성 지도 학습 방법이 기존의 ART1 기반 자가 생성 지도 학습 방법보다 인식률이 향상되었다.

• 한국ITS학회 논문지
• /
• 제20권6호
• /
• pp.313-330
• /
• 2021

카메라와 라이다가 탑재된 자율주행 시스템에서 깊이완성기술을 통해 조밀한 깊이추정을 할 수 있다. 특히, 자기지도학습을 이용하면 깊이정답이 없는 주행데이터로도 깊이완성 네트워크의 학습이 가능하다. 실제 자율주행환경에서 이러한 깊이완성의 출력은 다른 알고리즘들의 입력으로 사용되므로 매우 빠른 지연속도를 요구한다. 그래서 본 논문에서는 종래의 연구들처럼 네트워크를 고도화하여 정확도를 높이기보단 추론속도를 극대화한 형태의 깊이완성 네트워크를 사용한다. GPU 연산에 최적화된 RegNet 인코더를 사용하고 네트워크의 병렬성을 고려한 U-Net 형태의 네트워크를 설계한다. 대신, 본 논문에서는 자기지도학습 과정에서 정확도를 높일 수 있는 몇 가지 기법들을 제시한다. 제시하는 기법들은 신뢰할 수 없는 라이다 입력에 대한 강인함을 높이고 사전에 추출한 시맨틱 정보를 바탕으로 에지와 하늘 영역에 대한 깊이 추정 품질을 향상시킨다. 실험을 통해 우리의 모델은 매우 경량임에도 (2.42ms at 1280x480) 노이즈에 강하며 최신 연구들과 대등한 정확도를 보임을 확인한다.

• 한국정보통신학회논문지
• /
• 제27권1호
• /
• pp.8-14
• /
• 2023

기존의 자기지도 학습 기반의 CutPaste 기법은 정상 이미지에서 특정 패치를 자르고 붙이는 방법으로 합성 데이터를 생성한 뒤 이상탐지를 수행하였다. 그러나 이런 방식으로 생성된 합성데이터는 패치의 경계에 뚜렷한 차이가 나타나는 문제가 발생된다. 이러한 문제를 해결하기 위한 NSA 기법은 Poisson Blending을 통해 자연스러운 합성 데이터를 생성하여 더 높은 이상탐지 성능을 달성하였다. 그러나 NSA 기법은 클래스마다 조정해야하는 하이퍼 파라미터가 많은 단점을 가지고 있다. 본 논문에서는 합성 패치의 크기를 매우 작게 하는 단순한 방법으로 정상과 유사한 합성 데이터를 생성하였다. 이 때 패치가 매우 지역적으로 합성되기 때문에, 지역적인 특징을 학습하는 모델을 사용하면 합성 데이터에 쉽게 과적합 될 수 있다. 따라서 전역적인 특징을 학습하는 gMLP를 사용하여 이상탐지를 수행하였고, 단순한 합성 방법으로도 기존 자기 지도 학습 기법보다 더 높은 성능을 달성할 수 있었다.

• 한국정보통신학회논문지
• /
• 제11권7호
• /
• pp.1380-1386
• /
• 2007

본 논문에서는 퍼지 기반 잡음 제거 방법과 ART2 기반 자가 생성 지도 학습 알고리즘을 이용한 운송 컨테이너 식별자 인식 시스템을 제안한다. 일반적으로 운송 컨테이너의 식별자들은 글자색이 검정색 또는 흰색으로 이루어져 있는 특징이 있다. 이러한 특성을 고려하여 원 컨테이너 영상에 대해 검은색과 흰색을 제외한 모든 부분을 잡음으로 처리하기 위해 퍼지를 이용한 잡음 판단 방법을 적용하여 식별자 영역과 잡음을 구별한다. 그리고 Sobel 마스크를 이용하여 에지를 검출하고, 추출된 에지를 이용하여 수직 블록과 수평 블록을 검출하여 컨테이너의 식별자 영역을 추출하고 이진화한다. 이진화된 식별자 영역에 대해 8 방향 윤곽선 추적 알고리즘을 적용하여 개별 식별자를 추출한다. 개별 식별자 인식을 위해 ART2 기반 자가 생성 지도 학습 알고리즘을 제안하여 개별 식별자 인식에 적용한다. ART2 기반 자가 생성 지도 학습 알고리즘은 일반화된 델타 학습 방법과 Delta-bar-Delta 알고리즘을 적용하여 학습 성능을 개선한다. 실제 컨테이너 영상을 대상으로 실험한 결과, 기존의 식별자 추출 방법보다 제안된 식별자 추출 방법이 개선되었다. 그리고 기존의 식별자 인식 알고리즘보다 제안된 ART2 기반 자가 생성 지도 학습 알고리즘이 식별자의 학습 및 인식에 있어서 우수한 성능이 있음을 확인하였다.

• 스마트미디어저널
• /
• 제12권1호
• /
• pp.32-46
• /
• 2023

Natural Language Processing (NLP) has grown tremendously in recent years. Typically, bilingual, and multilingual translation models have been deployed widely in machine translation and gained vast attention from the research community. On the contrary, few studies have focused on translating between spoken and sign languages, especially non-English languages. Prior works on Sign Language Translation (SLT) have shown that a mid-level sign gloss representation enhances translation performance. Therefore, this study presents a new large-scale Korean sign language dataset, the Museum-Commentary Korean Sign Gloss (MCKSG) dataset, including 3828 pairs of Korean sentences and their corresponding sign glosses used in Museum-Commentary contexts. In addition, we propose a translation framework based on self-supervised learning, where the pretext task is a text-to-text from a Korean sentence to its back-translation versions, then the pre-trained network will be fine-tuned on the MCKSG dataset. Using self-supervised learning help to overcome the drawback of a shortage of sign language data. Through experimental results, our proposed model outperforms a baseline BERT model by 6.22%.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.589-591
• /
• 2023

현재 수치예보 시스템은 항공기, 위성 등 다양한 센서에서 얻은 다종 관측 데이터를 동화하여 대기 상태를 추정하고 있지만, 관측변수 또는 물리량이 서로 다른 관측들을 처리하기 위한 계산 복잡도가 매우 높다. 본 연구에서 기존 시스템의 계산 효율성을 개선하여 관측을 평가하거나 전처리하는 데에 효율적으로 활용하기 위해, 각 관측의 특성을 고려한 자기 지도학습 방법을 통해 멀티모달 기상관측으로부터 실제 대기 상태를 추정하는 방법론을 제안하고자 한다. 비균질적으로 수집되는 멀티모달 기상관측 데이터를 융합하기 위해, (i) 기상관측의 heterogeneous network를 구축하여 개별 관측의 위상정보를 표현하고, (ii) pretext task 기반의 self-supervised learning을 바탕으로 개별 관측의 특성을 표현한다. (iii) Graph neural network 기반의 예측 모델을 통해 실제에 가까운 대기 상태를 추정한다. 제안하는 모델은 대규모 수치 시뮬레이션 시스템으로 수행되는 기존 기술의 한계점을 개선함으로써, 이상 관측 탐지, 관측의 편차 보정, 관측영향 평가 등 관측 전처리 기술로 활용할 수 있다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.137-142
• /
• 2024

최근, 의료 데이터 표현 분야에서 딥러닝 방법들이 사실상의 표준으로 자리잡고 있다. 하지만, 딥러닝 기술은 내재적으로 많은 양의 학습 데이터를 필요로 하므로 대규모의 데이터를 확보하기 쉽지 않은 의료 분야에서는 직접적인 적용이 어려운 실정이다. 특히 뇌신호 모달리티의 경우, 변동성이 크기 때문에 여전히 데이터 부족 문제를 가진다. 이에, 최근 연구에서는 뇌신호의 시간-공간-주파수 특징을 적절하게 추출할 수 있는 딥 뉴럴 네트워크 구조를 설계하거나, 혹은 자가-지도 학습 방법을 도입하여 뇌신호의 신경생리학적 특징을 미리 학습하도록 한다. 본 논문에서는, 최근 각광받는 기술인 뇌-컴퓨터 인터페이스 및 피험자 상태 예측 등의 관점에서 소규모데이터를 다루기 위해 적용되는 방법론에 대한 분석 및 향후 기술 방향성을 제시한다. 먼저 현재 제안되고 있는 뇌신호 표현을 위한 딥 뉴럴 네트워크 구조에 대해 분석한다. 또한 뇌신호의 특성을 잘 학습하기 위한 자가-지도 학습 방법론을 분석한다. 끝으로, 딥러닝 기반 뇌신호 분석을 위한 중요 시사점 및 방향성에 관하여 논한다.

• Korean Journal of Radiology
• /
• 제24권6호
• /
• pp.541-552
• /
• 2023

Objective: Detection of pneumoperitoneum using abdominal radiography, particularly in the supine position, is often challenging. This study aimed to develop and externally validate a deep learning model for the detection of pneumoperitoneum using supine and erect abdominal radiography. Materials and Methods: A model that can utilize "pneumoperitoneum" and "non-pneumoperitoneum" classes was developed through knowledge distillation. To train the proposed model with limited training data and weak labels, it was trained using a recently proposed semi-supervised learning method called distillation for self-supervised and self-train learning (DISTL), which leverages the Vision Transformer. The proposed model was first pre-trained with chest radiographs to utilize common knowledge between modalities, fine-tuned, and self-trained on labeled and unlabeled abdominal radiographs. The proposed model was trained using data from supine and erect abdominal radiographs. In total, 191212 chest radiographs (CheXpert data) were used for pre-training, and 5518 labeled and 16671 unlabeled abdominal radiographs were used for fine-tuning and self-supervised learning, respectively. The proposed model was internally validated on 389 abdominal radiographs and externally validated on 475 and 798 abdominal radiographs from the two institutions. We evaluated the performance in diagnosing pneumoperitoneum using the area under the receiver operating characteristic curve (AUC) and compared it with that of radiologists. Results: In the internal validation, the proposed model had an AUC, sensitivity, and specificity of 0.881, 85.4%, and 73.3% and 0.968, 91.1, and 95.0 for supine and erect positions, respectively. In the external validation at the two institutions, the AUCs were 0.835 and 0.852 for the supine position and 0.909 and 0.944 for the erect position. In the reader study, the readers' performances improved with the assistance of the proposed model. Conclusion: The proposed model trained with the DISTL method can accurately detect pneumoperitoneum on abdominal radiography in both the supine and erect positions.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.380-382
• /
• 2022

Extracting informative representation of molecules using graph neural networks(GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self supervised in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised learning on applying varitional auto-encoders can be potentially effective on molecular data.