• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.633-635
• /
• 2016

Convolutional Networks (ConvNets) are powerful models that learn hierarchies of visual features, which could also be used to obtain image representations for transfer learning. The basic pipeline for transfer learning is to first train a ConvNet on a large dataset (source task) and then use feed-forward units activation of the trained ConvNet as image representation for smaller datasets (target task). Our key contribution is to demonstrate superior performance of multiple ConvNet layer features over single ConvNet layer features. Combining multiple ConvNet layer features will result in more complex feature space with some features being repetitive. This requires some form of feature selection. We use AdaBoost with single stumps to implicitly select only distinct features that are useful towards classification from concatenated ConvNet features. Experimental results show that using multiple ConvNet layer activation features instead of single ConvNet layer features consistently will produce superior performance. Improvements becomes significant as we increase the distance between source task and the target task.

• 지능정보연구
• /
• 제24권1호
• /
• pp.205-225
• /
• 2018

Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.

• Elastomers and Composites
• /
• 제35권3호
• /
• pp.173-179
• /
• 2000

3가지 대표적인 가황계인 conventional vulcanization(Conv), semi-efficient vulcanization (Semi-EV), efficient vulcanization(EV)방법을 카본블랙 충전 천연고무 배합고무에 대해 적용하고, 이들 가황계에 따른 가황특성, 인장특성, 동적 점탄성을 조사하였다. 또한 가황온도가 배합고무의 기계적 물성과 노화저항성에 미치는 영향도 조사하였다. Conv 가황계가 Semi-EV나 EV 가황계에 비해 가황속도는 낮았으나 최대 토오크는 높았다. 인장특성은 Conv 가황계가 Semi-EV나 EV 가황계에 비해 높은 모듈러스를 나타내었고, 파괴점에서의 인장강도는 유사한 반면 신장율은 낮았다. 가황온도 증가에 따라 경도, 모듈러스 및 인장강도는 감소하였고, 감소 정도는 EV나 Semi-EV 가황계가 Conv 가황계보다 낮았다. 또한 열노화에 대한 저항성은 EV 가황계가 Conv 가황계보다 월등히 우수하였다.

• 한국정보통신학회논문지
• /
• 제23권1호
• /
• pp.55-62
• /
• 2019

CNN은 컴퓨터 영상 인식 부분에서 높은 성능을 보여주고 있으나 많은 연산양을 요구하는 단점으로 인해 전력이나 연산 능력에 제한이 있는 임베디드 환경에서는 사용하기 어렵다. 이러한 단점을 극복하기 위해 CNN을 위한 가속회로나 가지치기 기법에 대한 연구가 많이 이루어지고 있다. 기존의 가지치기 기법은 가속 회로의 구조를 고려하지 않아서, 가지치기된 CNN을 위한 가속 회로는 비효율적인 구조를 가지게 된다. 이 논문에서는 가속 회로의 구조를 고려한 새로운 가지치기 기법인 Conv-XP 가지치기를 제안한다. Conv-XP 가지치기에서는 'X'와 '+' 모양의 두 가지 패턴으로만 가지치기함으로써, 이 기법으로 가지치기된 CNN을 위한 가속 회로의 구조를 단순하게 설계할 수 있도록 하였다. 실험 결과에 따르면, Conv-XP와 같이 가지치기 패턴을 제한하여도 CNN의 성능이 악화되지 않으며, 가속 회로의 면적은 12.8%을 감소시킬 수 있다.

• International Journal of Computer Science & Network Security
• /
• 제23권9호
• /
• pp.47-54
• /
• 2023

For Bengali music emotion classification, deep learning models, particularly CNN and RNN are frequently used. But previous researches had the flaws of low accuracy and overfitting problem. In this research, attention-based Conv1D and BiGRU model is designed for music emotion classification and comparative experimentation shows that the proposed model is classifying emotions more accurate. We have proposed a Conv1D and Bi-GRU with the attention-based model for emotion classification of our Bengali music dataset. The model integrates attention-based. Wav preprocessing makes use of MFCCs. To reduce the dimensionality of the feature space, contextual features were extracted from two Conv1D layers. In order to solve the overfitting problems, dropouts are utilized. Two bidirectional GRUs networks are used to update previous and future emotion representation of the output from the Conv1D layers. Two BiGRU layers are conntected to an attention mechanism to give various MFCC feature vectors more attention. Moreover, the attention mechanism has increased the accuracy of the proposed classification model. The vector is finally classified into four emotion classes: Angry, Happy, Relax, Sad; using a dense, fully connected layer with softmax activation. The proposed Conv1D+BiGRU+Attention model is efficient at classifying emotions in the Bengali music dataset than baseline methods. For our Bengali music dataset, the performance of our proposed model is 95%.

• 대한원격탐사학회지
• /
• 제38권6_1호
• /
• pp.1047-1056
• /
• 2022

지구 온난화의 중요한 지시자인 북극의 바다 얼음인 해빙은 기후 시스템, 선박의 항로 안내, 어업 활동 등에서의 중요성으로 인해 다양한 학문 분야에서 관심을 받고 있다. 최근 자동화와 효율적인 미래 예측에 대한 요구가 커지면서 인공지능을 이용한 새로운 해빙 예측 모델들이 전통적인 수치 및 통계 예측 모델을 대체하기 위해 개발되고 있다. 본 연구에서는 북극 해빙의 전역적, 지역적 특징을 학습할 수 있는 two-stream convolutional long- and short-term memory (TS-ConvLSTM) 인공지능 모델의 북극 해빙 면적이 최저를 보이는 9월에 대해 2001년부터 2021년까지 장기적인 성능 검증을 통해 향후 운용 가능한 시스템으로써의 가능성을 살펴보고자 한다. 장기 자료를 통한 검증 결과 TS-ConvLSTM 모델이 훈련자료의 양이 증가하면서 향상된 예측 성능을 보여주고 있지만, 최근 지구 온난화로 인한 단년생 해빙의 감소로 인해 해빙 농도 5-50% 구간에서는 예측력이 저하되고 있음을 보여주었다. 반면 TS-ConvLSTM에 의해 예측된 해빙 면적과 달리 Sea Ice Prediction Network에 제출된 Sea Ice Outlook (SIO)들의 해빙 면적 중간값의 경우 훈련자료가 늘어나더라도 눈에 띄는 향상을 보이지 않았다. 본 연구를 통해 TS-ConvLSTM 모델의 향후 북극 해빙 예측 시스템의 운용 가능 잠재성을 확인하였으나, 향후 연구에서는 예측이 어려운 자연 환경에서 더욱 안정성 있는 예측 시스템 개발을 위해 더 많은 시공간 변화 패턴을 학습할 수 있는 방안을 고려해야 할 것이다.

• 대한의용생체공학회:의공학회지
• /
• 제43권5호
• /
• pp.341-352
• /
• 2022

Medical image segmentation is the most important task in radiation therapy. Especially, when segmenting medical images, the liver is one of the most difficult organs to segment because it has various shapes and is close to other organs. Therefore, automatic segmentation of the liver in computed tomography (CT) images is a difficult task. Since tumors also have low contrast in surrounding tissues, and the shape, location, size, and number of tumors vary from patient to patient, accurate tumor segmentation takes a long time. In this study, we propose a method algorithm for automatically segmenting the liver and tumor for this purpose. As an advantage of setting the boundaries of the tumor, the liver and tumor were automatically segmented from the CT image using the 2D CoordConv DeepLab V3+ model using the CoordConv layer. For tumors, only cropped liver images were used to improve accuracy. Additionally, to increase the segmentation accuracy, augmentation, preprocess, loss function, and hyperparameter were used to find optimal values. We compared the CoordConv DeepLab v3+ model using the CoordConv layer and the DeepLab V3+ model without the CoordConv layer to determine whether they affected the segmentation accuracy. The data sets used included 131 hepatic tumor segmentation (LiTS) challenge data sets (100 train sets, 16 validation sets, and 15 test sets). Additional learned data were tested using 15 clinical data from Seoul St. Mary's Hospital. The evaluation was compared with the study results learned with a two-dimensional deep learning-based model. Dice values without the CoordConv layer achieved 0.965 ± 0.01 for liver segmentation and 0.925 ± 0.04 for tumor segmentation using the LiTS data set. Results from the clinical data set achieved 0.927 ± 0.02 for liver division and 0.903 ± 0.05 for tumor division. The dice values using the CoordConv layer achieved 0.989 ± 0.02 for liver segmentation and 0.937 ± 0.07 for tumor segmentation using the LiTS data set. Results from the clinical data set achieved 0.944 ± 0.02 for liver division and 0.916 ± 0.18 for tumor division. The use of CoordConv layers improves the segmentation accuracy. The highest of the most recently published values were 0.960 and 0.749 for liver and tumor division, respectively. However, better performance was achieved with 0.989 and 0.937 results for liver and tumor, which would have been used with the algorithm proposed in this study. The algorithm proposed in this study can play a useful role in treatment planning by improving contouring accuracy and reducing time when segmentation evaluation of liver and tumor is performed. And accurate identification of liver anatomy in medical imaging applications, such as surgical planning, as well as radiotherapy, which can leverage the findings of this study, can help clinical evaluation of the risks and benefits of liver intervention.

• 정보과학회 논문지
• /
• 제43권9호
• /
• pp.1034-1042
• /
• 2016

영역기반 영상정합은 미리 정의된 특징의 도움 없이 영상을 정합할 수 있기 때문에, 기계학습과 접목된다면 이론 상 다양한 영상정합 문제에 적용 가능하다. 그러나 신속한 정합을 위하여, 미리 정의된 특징을 탐지하여 패치 쌍 후보를 선정에 사용하는데, 이는 영역기반 방법의 적용성에 제약을 준다. 이를 해소하기 위하여 본 연구에서는 단순히 두 패치의 관련도 뿐만 아니라 두 패치가 어느 정도 공간 상 떨어져 있는지에 대한 정보를 제공하는 ConvNet Dart를 개발하였다. 이러한 정보를 기반으로 효율적으로 패치 쌍 탐색공간을 줄일 수 있었다. 추가로 Dart가 제대로 작동할 수 없는 영역을 식별하는 ConvNet Fad를 개발하여 정합의 정밀도를 높였다. 본 연구에서는 이들을 딥러닝으로 학습하였으며, 이를 위해 소수의 정합된 영상에서 다량의 예제를 생성하는 방법을 개발하였다. 마지막으로 단순한 영상정합 문제에 성공적으로 적용하여, 이러한 방법론이 작동하는 것을 보였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.62-62
• /
• 2022

홍수 예보를 위한 강우-유출 분석에서 정확한 예측 강우량 정보는 매우 중요한 인자이다. 이에 따라 강우 예측을 위하여 다양한 연구들이 수행되고 있지만 시·공간적으로 비균일한 특성 또는 변동성을 가진 강우를 정확하게 예측하는 것은 여전히 난제이다. 본 연구에서는 딥러닝 기반 ConvLSTM (Convolutinal Long Short-Term Memory) 모형을 사용하여 위성 강수 자료의 단기 예측을 수행하고 그 정확성을 분석하고자 한다. 대상유역은 메콩강 유역이며, 유역 면적이 넓고 강우 관측소의 밀도가 낮아 시·공간적 강우량 추정에 한계가 있으므로 정확한 강우-유출 분석을 위하여 위성 강수 자료의 활용이 요구된다. 현재 TRMM, GSMaP, PERSIANN 등 많은 위성 강수 자료들이 제공되고 있으며, 우선적으로 ConvLSTM 모형의 강수 예측 활용가능성 평가를 위한 입력자료로 가장 보편적으로 활용되는 TRMM_3B42 자료를 선정하였다. 해당 자료의 특성으로 공간해상도는 0.25°, 시간해상도는 일자료이며, 2001년부터 2015년의 자료를 수집하였다. 모형의 평가를 위하여 2001년부터 2013년 자료는 학습, 2014년 자료는 검증, 2015년 자료는 예측에 사용하였다. 또한 민감도 분석을 통하여 ConvLSTM 모형의 최적 매개변수를 추정하고 이를 기반으로 선행시간(lead time) 1일, 2일, 3일의 위성 강수 예측을 수행하였다. 그 결과 선행시간이 길어질수록 그 오차는 증가하지만, 전반적으로 3가지 선행시간 모두 자료의 강수량뿐만 아니라 공간적 분포까지 우수하게 예측되었다. 따라서 2차원 시계열 자료의 특성을 기억하고 이를 예측에 반영할 수 있는 ConvLSTM 모형은 메콩강과 같은 미계측 대유역에서의 안정적인 예측 강수량 정보를 제공할 수 있으며 홍수 예보를 위한 강우-유출 분석에 활용이 가능할 것으로 판단된다.

• 대한원격탐사학회지
• /
• 제36권5_3호
• /
• pp.1077-1093
• /
• 2020

해수면 온도는 전 세계 해양, 기상 현상에 영향을 주고 해양 환경 변화와 생물에게 영향을 주는 중요한 요소이다. 특히, 우리나라 남해안을 비롯한 연안 지역의 경우 어업 및 양식업 등의 수산업이 많이 발달하여, 매년 고수온 현상으로 인한 사회·경제적 피해가 발생하고 있다. 따라서 위성 자료와 같은 광범위한 지역을 감시할 수 있는 자료를 활용한 해수면 온도 및 공간적 분포의 예측기술 개발을 통하여 피해를 예방할 수 있는 시스템을 구축할 필요가 있다. 해수면 온도 예측은 기존의 수치 모델을 통해서 예측을 진행하였지만, 다수의 역학적 요인들을 사용하여 예측 결과 산출 시 복잡함이 존재한다. 최근 기계학습 및 딥러닝 기법이 발달함에 따라 해양 분야의 예측에 적용하는 연구가 진행되고 있다. 본 연구는 그 중 시·공간적인 일관성 및 정확도가 높은 장단기 기억(Long Short Term Memory, LSTM)과 합성곱 장단기 기억(Convolutional Long Short Term Memory, ConvLSTM) 딥러닝 기법을 사용하여 남해지역의 해수면온도 예측 및 2017년부터 2019년까지의 고수온 발생 건에 대해서 예측 결과의 공간 분포와 공간 분포와 예측 가능성에 대해 분석을 하였다. 1일 예측 모델의 정확도는 RMSE 기준으로 ConvLSTM(전체: 0.33℃, 봄: 0.34℃, 여름: 0.27℃, 가을: 0.32℃, 겨울: 0.36℃)이 LSTM 기반의 예측 모델(전체: 0.40℃, 봄: 0.40℃, 여름: 0.48℃, 가을: 0.39℃, 겨울: 0.34℃)보다 우수한 성능을 보였다. 2017년 고수온 발생 사례에 대해 해수면 온도 예측과 고수온 탐지 성능에서 ConvLSTM은 5일까지 경보를 탐지하였지만, LSTM의 경우 2일 예측 이후 해수면 온도를 과소 추정하는 경향이 커짐에 따라 탐지하지 못하였다. 시공간적인 해수면 온도 예측 시 ConvLSTM이 LSTM에 비해 적절한 모델로 판단된다.