• 지능정보연구
• /
• 제22권2호
• /
• pp.127-142
• /
• 2016

딥러닝은 인공신경망(neural network)이라는 인공지능분야의 모형이 발전된 형태로서, 계층구조로 이루어진 인공신경망의 내부계층(hidden layer)이 여러 단계로 이루어진 구조이다. 딥러닝에서의 주요 모형은 합성곱신경망(convolutional neural network), 순환신경망(recurrent neural network), 그리고 심층신뢰신경망(deep belief network)의 세가지라고 할 수 있다. 그 중에서 현재 흥미로운 연구가 많이 발표되어서 관심이 집중되고 있는 모형은 지도학습(supervised learning)모형인 처음 두 개의 모형이다. 따라서 본 논문에서는 지도학습모형의 가중치를 최적화하는 기본적인 방법인 오류역전파 알고리즘을 살펴본 뒤에 합성곱신경망과 순환신경망의 구조와 응용사례 등을 살펴보고자 한다. 본문에서 다루지 않은 모형인 심층신뢰신경망은 아직까지는 합성곱신경망 이나 순환신경망보다는 상대적으로 주목을 덜 받고 있다. 그러나 심층신뢰신경망은 CNN이나 RNN과는 달리 비지도학습(unsupervised learning)모형이며, 사람이나 동물은 관찰을 통해서 스스로 학습한다는 점에서 궁극적으로는 비지도학습모형이 더 많이 연구되어야 할 주제가 될 것이다.

• 한국전자통신학회논문지
• /
• 제19권4호
• /
• pp.721-732
• /
• 2024

동물플랑크톤의 종 동종은 해양 생태계의 이해 및 지구온난화를 연구하는데 가장 기본이다. 본 연구에서는 3종의 동물플랑크톤을 종 수준에서 암컷과 수컷을 분류할 수 있는 합성곱 신경망 모델을 제안한다. 첫째 연구자들이 획득하는 현미경 이미지를 기반으로 형태적 특징을 포함하는 학습데이터를 구축한다. 학습데이터의 구축에 있어 대상 종의 형태적 특징 정보를 보존하는 데이터 확대 방법을 적용한다. 둘째 구축된 학습데이터로부터 종 특징들이 학습될 수 있는 합성곱 신경망 모델을 제안한다. 제안한 모델은 높은 해상도를 고려하여 학습 이미지 정보 손실을 최소화하였고 완전 연결 층 대신에 전역 평균 폴링 층을 사용하여 학습 매개 변수 개수를 최소화하였다. 제안한 모델의 일반성을 제시하기 위해 새로이 획득한 데이터를 기반으로 성능을 제시하였다. 마지막으로 개발된 모델에서 추출된 특징들의 시각화를 통해, 분류 모델의 중요 특징을 제시하였다.

• 치과방사선
• /
• 제29권1호
• /
• pp.149-159
• /
• 1999

Purpose: The purpose of this study was to evaluate cervical lymph node metastasis of oral squamous cell carcinoma patients by MRI film and neural network system. Materials and Methods: The oral squamous cell carcinoma patients(21 patients. 59 lymph nodes) who have visited SNU hospital and been taken by MRI. were included in this study. Neck dissection operations were done and all of the cervical lymph nodes were confirmed with biopsy. In MR images. each lymph node were evaluated by using 6 MR imaging criteria(size. roundness. heterogeneity. rim enhancement. central necrosis, grouping) respectively. Positive predictive value. negative predictive value. and accuracy of each MR imaging criteria were calculated. At neural network system. the layers of neural network system consisted of 10 input layer units. 10 hidden layer units and 1 output layer unit. 6 MR imaging criteria previously described and 4 MR imaging criteria (site I-node level II and submandibular area. site II-other node level. shape I-oval. shape II-bean) were included for input layer units. The training files were made of 39 lymph nodes(24 metastatic lymph nodes. 10 non-metastatic lymph nodes) and the testing files were made of other 20 lymph nodes(10 metastatic lymph nodes. 10 non-metastatic lymph nodes). The neural network system was trained with training files and the output level (metastatic index) of testing files were acquired. Diagnosis was decided according to 4 different standard metastatic index-68. 78. 88. 98 respectively and positive predictive values. negative predictive values and accuracy of each standard metastatic index were calculated. Results: In the diagnosis of using single MR imaging criteria. the rim enhancement criteria had highest positive predictive value (0.95) and the size criteria had highest negative predictive value (0.77). In the diagnosis of using single MR imaging criteria. the highest accurate criteria was heterogeneity (accuracy: 0.81) and the lowest one was central necrosis (accuracy: 0.59). In the diagnosis of using neural network systems. the highest accurate standard metastatic index was 78. and that time. the accuracy was 0.90. Neural network system was more accurate than any other single MR imaging criteria in evaluating cervical lymph node metastasis. Conclusion: Neural network system has been shown to be more useful than any other single MR imaging criteria. In future. Neural network system will be powerful aiding tool in evaluating cervical node metastasis.

• 한국수자원학회논문집
• /
• 제46권12호
• /
• pp.1249-1263
• /
• 2013

장기간의 가뭄에 의한 피해를 최소화하기 위해서는 유역에 적합한 가뭄관리 대책의 수립과 함께 미래에 발생하게 될 가뭄을 미리 예측할 수 있는 기술이 구축되어야 한다. 또한 미래의 가뭄에 대한 합리적 대응 방안을 수립하기 위해서는 가뭄의 지속기간(duration)과 심도(severity)의 정량적인 예측이 선행되어야 한다. 본 연구에서는 수문 시계열의 예측에 가장 많이 이용되고 있는 대표적인 통계학적 기법인 인공신경망 모형(Artificial Neural Network Model)과 가뭄지수를 이용하여 남한지역의 서울, 대전, 대구, 광주 등의 4개 기상관측소를 선정하여 가뭄예측을시도하였다. 가뭄 예측을 위하여 남한지역 내 선정한 기상관측소의 관측된 과거 강수량 자료를 이용하여 산정된 SPI (Standardized Precipitation Index)를 입력변수로 하여 다층 퍼셉트론(Multi Layer Perceptron) 인공신경망 모델에 적용하였으며, 매개변수 보정을 위한 학습기간으로 1976~2000년과 2001~2010년을 예측을 위한 검증기간으로 선정하여, 학습 및 예측을 시도하였다. 학습된 최적의 예측모형을 이용하여 서로 다른 선행예보시간(1~6개월)을 갖고 SPI (3), SPI (6), SPI (12)별로 가뭄을 예측하였으며, 가뭄예측 결과, SPI (3)의 경우에는 1개월 선행예보에서만 좋은 결과를 나타내었으며, SPI (6)의 경우 1~3개월 후의 가뭄을 예측하는 경우에 비교적 관측자료와 잘 일치하는 결과를 나타내었다. SPI (12)의 경우에는 약5개월 후까지의 가뭄예측에 양호한 결과를 나타내었다.

• 한국광학회:학술대회논문집
• /
• 한국광학회 1991년도 제6회 파동 및 레이저 학술발표회 Prodeedings of 6th Conference on Waves and Lasers
• /
• pp.35-40
• /
• 1991

In this paper, a new adaptive learning algorithm, Training by Adaptive Gain (TAG) for optical implementation of large-sized neural networks has been developed and its electro-optical implementation for 2-dimensional input and output neurons has been demostrated. The 4-dimensional global fixed interconnections and 2-dimensional adaptive gain-controls are implemented by multi-facet computer generated holograms and LCTV spatial light modulators, respectively. When the input signals pass through optical system to the output classifying layer, the TAG adaptive learning algorithm is implemented by a personal computer. The system classifies three 5$\times$5 input patterns correctly.

• 정보과학회 논문지
• /
• 제44권12호
• /
• pp.1252-1257
• /
• 2017

대화에서 화자의 의도는 감정, 화행, 그리고 서술자로 표현될 수 있다. 따라서 사용자 질의에 정확하게 응답하기 위해서 대화 시스템은 발화에 내포된 감정, 화행, 그리고 서술자를 파악해야한다. 많은 이전 연구들은 감정, 화행, 서술자를 독립된 분류 문제로 다뤄왔다. 그러나 몇몇 연구에서는 감정, 화행, 서술자가 서로 연관되어 있음을 보였다. 본 논문에서는 Convolutional Neural Netowork를 이용하여 감정, 화행, 서술자를 동시에 분석하는 통합 모델을 제안한다. 제안 모델은 특정 추상화 계층과, 공유 추상화 계층으로 구성된다. 특정 추상화 계층에서는 감정, 화행, 서술자의 독립된 정보가 추출되고 공유 추상화 계층에서 독립된 정보들의 조합이 추상화된다. 학습 시 감정의 오류, 화행의 오류, 서술자의 오류는 부분적으로 역 전파 된다. 제안한 통합 모델은 실험에서 독립된 모델보다 좋은 성능(감정 +2%p, 화행 +11%p, 서술자 +3%)을 보였다.

• 실천공학교육논문지
• /
• 제14권3호
• /
• pp.491-498
• /
• 2022

본 논문에서는 비전공자들을 위한 교양과정으로, 기초 순환신경망 과목 커리큘럼을 설계하는데 필수적으로 요구되는 순환신경망 SW 실습 사례를 개발하였다. 개발된 SW 실습 사례는 순환신경망의 동작원리를 이해시키는 데 초점을 두고, 시각화된 전체 동작 과정을 확인할 수 있도록 스프레드시트를 사용하였다. 개발된 순환신경망 실습 사례는 지도학습 방식의 텍스트완성 훈련데이터 생성, 입력층, 은닉층, 상태층(컨텍스트 노드) 그리고 출력층을 차례대로 구현하고, 텍스트 데이터에 대해 순환신경망의 성능을 테스트하는 것으로 구성되었다. 본 논문에서 개발한 순환신경망 실습사례는 다양한 문자 수를 갖는 단어를 자동 완성한다. 제안한 순환신경망 실습사례를 활용하여, 한글 또는 영어 단어를 구성하는 최대 문자 수를 다양하게 확장하여 자동 완성하는 인공지능 SW 실습 사례를 만들 수 있다. 따라서, 본 순환신경망 기초 실습 사례의 활용도가 높다고 할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제22권12호
• /
• pp.1347-1355
• /
• 2019

Deep learning approach based on convolution neural network (CNN) has extensively studied in the field of computer vision. However, periocular feature extraction using CNN was not well studied because it is practically impossible to collect large volume of biometric data. This study uses the ResNet model which was trained with the ImageNet dataset. To overcome the problem of insufficient training data, we focused on the training of multi-layer perception (MLP) having simple structure rather than training the CNN having complex structure. It first extracts features using the pretrained ResNet model and reduces the feature dimension by principle component analysis (PCA), then trains a MLP classifier. Experimental results with the public periocular dataset UBIPr show that the proposed method is effective in person authentication using periocular region. Especially it has the advantage which can be directly applied for other biometric traits.

• ETRI Journal
• /
• 제45권4호
• /
• pp.557-569
• /
• 2023

Traditional deterministic channel modeling is accurate in prediction, but due to its complexity, improving computational efficiency remains a challenge. In an alternative approach, we investigated a multilayer artificial neural network (ANN) to predict large-scale and small-scale channel characteristics in metro tunnels. Simulated high-precision training datasets were obtained by combining measurement campaign with a ray tracing (RT) method in a metro tunnel. Performance on the training data was used to determine the number of hidden layers and neurons of the multilayer ANN. The proposed multilayer ANN performed efficiently (10 s for training; 0.19 ms for prediction), and accurately, with better approximation of the RT data than the single-layer ANN. The root mean square errors (RMSE) of path loss (2.82 dB), root mean square delay spread (0.61 ns), azimuth angle spread (3.06°), and elevation angle spread (1.22°) were impressive. These results demonstrate the superior computing efficiency and model complexity of ANNs.

• 한국음향학회지
• /
• 제39권5호
• /
• pp.497-504
• /
• 2020

화자 검증에서 화자 임베딩 구축은 중요한 이슈이다. 일반적으로, 화자 임베딩 인코딩을 위해 자기주의 메커니즘이 적용되어졌다. 이전의 연구는 마지막 풀링 계층과 같은 높은 수준의 계층에서 자기 주의를 학습시키는 데 중점을 두었다. 이 경우, 화자 임베딩 인코딩 시 낮은 수준의 계층의 영향이 감소한다는 단점이 있다. 본 연구에서는 잔차 네트워크를 사용하여 Masked Cross Self-Attentive Encoding(MCSAE)를 제안한다. 이는 높은 수준 및 낮은 수준 계층의 특징 학습에 중점을 둔다. 다중 계층 집합을 기반으로 각 잔차 계층의 출력 특징들이 MCSAE에 사용된다. MCSAE에서 교차 자기 주의 모듈에 의해 각 입력 특징의 상호 의존성이 학습된다. 또한 랜덤 마스킹 정규화 모듈은 오버 피팅 문제를 방지하기 위해 적용된다. MCSAE는 화자 정보를 나타내는 프레임의 가중치를 향상시킨다. 그런 다음 출력 특징들이 합쳐져 화자 임베딩으로 인코딩된다. 따라서 MCSAE를 사용하여 보다 유용한 화자 임베딩이 인코딩된다. 실험 결과, VoxCeleb1 평가 데이터 세트를 사용하여 2.63 %의 동일 오류율를 보였다. 이는 이전의 자기 주의 인코딩 및 다른 최신 방법들과 비교하여 성능이 향상되었다.