• 한국음향학회지
• /
• 제36권6호
• /
• pp.425-435
• /
• 2017

본 논문에서는 다중 코어 ARM 프로세서의 NEON SIMD(Single Instruction Multiple Data) 병렬 명령어 및 다중 코어 병렬화를 통하여 심층 신경망의 피드포워드 네트워크 연산을 최적화하는 방안을 제시하였다. SIMD 병렬 명령어를 이용한 최적화의 경우에는 단계 별 최적화 과정에서의 속도 향상과 정밀도를 제시 하였다. 단일 코어 상에서 SIMD 병렬 명령어를 이용하여 구현된 결과는 C 컴파일러를 이용한 구현보다 2.6배의 속도 향상을 얻을 수 있었다. 또한 단일 코어 상에서 최적화된 코드를 다중 코어로 병렬화함으로써 5.7배~7.7배의 속도 향상을 얻을 수 있었다. 이상의 결과를 통하여 이동형 단말기에서도 연산량이 많은 심층 신경망 기술을 활용할 수 있는 가능성을 확인하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권7호
• /
• pp.315-319
• /
• 2016

음성인식 성능 개선을 위한 언어모델의 기술적 진보는 최근 심층 신경망을 기반으로 한 접근방법으로 한 단계 더 진보한 모양새다. 그러나 연구되고 있는 심층 신경망 기반 언어모델은 대부분 음성인식 이후 리스코링 단계에서 적용할 수 있는 한계를 지닌다. 또한 대규모 어휘에 대한 심층 신경망 접근방법은 아직 시간이 필요하다고 본다. 따라서 본 논문은 심층 신경망 언어 모델의 단순화된 형태인 워드 임베딩 기술을 음성인식 후처리가 아닌 기반 N-gram모델에 바로 적용할 수 있는 접근 방법을 찾는다. 클래스 언어모델이 한 접근 방법이 될 수 있는데, 본 연구에서는 워드 임베딩을 우선 구축하고, 해당 어휘별 벡터 정보를 클러스터링하여 클래스 언어모델을 구축 방법을 제시한다. 이를 기존 어휘기반 N-gram 모델에 통합한 후, 언어모델의 성능 개선 여부를 확인한다. 클래스 언어모델의 타당성 검증을 위해 다양한 클래스 개수의 언어모델 실험과 RNN LM과의 비교 결과를 검토한 후, 모든 언어모델의 성능 개선을 보장하는 품사 부착 언어모델 생성 방법을 제안한다.

• 한국전자통신학회논문지
• /
• 제14권6호
• /
• pp.1161-1170
• /
• 2019

본 연구에서는 심층 신경망을 이용하여 Cochlodinium polykrikoides 적조 발생을 예측하는 모델을 제안한다. 적조 발생 예측을 위해 8개의 은닉층을 가진 심층 신경망을 구축하였다. 위성 재분석 자료와 기상수치모델 자료를 이용하여 과거 적조 발생해역의 해양 및 기상인자 총 59개를 추출하여 신경망 모델 학습에 활용하였다. 전체 데이터셋 중 적조 발생 사례는 적조 미발생 사례에 비해 매우 적어 불균형 데이터 문제가 발생하였다. 본 연구에서는 이를 해결하기 위해 과표집화(Over sampling) 기반 데이터 증식(Data augmentation) 기법을 적용하였다. 과거자료를 활용하여 모형의 정확도를 평가한 결과 약 97%의 정확도를 보였다.

• 융합정보논문지
• /
• 제10권8호
• /
• pp.23-34
• /
• 2020

최근 인공지능 딥러닝 분야는 컴퓨팅 자원의 높은 연산량과 가격문제로 인해 상용화에 어려움이 존재했다. 본 논문은 더블 프루닝 기법을 적용하여 심층신경망 모델들과 다수의 데이터셋에서의 성능을 평가하고자 한다. 더블 프루닝은 기본의 네트워크 간소화(Network-Slimming)과 파라미터 프루닝(Parameter-Pruning)을 결합한다. 이는 기존의 학습에 중요하지 않는 매개변수를 절감하여 학습 정확도를 저해하지 않고 속도를 향상시킬 수 있다는 장점이 있다. 다양한 데이터셋 학습 이후에 프루닝 비율을 증가시켜, 모델의 사이즈를 감소시켰다. NetScore 성능 분석 결과 MobileNet-V3가 가장 성능이 높게 나타났다. 프루닝 이후의 성능은 Cifar 10 데이터셋에서 깊이 우선 합성곱 신경망으로 구성된 MobileNet-V3이 가장 성능이 높았고, 전통적인 합성곱 신경망으로 이루어진 VGGNet, ResNet또한 높은 폭으로 성능이 증가함을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.754-757
• /
• 2016

기존 번호판 인식은 직접 특징 추출 알고리즘을 개발하여 완전 연결 신경망으로 특징을 분류하는 방법이 보편적이다. 본 연구는 전처리 과정에서 번호판 후보군 검출 및 세그먼테이션을 수행하고 특징 추출 없이 미리 학습된 심층 컨볼루션 신경망을 통해 문자를 분류하는 방법을 제안한다. 직접 수집한 2,900장의 번호판 데이터베이스를 이용하여 훈련 집합 및 검증 집합을 구성하였다. 훈련 집합과 검증 집합에 대해 실험한 결과 번호판 후보군 검출률은 97%를 얻을 수 있었고, 이에 대한 인식률은 95%를 얻었다.

• 한국콘텐츠학회논문지
• /
• 제21권3호
• /
• pp.616-625
• /
• 2021

심층신경망은 임의의 함수를 근사화하는 방법으로 선형모델로 근사화한 후에 비선형 활성함수를 이용하여 추가적 근사화를 반복하는 근사화 방법이다. 이 과정에서 근사화의 성능 평가 방법은 손실함수를 이용한다. 기존 심층학습방법에서는 선형근사화 과정에서 손실함수를 고려한 근사화를 실행하고 있지만 활성함수를 사용하는 비선형 근사화 단계에서는 손실함수의 감소와 관계가 없는 비선형변환을 사용하고 있다. 본 연구에서는 기존의 활성함수에 활성함수의 크기를 변화시킬 수 있는 크기 파라메터와 활성함수의 위치를 변화시킬 수 있는 위치 파라미터를 도입한 파라메트릭 활성함수를 제안한다. 파라메트릭 활성함수를 도입함으로써 활성함수를 이용한 비선형 근사화의 성능을 개선시킬 수 있다. 각 은닉층에서 크기와 위치 파라미터들은 역전파 과정에서 파라미터들에 대한 손실함수의 1차 미분계수를 이용한 학습과정을 통해 손실함수 값을 최소화시키는 파라미터를 결정함으로써 심층신경망의 성능을 향상시킬 수 있다. MNIST 분류 문제와 XOR 문제를 통하여 파라메트릭 활성함수가 기존의 활성함수에 비해 우월한 성능을 가짐을 확인하였다.

• 방송공학회논문지
• /
• 제24권3호
• /
• pp.472-484
• /
• 2019

본 논문에서는 심층신경망을 이용한 시간 영역 음향 이벤트 검출 알고리즘을 제시한다. 본 시스템에서는 주파수 영역으로 변환되지 않은 시간 영역의 음향 데이터를 심층신경망의 입력으로 사용한다. 전반적인 구조는 CRNN 구조를 사용하였으며, GLU, ResNet, Squeeze-and-excitation 블럭을 적용하였다. 그리고 여러 계층에서 추출된 특징을 함께 고려하는 구조를 제안하였다. 또한 본 연구에서는 강한 라벨이 있는 훈련 데이터를 확보하는 것이 현실적으로 어렵다는 전제 아래에서 약한 라벨이 있는 훈련 데이터 약간 그리고 다수의 라벨이 없는 훈련 데이터를 활용하여 훈련을 수행하였다. 적은 수의 훈련 데이터를 효과적으로 사용하기 위해 타임 스트레칭, 피치 변화, 동적 영역 압축, 블럭 혼합 등의 데이터 증강 방법을 적용하였다. 라벨이 없는 데이터에는 의사 라벨을 붙여 부족한 훈련 데이터를 보완하였다. 본 논문에서 제안한 신경망과 데이터 증강 방법을 사용하는 경우, 종래의 방식으로 CRNN 구조의 신경망을 훈련하여 사용하는 경우보다, 음향 이벤트 검출 성능이 약 6 % (f-score 기준)가 개선되었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.43-45
• /
• 2021

초단기 강수예측 시스템은 단시간 발생하는 집중호우와 같은 위험기상에 대응하기 위해 사회·경제적으로 중요하다. 최근 국내·외에서 심층신경망을 활용한 초단기 강수예측 연구가 활발히 진행되고 있다. 심층신경망을 이용한 강수예측 모델은 훈련 데이터를 만들 때 기상데이터의 구조와 종류가 복잡하고 방대하므로 기상학적 이해를 바탕으로 복잡한 전처리 과정이 필요하다. 또한, 비선형적인 패턴의 강수 현상을 예측하기 위하여 기상의 상호작용에 대한 이해를 바탕으로 입력 데이터를 구성해야 한다. 따라서 본 연구에서는 다음과 같은 접근법을 제안하고자 한다. i) 기상레이더 합성 강수장과 강수발달에 영향을 줄 수 있는 주요 인자(레이더, 지형, 온도, 등)를 훈련 데이터 구축을 위해 패턴 분석에 적합한 형태로 정제하고 이를 구조화하여 통합한다. ii) 합성곱 신경망과 합성곱 장단기 기억 신경망을 접목하여 초단기 예측 강수장을 산출한다. 2020년 강수 사례를 이용하여 제안한 모델의 정확성을 검증하였다. 제안한 모델은 비선형적인 패턴의 강수 현상을 잘 모의하였고, 강수의 규모 및 강도에 대한 예측성능이 향상되었다. 이는 강수를 동반한 초단기 위험기상의 방재에 활용할 수 있을 것으로 기대된다.

• 스마트미디어저널
• /
• 제9권2호
• /
• pp.9-15
• /
• 2020

본 논문에서는 새롭게 제안하는 Multi-Path Encoder-Decoder 의 구조를 바탕으로 두개의 가지로 구성된 심층신경망을 통해서 영상 이미지에서 물체를 하나의 객체 단위로 분할 검출하는 방법을 제안하였다. 각 가지는 중심점 검출 가지(Dot branch), 객체 분할 가지(Segmentation branch)라 하고 중심점 검출 가지는 이미지로부터 각 객체의 중심점을 찾는 역할을 수행하고, 객체 분할 가지는 각 객체의 영역을 이미지로부터 분할하는 역할을 수행한다. 실험에서는 CVPPP 식물 이미지의 나뭇잎을 각각 구분하도록 학습 하였으며 중심점 검출 가지는 각 나뭇잎의 중심점들을 찾아내고, 객체 분할 가지는 원본 이미지와 찾아낸 중심점 이미지를 통하여 각 중심점에 해당하는 나뭇잎의 픽셀 분할 영역을 최종적으로 예측하게 된다. 기존의 객체 분할에서는 다양한 크기, 위치의 앵커박스를 만들어서 많은 영역(N > 1k)의 물체를 확인해야하는 연산량 문제점 혹은 이미지에서 고정되지 않는 총 객체의 개수를 예측하기 어려웠던 문제가 있었다. 제안한 심층신경망에서는 중심점을 기반으로 객체를 찾아내는 효과적인 방법을 제안하였다.

• 디지털융복합연구
• /
• 제18권4호
• /
• pp.243-250
• /
• 2020

농작물 재배에 있어 가장 큰 위험 요소는 날씨이므로 재배지의 장기 농업 기상정보를 얻을 수 있다면 정식과 수확 시기 등을 예측할 수 있다. 따라서 체계적인 농작업을 기획하여 관리할 수 있으며 이는 농가의 안정적인 수확으로 이어질 것으로 기대한다. 본 연구는 GloSea5와 기계학습을 이용하여 효과적인 고랭지배추의 재배를 위한 장기 농업기상정보 예측 방법을 제시하였다. GloSea5는 계절예측시스템으로 최대 240일까지의 기상을 예측한다. 심층신경망과 공간랜덤포레스트를 이용하여 장기 일 평균기온을 예측한 결과 심층신경망이 공간랜덤포레스트에 비해 장기예측성능이 우수하였다. 하지만 공간랜덤포레스트는 강원도 전역의 기온을 짧은 시간에 예측하는 장점이 있다. 공간랜덤포레스트로 분석한 결과 여름철과 해발고도가 낮은 지역의 장기 일 평균기온이 잘 예측되었다.