• Title/Summary/Keyword: 트랜스포머 모델

Search Result 117, Processing Time 0.021 seconds

Transformer 네트워크를 이용한 음성신호 변환 (Voice-to-voice conversion using transformer network)

  • 김준우;정호영
    • 말소리와 음성과학
    • /
    • 제12권3호
    • /
    • pp.55-63
    • /
    • 2020
  • 음성 변환은 다양한 음성 처리 응용에 적용될 수 있으며, 음성 인식을 위한 학습 데이터 증강에도 중요한 역할을 할 수 있다. 기존의 방법은 음성 합성을 이용하여 음성 변환을 수행하는 구조를 사용하여 멜 필터뱅크가 중요한 파라미터로 활용된다. 멜 필터뱅크는 뉴럴 네트워크 학습의 편리성 및 빠른 연산 속도를 제공하지만, 자연스러운 음성파형을 생성하기 위해서는 보코더를 필요로 한다. 또한, 이 방법은 음성 인식을 위한 다양한 데이터를 얻는데 효과적이지 않다. 이 문제를 해결하기 위해 본 논문은 원형 스펙트럼을 사용하여 음성 신호 자체의 변환을 시도하였고, 어텐션 메커니즘으로 스펙트럼 성분 사이의 관계를 효율적으로 찾아내어 변환을 위한 자질을 학습할 수 있는 transformer 네트워크 기반 딥러닝 구조를 제안하였다. 영어 숫자로 구성된 TIDIGITS 데이터를 사용하여 개별 숫자 변환 모델을 학습하였고, 연속 숫자 음성 변환 디코더를 통한 결과를 평가하였다. 30명의 청취 평가자를 모집하여 변환된 음성의 자연성과 유사성에 대해 평가를 진행하였고, 자연성 3.52±0.22 및 유사성 3.89±0.19 품질의 성능을 얻었다.

RF 트랜스포머를 사용한 광대역 전력증폭기 설계 (Broadband power amplifier design utilizing RF transformer)

  • 김욱현;우제욱;전주영
    • 전기전자학회논문지
    • /
    • 제26권3호
    • /
    • pp.456-461
    • /
    • 2022
  • 본 논문에서는 차동 증폭기에 필수적으로 필요한 Radio frequency(RF) transformer(TF)을 활용하여 광대역 이득 특성을 가지는 2단 단일 종단 전력증폭기를 제시하였다. RF TF의 특징을 파악하고 광대역 특성을 가지도록 설계한 뒤 2단 전력증폭기의 단간(inter-stage) 임피던스 정합 회로에 적용함으로써 증폭기의 대역폭을 향상시킬 수 있다. 기존의 2단 단일 종단(Single-ended) 증폭기의 성능과 면적을 유지하면서 광대역 이득 특성을 얻을 수 있도록 단간 정합 회로를 Monolithic Microwave Integrated Circuit (MMIC)와 다층 PCB에 구현하고 시뮬레이션을 통해 결과를 비교하였다. InGaP/GaAs HBT 모델을 사용하여 설계한 2단 전력증폭기 모듈을 시뮬레이션 한 결과 중심주파수 3.3GHz에서 기존의 전력증폭기가 11.2%의 fractional 대역폭을 보인 반면 제안된 설계 기법을 적용한 전력증폭기는 19.8%의 개선된 대역폭을 가짐을 확인하였다.

텍스트 인식률 개선을 위한 한글 텍스트 이미지 초해상화 (Korean Text Image Super-Resolution for Improving Text Recognition Accuracy)

  • 권준형;조남익
    • 방송공학회논문지
    • /
    • 제28권2호
    • /
    • pp.178-184
    • /
    • 2023
  • 카메라로 촬영한 야외 일반 영상에서 텍스트 이미지를 찾아내고 그 내용을 인식하는 기술은 로봇 비전, 시각 보조 등의 기반으로 활용될 수 있는 매우 중요한 기술이다. 하지만 텍스트 이미지가 저해상도인 경우에는 텍스트 이미지에 포함된 노이즈나 블러 등의 열화가 더 두드러지기 때문에 텍스트 내용 인식 성능의 하락이 발생하게 된다. 본 논문에서는 일반 영상에서의 저해상도 한글 텍스트에 대한 이미지 초해상화를 통해서 텍스트 인식 정확도를 개선하였다. 트랜스포머에 기반한 모델로 한글 텍스트 이미지 초해상화를 수행 하였으며, 직접 구축한 고해상도-저해상도 한글 텍스트 이미지 데이터셋에 대하여 제안한 초해상화 방법을 적용했을 때 텍스트 인식 성능이 개선되는 것을 확인하였다.

딥러닝과 Landsat 8 영상을 이용한 캘리포니아 산불 피해지 탐지 (Detection of Wildfire Burned Areas in California Using Deep Learning and Landsat 8 Images)

  • 서영민;윤유정;김서연;강종구;정예민;최소연;임윤교;이양원
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1413-1425
    • /
    • 2023
  • 기후변화로 인한 대형 산불의 빈도가 증가함에 따라 극심한 인명 및 재산상의 피해를 초래하고 있다. 이로 인해 많은 식생이 소실되며, 그 강도와 발생 형태에 따라 생태계 변화에 영향을 끼친다. 생태계 변화는 다시 산불 발생을 유발하여 2차 피해를 야기한다. 따라서 산불 피해지에 대한 정확한 탐지 및 면적 산정의 중요성이 지속적으로 제기되고 있다. 효율적인 산불 피해지 모니터링을 위해 산불 발생 후 실시간 지형 및 기상정보는 물론 피해지역의 영상을 대규모로 취득할 수 있는 위성영상이 주로 활용되고 있다. 최근, 합성곱 신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머(Transformer) 기반 모델에 이르기까지 딥러닝 알고리즘이 빠르게 발전하면서 산림원격탐사에서 이를 적용한 연구가 활발히 이루어지고 있다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 현업에서의 합리적인 활용을 위한 정량적 성능평가에 대한 보고가 부족한 상황이다. 따라서 본 연구에서는 모델에 따른 성능향상과 데이터 설계에 따른 성능향상을 중점적으로 비교 분석하였다. 미국 캘리포니아 지역을 대상으로 CNN 기반 모델의 U-Net, High Resolution Network-Object Contextual Representation (HRNet-OCR)을 활용하여 산불 피해지 모델을 구축하였다. 또한, 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 고려하고자 normalized difference vegetation index (NDVI), normalized burn ratio (NBR)와 같은 산불 관련 분광지수를 산출하여 입력 이미지로 사용하였다. U-Net의 mean intersection over union (mIoU)이 0.831, HRNet-OCR이 0.848을 기록하여 두 모델 모두 우수한 영상분할 성능을 보였다. 또한, 밴드 반사도뿐 아니라 분광지수를 추가한 결과 모든 조합에서 평가지표 값이 상승하여 분광지수를 활용한 입력 데이터 확장이 픽셀 세분화에 기여함을 확인하였다. 이와 같은 딥러닝 방법론을 발전시킨다면 우리나라의 산불 피해지에 대한 신속한 파악 및 복구 계획 수립의 기초자료로 활용될 수 있을 것으로 기대된다.

Lexicon transducer를 적용한 conformer 기반 한국어 end-to-end 음성인식 (Conformer with lexicon transducer for Korean end-to-end speech recognition)

  • 손현수;박호성;김규진;조은수;김지환
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.530-536
    • /
    • 2021
  • 최근 들어 딥러닝의 발달로 인해 Hidden Markov Model(HMM)을 사용하지 않고 음성 신화와 단어를 직접 매핑하여 학습하는 end-to-end 음성인식 방법이 각광을 받고 있으며 그 중에서도 conformer가 가장 좋은 성능을 보이고 있다. 하지만 end-to-end 음성인식 방법은 현재 시점에서 어떤 자소 또는 단어가 나타날지에 대한 확률에 대해서만 초점을 두고 있다. 그 이후의 디코딩 과정은 현재 시점에서 가장 높은 확률을 가지는 자소를 출력하거나 빔 탐색을 사용하며 이러한 방식은 모델이 출력하는 확률 분포에 따라 최종 결과에 큰 영향을 받게 된다. 또한 end-to-end 음성인식방식은 전통적인 음성인식 방법과 비교 했을 때 구조적인 문제로 인해 외부 발음열 정보와 언어 모델의 정보를 사용하지 못한다. 따라서 학습 자료에 없는 발음열 변환 규칙에 대한 대응이 쉽지 않다. 따라서 본 논문에서는 발음열 정보를 담고 있는 Lexicon transducer(L transducer)를 이용한 conformer의 디코딩 방법을 제안한다. 한국어 데이터 셋 270 h에 대해 자소 기반 conformer의 빔 탐색 결과와 음소 기반 conformer에 L transducer를 적용한 결과를 비교 평가하였다. 학습자료에 등장하지 않는 단어가 포함된 테스트 셋에 대해 자소 기반 conformer는 3.8 %의 음절 오류율을 보였으며 음소 기반 conformer는 3.4 %의 음절 오류율을 보였다.

텍스트 기반 생성형 인공지능의 이해와 과학교육에서의 활용에 대한 논의 (Understanding of Generative Artificial Intelligence Based on Textual Data and Discussion for Its Application in Science Education)

  • 조헌국
    • 한국과학교육학회지
    • /
    • 제43권3호
    • /
    • pp.307-319
    • /
    • 2023
  • 본 연구는 최근 주목받고 있는 텍스트 기반 생성형 인공지능에 대해 관심과 활용이 증가함에 따라 과학교육적 측면에서의 활용을 위해 생성형 인공지능의 주요 개념과 원리를 설명하고, 이를 효과적으로 활용할 수 있는 방안과 그 한계를 지적하며 이를 토대로 과학교육의 실행과 연구의 측면에서 시사점을 제공하는 것을 목적으로 한다. 최근 들어 증가하고 있는 생성형 인공지능은 대체로 인코더와 디코더로 이뤄진 트랜스포머 모델을 기반으로 하고 있으며, 인간의 피드백을 활용한 강화학습과 보상 모델에 대한 최적화, 문맥에 대한 이해 등을 통해 놀라운 발전을 이루고 있다. 특히, 다양한 사용자의 질문이나 의도를 이해하는 능력과 이를 바탕으로 한 글쓰기, 요약, 제시어 추출, 평가와 피드백 등 다양한 기능을 수행할 수 있다. 또한 교수자가 제시하는 예를 토대로 주어진 응답을 평가하거나 질문과 적절한 답변을 생성하는 등 학습자에 대한 진단과 실질적 교육내용의 구성 등 많은 유용성을 가지고 있다. 그러나 생성형 인공지능이 가지고 있는 한계로 인해 정확한 사실이나 지식에 대한 잘못된 전달, 과도한 확신으로 인한 편향, 사용자의 태도나 감정 등에 미칠 영향의 불확실성 등에 대한 문제 등에 대해 해가 없는지 검토가 필요하다. 특히, 생성형 인공지능이 제공하는 응답은 많은 사람들의 응답 데이터를 기반으로 한 확률적 접근이므로 매우 거리가 멀거나 새로운 관점을 제시하는 통찰적 사고나 혁신적 사고를 제한할 우려도 있다. 이에 따라 본 연구는 과학교수학습을 위해 인공지능의 긍정적 활용을 위한 여러 실천적 제언을 제시하였다.

초 장단기 통합 태양광 발전량 예측 기법 (Very Short- and Long-Term Prediction Method for Solar Power)

  • 윤문섭;임세령;장한승
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1143-1150
    • /
    • 2023
  • 세계적 기후 위기와 저탄소 정책 이행으로 신재생 에너지에 관한 관심이 높아지고 이와 관련된 산업이 증가하고 있다. 이 중에서 태양 에너지는 고갈되지 않고 오염 물질이나 온실가스를 배출하지 않는 대표적인 친환경 에너지로 주목받고 있으며, 이에 따라 세계적으로 태양광 발전 시설 보급이 증가하고 있다. 하지만 태양광 발전은 지리, 날씨와 같은 환경의 영향을 받기 쉬우므로 안정적인 운영과 효율적인 관리를 위해 정확한 발전량 예측이 중요하다. 하지만 변동성이 큰 태양광 발전을 수학적 통계 기술로 정확한 발전량을 예측하는 것은 불가능하다. 이를 위해서 정확하고 효과적인 예측을 위해 딥러닝 기반의 기술에 관한 연구는 필수적이다. 또한, 기존의 딥러닝을 활용한 예측 방식은 장, 단기적인 예측을 나누어 수행하기 때문에 각각의 예측 결과를 얻기 위한 시간이 길어진다는 단점이 있다. 따라서, 본 연구에서는 시계열 특성을 가진 태양광 발전량 데이터를 사용하여 장단기 통합 예측을 수행하기 위해 순환 신경망의 다대다 구조를 활용한다. 그리고 이를 다양한 딥러닝 모델들에 적용하여 학습을 수행하고 각 모델의 결과를 비교·분석한다.