• 제목/요약/키워드: 트랜스포머 모델

검색결과 124건 처리시간 0.02초

Lexicon transducer를 적용한 conformer 기반 한국어 end-to-end 음성인식 (Conformer with lexicon transducer for Korean end-to-end speech recognition)

  • 손현수;박호성;김규진;조은수;김지환
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.530-536
    • /
    • 2021
  • 최근 들어 딥러닝의 발달로 인해 Hidden Markov Model(HMM)을 사용하지 않고 음성 신화와 단어를 직접 매핑하여 학습하는 end-to-end 음성인식 방법이 각광을 받고 있으며 그 중에서도 conformer가 가장 좋은 성능을 보이고 있다. 하지만 end-to-end 음성인식 방법은 현재 시점에서 어떤 자소 또는 단어가 나타날지에 대한 확률에 대해서만 초점을 두고 있다. 그 이후의 디코딩 과정은 현재 시점에서 가장 높은 확률을 가지는 자소를 출력하거나 빔 탐색을 사용하며 이러한 방식은 모델이 출력하는 확률 분포에 따라 최종 결과에 큰 영향을 받게 된다. 또한 end-to-end 음성인식방식은 전통적인 음성인식 방법과 비교 했을 때 구조적인 문제로 인해 외부 발음열 정보와 언어 모델의 정보를 사용하지 못한다. 따라서 학습 자료에 없는 발음열 변환 규칙에 대한 대응이 쉽지 않다. 따라서 본 논문에서는 발음열 정보를 담고 있는 Lexicon transducer(L transducer)를 이용한 conformer의 디코딩 방법을 제안한다. 한국어 데이터 셋 270 h에 대해 자소 기반 conformer의 빔 탐색 결과와 음소 기반 conformer에 L transducer를 적용한 결과를 비교 평가하였다. 학습자료에 등장하지 않는 단어가 포함된 테스트 셋에 대해 자소 기반 conformer는 3.8 %의 음절 오류율을 보였으며 음소 기반 conformer는 3.4 %의 음절 오류율을 보였다.

텍스트 기반 생성형 인공지능의 이해와 과학교육에서의 활용에 대한 논의 (Understanding of Generative Artificial Intelligence Based on Textual Data and Discussion for Its Application in Science Education)

  • 조헌국
    • 한국과학교육학회지
    • /
    • 제43권3호
    • /
    • pp.307-319
    • /
    • 2023
  • 본 연구는 최근 주목받고 있는 텍스트 기반 생성형 인공지능에 대해 관심과 활용이 증가함에 따라 과학교육적 측면에서의 활용을 위해 생성형 인공지능의 주요 개념과 원리를 설명하고, 이를 효과적으로 활용할 수 있는 방안과 그 한계를 지적하며 이를 토대로 과학교육의 실행과 연구의 측면에서 시사점을 제공하는 것을 목적으로 한다. 최근 들어 증가하고 있는 생성형 인공지능은 대체로 인코더와 디코더로 이뤄진 트랜스포머 모델을 기반으로 하고 있으며, 인간의 피드백을 활용한 강화학습과 보상 모델에 대한 최적화, 문맥에 대한 이해 등을 통해 놀라운 발전을 이루고 있다. 특히, 다양한 사용자의 질문이나 의도를 이해하는 능력과 이를 바탕으로 한 글쓰기, 요약, 제시어 추출, 평가와 피드백 등 다양한 기능을 수행할 수 있다. 또한 교수자가 제시하는 예를 토대로 주어진 응답을 평가하거나 질문과 적절한 답변을 생성하는 등 학습자에 대한 진단과 실질적 교육내용의 구성 등 많은 유용성을 가지고 있다. 그러나 생성형 인공지능이 가지고 있는 한계로 인해 정확한 사실이나 지식에 대한 잘못된 전달, 과도한 확신으로 인한 편향, 사용자의 태도나 감정 등에 미칠 영향의 불확실성 등에 대한 문제 등에 대해 해가 없는지 검토가 필요하다. 특히, 생성형 인공지능이 제공하는 응답은 많은 사람들의 응답 데이터를 기반으로 한 확률적 접근이므로 매우 거리가 멀거나 새로운 관점을 제시하는 통찰적 사고나 혁신적 사고를 제한할 우려도 있다. 이에 따라 본 연구는 과학교수학습을 위해 인공지능의 긍정적 활용을 위한 여러 실천적 제언을 제시하였다.

초 장단기 통합 태양광 발전량 예측 기법 (Very Short- and Long-Term Prediction Method for Solar Power)

  • 윤문섭;임세령;장한승
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1143-1150
    • /
    • 2023
  • 세계적 기후 위기와 저탄소 정책 이행으로 신재생 에너지에 관한 관심이 높아지고 이와 관련된 산업이 증가하고 있다. 이 중에서 태양 에너지는 고갈되지 않고 오염 물질이나 온실가스를 배출하지 않는 대표적인 친환경 에너지로 주목받고 있으며, 이에 따라 세계적으로 태양광 발전 시설 보급이 증가하고 있다. 하지만 태양광 발전은 지리, 날씨와 같은 환경의 영향을 받기 쉬우므로 안정적인 운영과 효율적인 관리를 위해 정확한 발전량 예측이 중요하다. 하지만 변동성이 큰 태양광 발전을 수학적 통계 기술로 정확한 발전량을 예측하는 것은 불가능하다. 이를 위해서 정확하고 효과적인 예측을 위해 딥러닝 기반의 기술에 관한 연구는 필수적이다. 또한, 기존의 딥러닝을 활용한 예측 방식은 장, 단기적인 예측을 나누어 수행하기 때문에 각각의 예측 결과를 얻기 위한 시간이 길어진다는 단점이 있다. 따라서, 본 연구에서는 시계열 특성을 가진 태양광 발전량 데이터를 사용하여 장단기 통합 예측을 수행하기 위해 순환 신경망의 다대다 구조를 활용한다. 그리고 이를 다양한 딥러닝 모델들에 적용하여 학습을 수행하고 각 모델의 결과를 비교·분석한다.

LLM 기반의 생성형 AI 응답 데이터 품질이 업무 활용 만족도에 미치는 영향에 관한 연구 (A Study of how LLM-based generative AI response data quality affects impact on job satisfaction)

  • 이승환;현지은;김광용
    • 융합보안논문지
    • /
    • 제24권3호
    • /
    • pp.117-129
    • /
    • 2024
  • 2017년 새로운 형태의 아키텍처인 트랜스포머(Transformer)가 발표되면서 언어모델에도 많은 변화가 있었다. 특히 대형 언어 모델인 LLM(Large language model)의 발전으로 검색이나 챗봇(Chatbot)과 같은 생성형 AI 서비스가 다양한 업무 영역에 활용되고 있다. 하지만 개인정보 유출과 같은 보안 이슈나 거짓 정보를 생성하는 할루시네이션(Hallucination)과 같은 신뢰성 문제가 발생하면서 이러한 서비스의 실효성에 대한 우려의 목소리도 커지고 있다. 이에 본 연구에서는 이러한 우려에도 불구하고 생성형 AI를 업무 영역에 활용하고 있는 빈도가 점점 증가하고 있는 요인에 대해서 분석하고자 하였다. 이를 위해 LLM 기반의 생성형 AI 응답 데이터 품질에 영향을 미치는 8가지 요인을 도출하고 유효 표본 195개를 대상으로 이러한 요인들이 업무 활용 만족도에 미치는 영향을 실증 분석하였다. 분석결과 전문성, 접근성, 다양성, 편리성이 지속적 사용의도에 유의한 영향을, 보안성, 안정성, 신뢰성 등이 부분적으로 유의한 영향을, 완전성이 부정적 영향을 미치는 요인으로 나타났다. 본 연구에서는 응답 데이터 품질에 대한 수요자의 인식이 업무 활용 만족도에 어떠한 영향을 미치는지 학문적으로 규명하고, 이러한 서비스에 대한 수요자 중심의 의미 있는 실무적 시사점을 제시하는데 그 목적이 있다.