• 제목/요약/키워드: Conformer

검색결과 68건 처리시간 0.024초

Lexicon transducer를 적용한 conformer 기반 한국어 end-to-end 음성인식 (Conformer with lexicon transducer for Korean end-to-end speech recognition)

  • 손현수;박호성;김규진;조은수;김지환
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.530-536
    • /
    • 2021
  • 최근 들어 딥러닝의 발달로 인해 Hidden Markov Model(HMM)을 사용하지 않고 음성 신화와 단어를 직접 매핑하여 학습하는 end-to-end 음성인식 방법이 각광을 받고 있으며 그 중에서도 conformer가 가장 좋은 성능을 보이고 있다. 하지만 end-to-end 음성인식 방법은 현재 시점에서 어떤 자소 또는 단어가 나타날지에 대한 확률에 대해서만 초점을 두고 있다. 그 이후의 디코딩 과정은 현재 시점에서 가장 높은 확률을 가지는 자소를 출력하거나 빔 탐색을 사용하며 이러한 방식은 모델이 출력하는 확률 분포에 따라 최종 결과에 큰 영향을 받게 된다. 또한 end-to-end 음성인식방식은 전통적인 음성인식 방법과 비교 했을 때 구조적인 문제로 인해 외부 발음열 정보와 언어 모델의 정보를 사용하지 못한다. 따라서 학습 자료에 없는 발음열 변환 규칙에 대한 대응이 쉽지 않다. 따라서 본 논문에서는 발음열 정보를 담고 있는 Lexicon transducer(L transducer)를 이용한 conformer의 디코딩 방법을 제안한다. 한국어 데이터 셋 270 h에 대해 자소 기반 conformer의 빔 탐색 결과와 음소 기반 conformer에 L transducer를 적용한 결과를 비교 평가하였다. 학습자료에 등장하지 않는 단어가 포함된 테스트 셋에 대해 자소 기반 conformer는 3.8 %의 음절 오류율을 보였으며 음소 기반 conformer는 3.4 %의 음절 오류율을 보였다.

2-Fluorocyclopropanemethanol과 2-Chlorocyclopropanemethanol의 분자 내 수소결합 가능성에 대한 이론연구 (Intramolecular Hydrogen Bonding in 2-Fluorocyclopropanemethanol and 2-Chlorocyclopropanemethanol as Studied by ab Initio Calculation)

  • 권민경;성은모
    • 대한화학회지
    • /
    • 제54권3호
    • /
    • pp.275-282
    • /
    • 2010
  • 분자 내 수소결합 가능성을 가지고 있는 2-fluorocyclopropanemethanol과 2-chlorocyclopropanemethanol에 대하여 MP2/6-311++G(d,p) 방법과 B3LYP/6-311++G(d,p) 방법으로 최적화 계산을 수행하였다. 두 분자 모두 가장 안정한 conformer에서 O-H의 수소가 F나 Cl을 향하고 있어 수소결합 가능성을 보이기는 하나 $H{\cdots}F$, $H{\cdots}Cl$ 거리가 van der Waals radii보다 커서 강한 수소결합이라 보기 힘들고 두 번째 안정한 conformer의 경우가 가까운 $H{\cdots}F$, $H{\cdots}Cl$ 거리를 보이며 더 강한 수소결합 가능성을 보였다. 그러나 에너지가 5 ~ 7 kJ 더 높게 나타났다. Methanol group과 F나 Cl이 서로 반대 방향을 향할 때 일반적으로 안정하나 앞의 가장 안정한 conformer보다는 에너지가 높다.

Conformer 모델을 이용한 물체 표면 재료의 특성에 따른 가속도 신호 기반 햅틱 질감 인식 (Acceleration signal-based haptic texture recognition according to characteristics of object surface material using conformer model)

  • 김형국;정동기;김진영
    • 한국음향학회지
    • /
    • 제42권3호
    • /
    • pp.214-220
    • /
    • 2023
  • 본 논문에서는 합성곱 신경망과 트랜스포머의 장점을 결합한 Conformer 모델을 이용하여 물체 표면의 질감특성을 나타내는 햅틱 가속도 신호로부터 질감 인식 성능을 향상시키는 방식을 제안한다. 제안한 방식에서는 사람이 스타일러스와 같은 도구를 이용하여 물체 표면과 접촉하는 동안 충격음과 진동에 의해 발생한 3축 가속도 신호를 1차원 가속도 데이터로 결합하고, 오디오 신호와 유사성을 갖는 햅틱 가속도 신호로부터 로그 멜-스펙트로그램을 추출한다. 그리고 추출된 로그 멜-스펙트로그램에 Conformer 모델을 적용하여 다양한 물체의 질감을 인식하는 데 있어 주요한 지역적 및 전역적인 주파수 특징을 학습한다. 제안된 모델의 성능 평가를 위해 60개의 재질로 구성된 Lehrstuhl für Medientechnik(LMT) 햅틱 질감 데이터세트를 실험한 결과 제안된 방식이 기존 방식들보다 물체 표면 재료의 질감을 효과적으로 잘 인식할 수 있음을 보였다.

콘포머 기반 FastSpeech2를 이용한 한국어 음식 주문 문장 음성합성기 (A Korean menu-ordering sentence text-to-speech system using conformer-based FastSpeech2)

  • 최예린;장재후;구명완
    • 한국음향학회지
    • /
    • 제41권3호
    • /
    • pp.359-366
    • /
    • 2022
  • 본 논문에서는 콘포머 기반 FastSpeech2를 이용한 한국어 메뉴 음성합성기를 제안한다. 콘포머는 본래 음성 인식 분야에서 제안된 것으로, 합성곱 신경망과 트랜스포머를 결합하여 광역과 지역 정보를 모두 잘 추출할 수 있도록 한 구조다. 이를 위해 순방향 신경망을 반으로 나누어 제일 처음과 마지막에 위치시켜 멀티 헤드 셀프 어텐션 모듈과 합성곱 신경망을 감싸는 마카론 구조를 구성했다. 본 연구에서는 한국어 음성인식에서 좋은 성능이 확인된 콘포머 구조를 한국어 음성합성에 도입하였다. 기존 음성합성 모델과의 비교를 위하여 트랜스포머 기반의 FastSpeech2와 콘포머 기반의 FastSpeech2를 학습하였다. 이때 데이터셋은 음소 분포를 고려한 자체 제작 데이터셋을 이용하였다. 특히 일반대화 뿐만 아니라, 음식 주문 문장 특화 코퍼스를 제작하고 이를 음성합성 훈련에 사용하였다. 이를 통해 외래어 발음에 대한 기존 음성합성 시스템의 문제점을 보완하였다. ParallelWave GAN을 이용하여 합성음을 생성하고 평가한 결과, 콘포머 기반의 FastSpeech2가 월등한 성능인 MOS 4.04을 달성했다. 본 연구를 통해 한국어 음성합성 모델에서, 동일한 구조를 트랜스포머에서 콘포머로 변경하였을 때 성능이 개선됨을 확인하였다.

Structure and Energetics of (C60)22+ Conformers: Quantum Chemical Studies

  • Lee, Chang-Hoon;Park, Sung-Soo;Lee, Wang-Ro;Lee, Kee-Hag
    • Bulletin of the Korean Chemical Society
    • /
    • 제31권2호
    • /
    • pp.457-460
    • /
    • 2010
  • The geometrical structures and energetics of positively doubly charged fullerene dimer $(C_{60})_2{^{2+}}$ conformers were studied using semiempirical PM3 and MNDO, Hartree-Fock (HF), and Hybrid B3LYP density functional methods. The shape of the HOMO-LUMO for the three conformers was also analyzed. The gauche conformer was the most stable of the three conformers. The anti conformer was more stable than the syn conformer.

DFT Study for Cage-annulated p-tert-Butylcalix[4]crown-ether Complexed with Potassium Ion

  • Kim, Kwang-Ho;Park, Seong-Jun;Choe, Jong-In
    • Bulletin of the Korean Chemical Society
    • /
    • 제29권7호
    • /
    • pp.1374-1378
    • /
    • 2008
  • Using DFT B3LYP/6-31+G(d,p)//B3LYP/6-31G(d,p) calculation method, stable molecular structures were optimized for the p-tert-butylcalix[4]arene functionalized at lower rim by cage-annulated crown ether (1) in two different conformers and their potassium-ion complexes. Cone conformer of free host 1 was slightly more stable than partial-cone conformer. For two different kinds of complexation mode, the potassium ion in benzene-rings (bz) pocket showed comparable complexation efficiency with the cation in cage-annulated crown-ether (cr) for the cone and partial-cone conformers of 1. The complex (1${\bullet}K^+$) in the cr-binding mode for the partial-cone conformer was more stable than the cone conformer for B3LYP/6-31G(d,p) geometry optimization. However, $1_{(cone)}{\bullet}K^+$(cr) showed lower single-point energy than the $1_{(pc)}{\bullet}K^+$(cr) for B3LYP/6- 31+G(d,p) calculation method.

콘포머 기반 한국어 음성인식 (A Korean speech recognition based on conformer)

  • 구명완
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.488-495
    • /
    • 2021
  • 본 논문에서는 콘포머 기반 한국어 음성인식 시스템을 제안한다. 콘포머는 트랜스포머 모델에 콘볼루션신경망(Convolution Neural Network, CNN) 기능을 보강한 구조이며 광역 정보를 잘 표현할 수 있는 트랜스포머와 지역 정보를 잘 표현할 수 있는 CNN을 결합한 신경망이다. 음성인식 기본 시스템으로 트랜스포모에 기반한 음성인식시스템을 개발하였으며 언어모델로는 Long Short-Term Memory(LSTM)을 사용하였다. 콘포머 기반 음성인식시스템은 트랜스포머 대신에 콘포머를 사용하였고 언어모델로는 트랜스포머를 이용하였다. 성능 평가를 위해 AI-hub에 있는 Electronics and Telecommunications Research Institute(ETRI) 음성코퍼스를 활용하였으며 트랜스포머 기반 음성인식 시스템은 오인식률이 11.8 %이 되었으며 콘포머 기반 음성인식시스템은 오인식률이 5.7 %가 되었다. AI-hub에 있는 다른 영역의 NHN다이퀘스트 음성 코퍼스를 추가해도 유사한 성능이 유지가 되어 제안된 콘포머 음성인식시스템의 유효성을 입증하였다.

Theoretical Studies of Geometries of Hexafluoro-1,3-butadiene, Tetrafluoro-1,3-butadiene, and Difluoro-1,3-butadiene Compounds

  • Cho, Han-Gook;Kim, Kang-Woo;Cheong, Byeong-Seo
    • Bulletin of the Korean Chemical Society
    • /
    • 제25권4호
    • /
    • pp.452-459
    • /
    • 2004
  • The geometrical structures of various isomers of hexafluoro-1,3-butadiene (HFBD), tetrafluoro-1,3-butadiene (TFBD), and difluoro-1,3-butadiene (DFBD) have been studied theoretically. Natural steric and natural resonance theory (NRT) analyses indicate that the lower energy of skew s-cis conformer of hexafluoro-1,3-butadiene than that of the s-trans conformer is originated from the strong steric repulsions between fluorine atoms particularly in the s-trans conformer. The resonance structures generated by NRT also show that the lone electron pairs of fluorine atoms effectively extend the conjugation, and the large differences in energy among the structural isomers of tetrafluoro-1,3-butadiene and difluoro-1,3-butadiene are in part attributed to the differences in the delocalization energies, in addition to the steric repulsion between fluorine atoms. Other interatomic interactions, such as hydrogen bonding, also play important roles in determination of the structures of isomers of tetrafluoro-1,3-butadiene and difluoro-1,3-butadiene.

Investigation of the Binding Affinity between Styrylquinoline Inhibitors and HIV Integrase Using Calculated Nuclear Quadrupole Coupling Constant (NQCC) Parameters (A Theoretical ab initio Study)

  • Rafiee, Marjan A.;Partoee, Tayyebe
    • Bulletin of the Korean Chemical Society
    • /
    • 제32권1호
    • /
    • pp.208-212
    • /
    • 2011
  • In this work, the calculated nuclear quadrupole coupling constants of $^{17}O$ in some styrylquinoline conformers were presented. The calculations were carried out to find the relationships between the charge distribution of styrylquinolines and their pharmaceutical behavior and to explore the differences among the electronic structures of some conformers of these potent HIV IN inhibitors. Furthermore, the HIV IN inhibitory of R1 and R2 rotamers was compared. On the basis of our results: - Charge density on oxygen atoms of carboxyl moiety has a dominant role in the drug activity. - The a conformer in which a divalent hydrogen atom is a link, has more capability in antiviral drug treatment. - The R1 conformer, as a $Mg^{+2}$ chelating agent, is better than R2 conformer and thus it is more inhibitor of HIV IN.

Effects of Hydration and Metal Ions on the conformation of Daunomycin

  • Moon, Myung-Jun;Jhon, Mu-Shik;Kang, Young-Kee
    • Bulletin of the Korean Chemical Society
    • /
    • 제8권1호
    • /
    • pp.39-45
    • /
    • 1987
  • Daunomycin, an anthracycline antibiotic, has been found to inhibit virus multiplication and shows considerable activity against tumors. Its activity may be varied by conformational changes of daunomycin. The conformational changes are come from the pucker of D-ring and variation of environments. We have carried out conformational analyses by using empirical potential function. We found that when daunomycin is hydrated or bound to $Mg^{2+}$ ion, the minimum conformer of each state is altered from ${\alpha}$ conformer to ${\beta}$ conformer through the pathway having four local minima. Our calculated results are in good agreements with those of X-ray crystallography and biological experiments, in which metal ion inhibits the binding of daunomycin to DNA.