• 제목/요약/키워드: Corpus-based Study

검색결과 204건 처리시간 0.027초

대형 사전훈련 모델의 파인튜닝을 통한 강건한 한국어 음성인식 모델 구축 (Building robust Korean speech recognition model by fine-tuning large pretrained model)

  • 오창한;김청빈;박기영
    • 말소리와 음성과학
    • /
    • 제15권3호
    • /
    • pp.75-82
    • /
    • 2023
  • 자동 음성 인식(automatic speech recognition, ASR)은 딥러닝 기반 접근 방식으로 혁신되었으며, 그중에서도 자기 지도 학습 방법이 특히 효과적일 수 있음이 입증되고 있다. 본 연구에서는 다국어 ASR 시스템인 OpenAI의 Whisper 모델의 한국어 성능을 향상시키는 것을 목표하여 다국어 음성인식 시스템에서의 비주류 언어의 성능 문제를 개선하고자 한다. Whisper는 대용량 웹 음성 데이터 코퍼스(약 68만 시간)에서 사전 학습되었으며 주요 언어에 대한 강력한 인식 성능을 입증했다. 그러나 훈련 중 주요 언어가 아닌 한국어와 같은 언어를 인식하는 데 어려움을 겪을 수 있다. 우리는 약 1,000시간의 한국어 음성으로 구성된 추가 데이터 세트로 Whisper 모델을 파인튜닝하여 이 문제를 해결한다. 또한 동일한 데이터 세트를 사용하여 전체 훈련된 Transformer 모델을 베이스 라인으로 선정하여 성능을 비교한다. 실험 결과를 통해 Whisper 모델을 파인튜닝하면 문자 오류율(character error rate, CER) 측면에서 한국어 음성 인식 기능이 크게 향상되었음을 확인할 수 있다. 특히 모델 크기가 증가함에 따라 성능이 향상되는 경향을 포착하였다. 그러나 Whisper 모델의 영어 성능은 파인튜닝 후 성능이 저하됨을 확인하여 강력한 다국어 모델을 개발하기 위한 추가 연구의 필요성을 확인할 수 있었다. 추가적으로 우리의 연구는 한국어 음성인식 애플리케이션에 파인튜닝된 Whisper 모델을 활용할 수 있는 가능성을 확인할 수 있다. 향후 연구는 실시간 추론을 위한 다국어 인식과 최적화에 초점을 맞춰 실용적 연구를 이어갈 수 있겠다.

의미간의 유사도 연구의 패러다임 변화의 필요성-인지 의미론적 관점에서의 고찰 (The Need for Paradigm Shift in Semantic Similarity and Semantic Relatedness : From Cognitive Semantics Perspective)

  • 최영석;박진수
    • 지능정보연구
    • /
    • 제19권1호
    • /
    • pp.111-123
    • /
    • 2013
  • 개념간의 의미적 유사도 및 관계도(Semantic Similarity/Relatedness)를 구하는 연구는 고전적인 연구에서는 데이터 베이스 통합이나 시스템 통합, 그리고 현대의 연구에 있어서는 태그 및 키워드 추출, 연관 단어 추천 등에 걸쳐 다양한 분야에서 활용되어 온 연구이다. 그 연구는 역사가 오래되었을 뿐만 아니라, 경영정보와 컴퓨터 공학, 계산 언어학에 걸쳐 여러 분야에서도 많은 관심을 가져왔던 연구 분야라고 할 수 있다. 그러나, 지금까지의 개념간의 관계도 계산 방식은 미리 만들어진 사전이나 참조할 수 있는 다른 시맨틱 네트워크(Semantic Network)를 이용하여 계산하는 방법이 주를 이루었다. 이러한 접근 방법의 경우, 개념간의 의미적 관계가 변화에 대한 가능성을 고려하지 않는 것이 일반적이다. 하지만, 정보 기술의 발달과 빠른 사회변화는 개념간의 의미관계 등에 변화를 가져오고 있는 것이 현실이다. 사회적으로 일어나는 사건이나, 문화적 변화 등이 개념간의 의미관계를 변화시키는 것을 물론이며, 이러한 변화가 정보 통신 기술의 도움으로 빠르게 공유되고 있다. 이렇게 개념간의 의미 관계가 시간이나 맥락에 따라 빠르게 변화할 수 있는 가능성이 있음에도 불구하고, 기존의 개념간 의미적 유사도 및 관계도에 대한 연구들은 이러한 '의미관계의 변화'에 대한 새로운 문제에 대해 해답을 제시하지 못한 것이 사실이다. 따라서, 본 연구에서는 개념간의 유사도 연구에 있어 지금까지 있어왔던 '정적인 의미간 관계도 패러다임'에서 '동적인 의미간 관계도 패러다임'으로의 전환의 필요성과 그 당위성을 인지 의미론적(Cognitive Semantics)의 관점에서 역설하고자 한다. 인간이 인지하는 개념간의 의미관계가 변화할 수 있는 이론적 근거를 인지 의미론에서 찾아봄으로써, 패러다임 변화의 방향을 구체적으로 제시하였다. 또한 이러한 패러다임의 변화에 맞추어 개념간의 의미적 유사도 및 관계도에 대한 연구가 어떠한 방향으로 나아가야 할지 구체적인 연구 방향을 제시함으로써 관련 연구자들에게 새로운 연구의 가이드라인을 제시하였다.

이질성 학습을 통한 문서 분류의 정확성 향상 기법 (Improving the Accuracy of Document Classification by Learning Heterogeneity)

  • 윌리엄;현윤진;김남규
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.21-44
    • /
    • 2018
  • 최근 인터넷 기술의 발전과 함께 스마트 기기가 대중화됨에 따라 방대한 양의 텍스트 데이터가 쏟아져 나오고 있으며, 이러한 텍스트 데이터는 뉴스, 블로그, 소셜미디어 등 다양한 미디어 매체를 통해 생산 및 유통되고 있다. 이처럼 손쉽게 방대한 양의 정보를 획득할 수 있게 됨에 따라 보다 효율적으로 문서를 관리하기 위한 문서 분류의 필요성이 급증하였다. 문서 분류는 텍스트 문서를 둘 이상의 카테고리 혹은 클래스로 정의하여 분류하는 것을 의미하며, K-근접 이웃(K-Nearest Neighbor), 나이브 베이지안 알고리즘(Naïve Bayes Algorithm), SVM(Support Vector Machine), 의사결정나무(Decision Tree), 인공신경망(Artificial Neural Network) 등 다양한 기술들이 문서 분류에 활용되고 있다. 특히, 문서 분류는 문맥에 사용된 단어 및 문서 분류를 위해 추출된 형질에 따라 분류 모델의 성능이 달라질 뿐만 아니라, 문서 분류기 구축에 사용된 학습데이터의 질에 따라 문서 분류의 성능이 크게 좌우된다. 하지만 현실세계에서 사용되는 대부분의 데이터는 많은 노이즈(Noise)를 포함하고 있으며, 이러한 데이터의 학습을 통해 생성된 분류 모형은 노이즈의 정도에 따라 정확도 측면의 성능이 영향을 받게 된다. 이에 본 연구에서는 노이즈를 인위적으로 삽입하여 문서 분류기의 견고성을 강화하고 이를 통해 분류의 정확도를 향상시킬 수 있는 방안을 제안하고자 한다. 즉, 분류의 대상이 되는 원 문서와 전혀 다른 특징을 갖는 이질적인 데이터소스로부터 추출한 형질을 원 문서에 일종의 노이즈의 형태로 삽입하여 이질성 학습을 수행하고, 도출된 분류 규칙 중 문서 분류기의 정확도 향상에 기여하는 분류 규칙만을 추출하여 적용하는 방식의 규칙 선별 기반의 앙상블 준지도학습을 제안함으로써 문서 분류의 성능을 향상시키고자 한다.

비핵심어 모델의 가중치 기반 핵심어 검출 성능 향상에 관한 연구 (A Study of Keyword Spotting System Based on the Weight of Non-Keyword Model)

  • 김학진;김순협
    • 정보처리학회논문지B
    • /
    • 제10B권4호
    • /
    • pp.381-388
    • /
    • 2003
  • 본 논문에서는 핵심어 검출기의 성능 향상을 위해 가베지 클라스 클러스터링과 함께 필러 모델에 가중치론 부여하는 방안 및 태스크 도메인 이용자들의 발화 음성의 성향 분석을 통해 핵심어 천이 확률을 계산하여 핵심어 검출기반 대화 음성처리 시스템의 처리 시간 단축 방안을 제안한다. 제안한 방법은 음성학적으로 유사한 음소끼리 묶어서 사용함으로써 하나의 음소는 잘 표현하지 못하지만 비슷한 음소 그룹의 표현에는 유용한 방법으로 본 논문에서는 한국어 형태론과 태스크 도메인으로 선정한 증권거래 대화음성처리 시스템에서 활용되는 발화 문장을 분석하여 5 음소군을 제시한다. 또한 이들 음소군에 태스크 종속적인 필러 모델 가중치를 부여하며, 두 번째로는 시스템의 처리시간 단축을 위해 연속 발화 문장 속에 포함되어 있는 핵심어 천이 확률을 계산하여 시스템에 적용 실험한다. 제안한 시스템의 성능 평가를 위해 태스크 도메인에 활용되는 4,970 문장의 코퍼스를 구축하고, 이용자 중 20대∼30대 5명이 발성하게 하여 실험한 결과, 제안한 5 음소군에 가중치를 부여한 방법의 FOM은 87.5%로 Yapanel[1]의 7음소군 85.5%보다 우수한 성능을 보였으나, LVCSR의 89.8%보다는 약간 뒤지는 성능을 확인하였다. 계산시간에 있어서도 0.70초로 7음소군의 0.72초보다 우수한 성능을 보였다. 핵심어 천이 확률 분석을 통한 인식 시간 단축 실험에서는 천이 확률을 적용했을 때 약 0.04초∼0.07초의 처리 시간을 단축하는 것을 확인하였다.

홍삼, 천마, 적하수오 병용투여에 의한 고지혈증 랫드에서의 콜레스테롤 및 발기부전 개선효과 (Beneficial effect of Combination with Korean Red Ginseng, Gastrodia Rhizoma and Polygoni Multiflori on Cholesterol and Erectile Dysfunction in Hyperlipidemia rats)

  • 이윤정;고민철;담서;이재윤;황진석;차정단;최경민;강대길
    • 대한본초학회지
    • /
    • 제30권6호
    • /
    • pp.69-75
    • /
    • 2015
  • Objectives : This study was designed to investigate effects of the combination with Korean Red Ginseng (Panax ginseng C.A. Meyer), Gastrodia Rhizoma (Gastrodia elata Blume) and Polygoni Multiflori Radix (Polygonum multiflorum Thunberg) on metabolic disorders including cholesterol and erectile dysfunction in hyperlipidemia rats.Methods : Animals were divided into six groups; Control with normal diet, high fat/cholesterol-diet (HFCD), fluvastatin, Korean Red Ginseng treated (KRG), and the combination treated (Korean Red Ginseng, Gastrodia Rhizoma and Polygoni Multiflori Radix; 1:1:1 for KGP1 and 2:1:1 for KGP2). The experimental groups initially received HFCD for 10 weeks and then treated orally with fluvastatin, KRG, KGP1 and KGP2 during the final 6 weeks. Erectile function was determined by the measurements of intracavernosal pressure (ICP) and maximal arterial pressure (MAP) after electrical stimulation of the cavernosal nerve.Results : KGP2 decreased the level of total cholesterol and LDL cholesterol in the sera of HFCD rats without no changes of body weights. KRG, KGP1 and KGP2 decreased the level of C-reactive protein (CRP) levels except of fluvastatin, synthetic HMG-CoA reductase inhibitor. KRG, KGP1 and KGP2 significantly increased the ICP, ICP/MAP ratio, area under the curve (AUC) compared with those of normal rat. Morphometric analyses showed that KRG, KGP1 and KGP2 increased the volume of smooth muscle and the regular arrangement of collagen fibers in corpus cavernosum of HFCD rats. The penile expression of eNOS was increased by KRG, KGP1 and KGP2.Conclusions : Based on these results, we suggest that the combination with Korean Red Ginseng, Gastrodia Rhizoma and Polygoni Multiflori may improve hyperlipidemia through regulating the lipid profiles and erectile dysfunction in rats.

대상회전 기타 피질이 손상된 흰쥐들의 행동 변화 (Behavioral Changes of Rats following Cingulate or Other Cortical Damages)

  • 김정진;김종규;김명석
    • The Korean Journal of Physiology
    • /
    • 제2권2호
    • /
    • pp.83-92
    • /
    • 1968
  • A study was planned to evaluate the effects of removal of the cingulate cortex upon the occurrence of any behavior commonly displayed by the rat, and to compare the effects of cingulectomy with those of removal of the parietal, parieto-occipital, or occipital regions. The subjects were 54 male albino rats (Holtzman strain, body weight $200{\sim}330\;gm$) including 14 rats in which the cingulate gyri between splenium and genu of the corpus callosum were bilaterally ablated by suction (cingulate group), 9 animals which had their parietal cortices (chiefly area 7) partially removed (parietal group), 9 rats whose parietal and occipital regions (chiefly areae 7 & 17), 13 animals in which the occipital cortices (chiefly area 17) were removed bilaterally (occipital group), and 9 normal rats (normal control group). Eighteen observation cages, each of which housed a subject and was provided with food and water ad lib., were arranged in 6 rows on a rack and the behavior of each subject was scanned by an observer at a distance of 1.5 m from the rack. The observer scanned the first and second rows 6 times in 1 min, then proceeded to the 3rd and 4th rows, scanning for another 1 min, and finally to the 5th and 6th rows. The speed of scanning was such that behavioral observations of all of the 18 rats were completed in 3 min, each subject receiving 6 observations. The scanning was repeated every 3 min for 18 min, which constituted one observation session and was followed by a 72 minutes' recess. The whole procedure was repeated through 24 hours so that a total of 576 behavioral observations were made on each subject in 16 observation sessions. Behaviors checked were sleeping, lying, lying and sniffing, standing, standing and sniffing, exploring, eating, drinking, grooming (included were washing, licking, and scratching), and others. Results obtained were as follows: 1. The cingulate group ate significantly more often than the normal control, the parietal, and the parieto-occipital groups. 2. Exploration was significantly less frequent in the cingulate group than in the normal control, the parietal, and the occipital groups. There was, in the case of the cingulate group, a significant negative correlation between the occurrence of eating and the exploratory activity. 3. The general activity, as judged from the value obtained by adding the occurrence of exploration, eating, drinking, grooming, and standing and sniffing, was significantly increased in the cingulate group compared with those of any other groups including the normal control. 4. Though statistically insignificant, the cingulate group slept least often among all the animal groups tested. 5. The parieto-occipital group tended to groom less, and the parietal group to eat less often than the normal control group did, but the difference was not significant. There were no significant differences among all the groups except the cingulate group as regards other behaviors analyzed. Based on the above results, it was inferred that the cingulate cortex exerts an inhibitory influence upon the occurrence of eating and general activity, while it tends to facilitate the occurrence of sleep.

  • PDF

과배란 처치시 우세난포 조절에 의한 한우 수정란 생산성 향상에 관한 연구 I. 우세난포 처리에 따른 난소반응 (Superovulation Response after Follicular Wave Synchronization with Follicular Aspiration by Ultrasonography in HanWoo I. Effect of Follicular Aspiration on Ovarian Response Following Superovulation)

  • 이병천;이동원;신수정;박종임;황우석
    • 한국수정란이식학회지
    • /
    • 제14권3호
    • /
    • pp.203-210
    • /
    • 1999
  • In this stuyd, the effect of the dominant follicle aspiration for the superovulatory response in HanWoo was investigated. The criterion for the presence or absence of a dominant follicle based on their morphological examination. The dominant follicle was aspirated 48hr before the onset of superovulation treatment by 6.5MHz convex probe connected with a carrier and superovulation induced by FSH (Super-Ov Tyrer, Texas, U.S.A) adminstered twic a day s.c. over 4 day in a decreasing regimen. From 13 HanWoo scanned daily to determine the presence and growth of the dominant follicle, its an average diameter of 15.4mm was measured and an average diameter of corpora lutea was 18.7mm on day of follicular aspiration. In the experiment, a follicular remove by ultrasound-guided aspiration, the ovarian response was significantly enhanced when animals were superovulated in the aspiation of a dominant follicle compare with animals superovulated non-aspiration of a dominat follicle. In the aspiration of a dominant follicle donors yieleded more corpora lutea(14.4$\pm$4.7 vs 8.6$\pm$3.4) and transferable embryos(8.9$\pm$4.2 vs 5.4$\pm$2.7) than control. In cows in which the dominant follicle had been aspirated under sonographical control 2 days before superovuation, the number of corpus lutea and transferable embryos were significantly enhanced compared with animals superovulated in the presence of a dominant follicle (14.4$\pm$4.7 vs 6.9$\pm$2.7, ; 8.9$\pm$4.2 vs 3.3$\pm$1.6). After 7 days of artificial insemination, the embryos at 7 days were cllected by uterine flushing after dominant follicle insemination, the embryos at 7 days were collected by uterine flushing after dominant follicle aspiration and superovulation treatment, and evaluated their quality by morphological criteria. Sixteen embryos with excellent and good grade were transferred into 8 recipient cows. Six pregnancies were identified at 60 and 120 days of gestation by rectal palpations. In conclusion, the present study showed that 1) the presence or absence of a dominant follicle signficicnatly affects superovulatory responses, and 2) ultrasound-guided follicular aspiration of the dominant follicle and superovuation treatment provides an accurate and procedure to increase ovarian responses in HanWoo.

  • PDF

Effect of Different Feeding Ratios of Whole Crop Barley Silage on the Embryo Production in Hanwoo Donors

  • Son, Dong-Soo;Choe, Chang-Yong;Cho, Sang-Rae;Kim, Nam-Tae;Kim, Hyun-Jong;Yeon, Seong-Heum;Ryu, Il-Sun;Son, Jun-Kyu;Choi, Sun-Ho;Kim, Ill-Hwa
    • 한국수정란이식학회지
    • /
    • 제24권4호
    • /
    • pp.265-269
    • /
    • 2009
  • The purpose of this study was to determine the effect of different feeding ratios of whole crop barley silage on the embryo production in Hanwoo donors. All donors were basically fed 2.5 kg concentrate daily. Donors were divided into three groups according to the different feeding of forage; hay 70% and rice straw 30% (control, n = 21), whole crop barley silage 80% and rice straw 20% (T1, n = 25), and whole crop barley silage 60% and rice straw 40% (T2, n = 23) fed based on TDN 6.70/ BW 500 kg. All Hanwoo donors received a CIDR together with injections of 1 mg estradiol benzoate and 50 mg progesterone ($P_4$, Day 0). Four days later, they were superovulated with 28 mg FSH twice daily IM in decreasing doses over 4 days. Then donors received 2 doses of $PGF_2{\alpha}$ (25 and 15 mg) with the 5th and 6th injections of FSH on Day 6. CIDR were withdrawn at the 6th FSH injection and the donors received $100\;{\mu}g$ GnRH 36 h after the second $PGF_2{\alpha}$ injection. The donors were artificially inseminated twice, at 8 and 24 h after GnRH, and embryos were recovered 7 or 8 days after the 1st insemination. The flush rate of the donors following positive superovulation responses did not differ among groups (76.2~96.0%, p>0.05). The number of corpus luteum (CL) at embryo recovery also did not differ among groups (10.6~14.0, p>0.05). Furthermore, the mean numbers of total ova (9.4, 10.5 and 12.0) and transferable embryos (5.3, 12.0 and 6.5) did not significantly differ among the control, T1 and T2 groups, respectively (p>0.05). However, mean concentrations of serum $P_4$ of the T1 (64.2 ng/ml) and T2 groups (55.7 ng/ml) were higher than that of control group (43.3 ng/ml, p<0.01), while serum cholesterol concentrations in the control (105.8 mg/dl) and T2 groups ($96.9\;{\pm}\;mg/dl$) were significantly lower than in the T1 group (121.1 mg/dl, p<0.05). Conclusively, whole crop barley silage can be fed a good substitute for hay forage for Hanwoo donors. Furthermore the ratios of whole crop barley silage 60% and rice straw 40% might be more worthful for embryo production.

모음 스펙트럼에 기반한 전후 비자음 조음위치 판별 (Classification of nasal places of articulation based on the spectra of adjacent vowels)

  • 윤지현;성철재
    • 말소리와 음성과학
    • /
    • 제15권1호
    • /
    • pp.25-34
    • /
    • 2023
  • 본 연구에서는 한국어 비음의 조음위치 변별을 위한 지표로서 모음 음향 특성의 활용 가능성을 타진하였다. 비음에 인접한 /ㅏ/ 모음 시료를 대용량 한국어 자연발화 말소리 자료에서 추출하여 모음 구간의 25%, 50%, 75% 시점에서 음향 매개변수를 측정하였다. 이 스펙트럼 및 지속시간 변수를 이용하여 판별분석을 수행하고 이를 바탕으로 선행 또는 후행 비자음의 조음위치 분류정확도를 추정하였다. 또한 조음위치 공조음(coarticulation)의 관점에서 순행적 공조음과 역행적 공조음의 영향을 확인하기 위하여 측정 대상 모음에 비음이 선행하는 경우와 후행하는 경우로 나누어 비교하였다. 분석 결과, 전후 비자음의 조음위치 분류정확도는 약 50%-60%로 나타났다. 모음의 음향 매개변수 측정값만으로 비음의 조음위치를 예측·분류하기에는 어려움이 있으나, 공조음 정도가 가장 약할 것으로 예상되는 모음 정중 구간에서 측정된 음향 변수만으로도 위와 같은 정확도를 얻었다는 점에서 비음 구간의 분석결과와 함께 모음 측정치를 활용함으로써 비음 조음위치 인식률 향상에 기여할 수 있을 것으로 기대한다. 한편 측정 대상 모음에 선행 또는 후행하는 비음 조건 간에 비교하였을 때, 후행 비음 조음위치의 분류정확도가 더 높게 나타났다는 점에서 역행적 조음위치 공조음의 영향이 더 클 가능성이 확인되었다.

텍스트 마이닝(Text mining) 기법을 활용한 『제1차조선교육령』과 『조선교육요람』(1913, 1920)의영어번역본 분석 (Analysis on the English Translation of The First Chosen Educational Ordinance, Manual of Education of Koreans (1913), and Manual of Education in Chosen 1920 (1920) Using Text Mining Analytics)

  • 탁진영;곽은주;진실로;손민주;김동미
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.309-317
    • /
    • 2023
  • 본 논문의 목표는 1911년에 공포된 『제1차 조선교육령』, 1913년에 발행된 『조선교육요람』과 1920년에 발행된 『조선교육요람(1920)』의 영어 텍스트를 비교 분석하고, 이를 통해 조선총독부의 조선 통제 수단으로 활용된 식민지 교육정책을 추적하는 것이다. 본 논문은 조선총독부의 식민지 교육정책의 전체적인 흐름과 그 배경을 파악하기 위해 기존의 단편적이고 질적인 역사서 연구와는 달리 통시적·양적 연구를 시도하였다. 이를 위해 상위 50개 단어 빈도 순위와 워드 클라우드(Word Cloud)와 CONCOR(CONvergence of iteration CORrelation)의 텍스트 마이닝 기법을 활용하여 다음과 같은 결과를 도출하였다. 첫째, 1911년 『제1차 조선교육령』은 '전체적인 규정'이나 '교육과정 및 운영'에 초점을 두었고 둘째, 1913년의 『조선교육요람』은 '교육 방식 및 매체'와 전반적인 '교육 내용'에 대한 지침을 싣고 있었다. 그리고 마지막으로 1920년 『조선교육요람(1920)』은 교육의 구체적인 '교육 실행 및 교육의 주체'에 관한 내용을 담고 있었다.