• Title/Summary/Keyword: mixture 모델

Search Result 750, Processing Time 0.027 seconds

How are they layerwisely 'surprised', KoBERT and KR-BERT? (KoBERT와 KR-BERT의 은닉층별 통사 및 의미 처리 성능 평가)

  • Choi, Sunjoo;Park, Myung-Kwan;Kim, Euhee
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.340-345
    • /
    • 2021
  • 최근 많은 연구들이 BERT를 활용하여, 주어진 문맥에서 언어학/문법적으로 적절하지 않은 단어를 인지하고 찾아내는 성과를 보고하였다. 하지만 일반적으로 딥러닝 관점에서 NLL기법(Negative log-likelihood)은 주어진 문맥에서 언어 변칙에 대한 정확한 성격을 규명하기에는 어려움이 있다고 지적되고 있다. 이러한 한계를 해결하기 위하여, Li et al.(2021)은 트랜스포머 언어모델의 은닉층별 밀도 추정(density estimation)을 통한 가우시안 확률 분포를 활용하는 가우시안 혼합 모델(Gaussian Mixture Model)을 적용하였다. 그들은 트랜스포머 언어모델이 언어 변칙 예문들의 종류에 따라 상이한 메커니즘을 사용하여 처리한다는 점을 보고하였다. 이 선행 연구를 받아들여 본 연구에서는 한국어 기반 언어모델인 KoBERT나 KR-BERT도 과연 한국어의 상이한 유형의 언어 변칙 예문들을 다른 방식으로 처리할 수 있는지를 규명하고자 한다. 이를 위해, 본 연구에서는 한국어 형태통사적 그리고 의미적 변칙 예문들을 구성하였고, 이 예문들을 바탕으로 한국어 기반 모델들의 성능을 놀라움-갭(surprisal gap) 점수를 계산하여 평가하였다. 본 논문에서는 한국어 기반 모델들도 의미적 변칙 예문을 처리할 때보다 형태통사적 변칙 예문을 처리할 때 상대적으로 보다 더 높은 놀라움-갭 점수를 보여주고 있음을 발견하였다. 즉, 상이한 종류의 언어 변칙 예문들을 처리하기 위하여 다른 메커니즘을 활용하고 있음을 보였다.

  • PDF

Network Intrusion Detection System Using Gaussian Mixture Models (가우시안 혼합 모델을 이용한 네트워크 침입 탐지 시스템)

  • Park Myung-Aun;Kim Dong-Kook;Noh Bong-Nam
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.130-132
    • /
    • 2005
  • 초고속 네트워크의 폭발적인 확산과 함께 네트워크 침입 사례 또한 증가하고 있다. 이를 검출하기 위한 방안으로 침입 탐지 시스템에 대한 관심과 연구 또한 증가하고 있다. 네트워크 침입을 탐지위한 방법으로 기존의 알려진 공격을 찾는 오용 탐지와 비정상적인 행위를 탐지하는 방법이 존재한다. 본 논문에서는 이를 혼합한 하이브리드 형태의 새로운 침입 탐지 시스템을 제안한다. 기존의 혼합된 방식과는 다르게 네트워크 데이터의 모델링과 탐지를 위해 가우시안 혼합 모델을 사용한다. 가우시안 혼합 모델에 기반한 침입 탐지 시스템의 성능을 평가하기 위해 DARPA'99 데이터에 적용하여 실험하였다. 실험 결과 정상과 공격은 확연히 구분되는 결과를 나타내었으며, 공격 간의 분류도 상당 수 가능하였다.

  • PDF

Mixture Distributions for Image Denoising in Wavelet Domain (웨이블릿 영역에서 혼합 모델을 사용한 영상 잡음 제거)

  • Bae, Byoung-Suk;Kang, Moon-Gi
    • Proceedings of the KIEE Conference
    • /
    • 2008.04a
    • /
    • pp.89-90
    • /
    • 2008
  • AWGN(Addictive white gaussian noise)에 의해 영상은 자주 훼손되곤 한다. 최근 이를 복원하기위해 웨이블릿(Wavelet) 영역에서의 베이시안(Bayesian) 추정법이 연구되고 있다. 웨이블릿 변환된 영상 신호의 밀도 함수(pdf)는 표족한 첨두와 긴 꼬리(long-tail)를 갖는 경망이 있다. 이러한 사전 밀도 함수(a priori probability density function)를 상황에 적합하게 추정한다면 좋은 성능의 복원 결과를 얻을 수 있다. 빈번이 제안되는 릴도 함수로 가우시안(Gaussian) 분포 참수와 라플라스(Laplace) 분포 함수가 있다. 이들 각각의 모델은 훌륭히 변환 계수들을 모델링하며 나름대로의 장점을 나타낸다. 본 연구에서는 가우시안 분포와 라플라스(Laplace) 분포의 혼합 분포 모델을 밀도 함수로 제안하여, 이 들의 장점을 종합하였다. 이를 MAP(Maximum a Posteriori) 추정 방법에 적용하여 잡음을 제거 하였다. 그 결과 기존의 알고리즘에 비해 시각적인 면(Visual aspect), 수치적인 면(PSNR), 그리고 연산량(Complexity) 측면에서 망상된 결과를 얻었다.

  • PDF

A Mathematical Model of Liquid Rocket Engine Using Simulink (Simulink를 이용한 액체로켓 엔진의 수학적 모델링)

  • Park, Soon-Young;Cho, Won-Kook;Seol, Woo-Seok
    • Aerospace Engineering and Technology
    • /
    • v.8 no.1
    • /
    • pp.82-97
    • /
    • 2009
  • In this study, a linearlized model of liquid rocket engine specifically for the gasgenerator cycle one was developed to serve as a basic control model. A commercial software Simulink was used for the modeling. Using this tool we studied the throttling characteristic of engine around its nominal mode. To obtain the effect of the throttle valve design on the engine's control characteristic, we included mathematical model of the control valve with driving motor and the pressure stabilizer which installed on the gas-generator fed line to sustain the mixture ratio of the gas-generator.

  • PDF

Analysis for microRNA sequences by the position-weight-matrix mixture model (위치 점수 행렬 혼합 모델을 이용한 microRNA 서열 특성 분석)

  • Rhee Je-Keun;Zhang Byoung-Tak
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06a
    • /
    • pp.52-54
    • /
    • 2006
  • 특정한 기능을 하는 DNA 조각은 특정한 염기 서열들을 가진다. 이를 이용하여 특정 조각의 DNA 서열을 위치 점수 행렬을 이용하여 표현할 수 있다. 하지만 찾고자 하는 DNA 부분들이 완전히 밝혀진 것이 아닐 수 있다. 따라서 현재 밝혀진 정보만을 이용하여 위치 점수 행렬을 만들 경우, 실제 서얼 패턴이 아닌 편중된 정보가 얻어질 수 있다. 따라서 본 논문에서는 위치 점수 행렬의 혼합 모델을 이용하여, 각각의 특정 군집들을 대표할 수 있는 행렬들을 구분하여 구성하였다. 본 논문에서는 약 22개의 염기로 구성된 microRNA 서열 중, 초반부의 8개의 염기 서열정보를 이용하여, 이들 위치의 서열상의 특성을 확인해 보고자 하였다. miRNA 서열을 대표하기 위한 위치 점수 행렬들은 구분하여 만들고, EM 알고리즘을 이용하여 학습한다. 학습 결과 얻어진 혼합 모델과 은닉 변수를 통해 microRNA들을 군집화하고, 각각의 군집에 속한 microRNA 서열의 특성을 확인한다.

  • PDF

Flamelet Modelling of Soot Formation and Oxidation in a Laminar $CH_4$-Air Diffusion Flame (화염편모델을 이용한 층류확산화염장의 매연 생성 및 산화과정 해석)

  • Kim, Gun-Hong;Kim, Hu-Jung;Kim, Yong-Mo;Kim, Seung-Ku
    • 한국연소학회:학술대회논문집
    • /
    • 2003.12a
    • /
    • pp.3-9
    • /
    • 2003
  • By utilizing a semi-empirical soot model, the applicability of the laminar flamelet concept for simulating the formation and oxidation of soot in the laminar diffusion flame has been studied. The source terms for two transport equations of the soot formation and oxidation are calculated in the mixture fraction/scalar dissipation rate space for laminar flamelets and stored in a library. In this study, emphasis is given to the interaction associated with radiation and soot formation. The radiative heat loss is obtained by solving the radiative transfer equation using the unstructured grid finite volume method with the WSGGM. The calculated temperatures and soot volume fractions agree relatively well with the experimental data and the previous numerical results of Kaplan et al. using the detailed chemistry.

  • PDF

Mixture Model for Dissolved Oxygen Prediction with Irregular Feeding Events (불규칙성 급이 이벤트에 의한 용존산소량 변화 예측을 위한 혼합 모델 제안)

  • Woo-Jae Kim;Hieyong Jeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.358-360
    • /
    • 2023
  • 뱀장어는 내수면 양식어종으로 뱀장어 양식에서 널리 쓰이는 지수식 양식에 있어서 가장 중요하고 가장 어려운 것은 수질관리다. 수질을 구성하는 요소와 공급된 사료량은 서로 상관관계를 가지며, 이 상관관계에 이상 현상이 발생하면 먹이 섭취 불량과 폐사로 이어질 수 있다. 그래서 본 연구에서는 센서로 측정한 양식장 데이터와 인공지능 모델을 이용하여 수조 속 DO 를 예측하는 모델을 새롭게 제안하여, 적절한 사료 공급 시점과 적절한 공급량을 결정하는 방안에 적절히 사용할 수 있다는 것을 검증하였다. 사료 공급과 공급량에 따른 변화를 가미한 3 시간 후의 DO 를 합당한 이벤트 처리를 통해 예측하였다. 이를 활용하면 사료로 인해 떨어지는 DO 수치를 예측하고, DO 수치가 낮아 회복이 필요한 시점에 투입하는 사료량을 조절하여 질식으로 인해 발생하는 폐사로부터 양식어를 지키며 보다 안정적으로 양식을 위해 활용할 수 있다는 점을 확인할 수 있었다.

Quality Improvement of Bandwidth Extended Speech Using Mixed Excitation Model (혼합여기모델을 이용한 대역 확장된 음성신호의 음질 개선)

  • Choi Mu Yeol;Kim Hyung Soon
    • MALSORI
    • /
    • no.52
    • /
    • pp.133-144
    • /
    • 2004
  • The quality of narrowband speech can be enhanced by the bandwidth extension technology. This paper proposes a mixed excitation and an energy compensation method based on Gaussian Mixture Model (GMM). First, we employ the mixed excitation model having both periodic and aperiodic characteristics in frequency domain. We use a filter bank to extract the periodicity features from the filtered signals and model them based on GMM to estimate the mixed excitation. Second, we separate the acoustic space into the voiced and unvoiced parts of speech to compensate for the energy difference between narrowband speech and reconstructed highband, or lowband speech, more accurately. Objective and subjective evaluations show that the quality of wideband speech reconstructed by the proposed method is superior to that by the conventional bandwidth extension method.

  • PDF

Improvement of Semicontinuous Hiden Markov Models and One-Pass Algorithm for Recognition of Keywords in Korean Continuous Speech (한국어 연속음성중 키워드 인식을 위한 반연속 은닉 마코브 모델과 One-Pass 알고리즘의 개선방안)

  • 최관선
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • 1994.06c
    • /
    • pp.358-363
    • /
    • 1994
  • This paper presents the improvement of the SCHMM using discrete VQ and One-Pass algorithm for keywords recognition in Korean continuous speech. The SCHMM using discrete VQ is a simple model that is composed of a variable mixture gaussian probability density function with dynamic mixture number. One-Pass algorithm is improved such that recognition rates are enhanced by fathoming any undesirable semisyllable with the low likelihood and the high duration penalty, and computation time is reduced by testing only the frame which is dissimilar to the previously testd frame. In recognition experiments for speaker-dependent case, the improved One-Pass algorithm has shown recognition rates as high as 99.7% and has reduced compution time by about 30% compared with the currently abailable one-pass algorithm.

  • PDF

Flash Point Calculation for n-Octane+n-Decane and n-Octane+n-Dodecane by UNIFAC Group Contribution Model (UNIFAC 그룹 기여 모델에 의한 n-Octnae+n-Decane 계와 n-Octane+n-Dodecane 계의 인화점 계산)

  • Ha, Dong-Myeong;Lee, Sungjin
    • Journal of the Korean Society of Safety
    • /
    • v.30 no.4
    • /
    • pp.86-91
    • /
    • 2015
  • The flash point is used to categorize inflammable liquids according to their relative flammability. Such a categorization is important for the safe handling, storage, and transportation of inflammable liquids. The flash point temperature of two binary liquid mixtures(n-octane+n-decane and n-octane+n-dodecane) has been measured for the entire concentration range using Seta-flash closed cup tester based on the ASTM D3278 method. The closed cup flash point temperature was estimated using the UNIFAC(Universal Functional Activity Coefficient) group contribution model. The experimentally derived flash point was also compared with the predicted flash point from the UNIFAC model. The UNIFAC model is able to estimate the flash point fairly well for n-octane+n-decane mixture and n-octane+n-dodecane mixture.