• Title/Summary/Keyword: 확률 모델

Search Result 2,138, Processing Time 0.033 seconds

Probability distribution predicted performance improvement in noisy label (라벨 노이즈 환경에서 확률분포 예측 성능 향상 방법)

  • Roh, Jun-ho;Woo, Seung-beom;Hwang, Won-jun
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.05a
    • /
    • pp.607-610
    • /
    • 2021
  • When learning a model in supervised learning, input data and the label of the data are required. However, labeling is high cost task and if automated, there is no guarantee that the label will always be correct. In the case of supervised learning in such a noisy labels environment, the accuracy of the model increases at the initial stage of learning, but decrease significantly after a certain period of time. There are various methods to solve the noisy label problem. But in most cases, the probability predicted by the model is used as the pseudo label. So, we proposed a method to predict the true label more quickly by refining the probabilities predicted by the model. Result of experiments on the same environment and dataset, it was confirmed that the performance improved and converged faster. Through this, it can be applied to methods that use the probability distribution predicted by the model among existing studies. And it is possible to reduce the time required for learning because it can converge faster in the same environment.

  • PDF

Reduce Redundant Repetition Using Decoding History for Sequence-to-Sequence Summarization (단어 생성 이력을 이용한 시퀀스-투-시퀀스 요약의 어휘 반복 문제 해결)

  • Ryu, Jae-Hyun;Noh, Yunseok;Choi, Su Jeong;Park, Se-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.120-125
    • /
    • 2018
  • 문서 요약 문제는 최근 심층 신경망을 활용하여 활발히 연구되고 있는 문제 중 하나이다. 많은 기존 연구들이 주로 시퀀스-투-시퀀스 모델을 활용하여 요약을 수행하고 있으나, 아직 양질의 요약을 생성하기에는 많은 문제점이 있다. 시퀀스-투-시퀀스 모델을 활용한 요약에서 가장 빈번히 나타나는 문제 중 하나는 요약문의 생성과정에서 단어나 구, 문장이 불필요하게 반복적으로 생성되는 것이다. 이를 해결하기 위해 다양한 연구가 이루어지고 있으며, 이들 대부분은 요약문의 생성 과정에서 정확한 정보를 주기 위해 모델에 여러 모듈을 추가하였다. 하지만 기존 연구들은 생성 단어가 정답 단어로 나올 확률을 최대화 하도록 학습되기 때문에, 생성하지 말아야 하는 단어에 대한 학습이 부족하여 반복 생성 문제를 해결하는 것에는 한계가 있다. 따라서 본 논문에서는 기존 요약 모델의 복잡도를 높이지 않고, 단어 생성 이력을 직접적으로 이용하여 반복 생성을 제어하는 모델을 제안한다. 제안한 모델은 학습할 때 생성 단계에서 이전에 생성한 단어가 이후에 다시 생성될 확률을 최소화하여 실제 모델이 생성한 단어가 반복 생성될 확률을 직접적으로 제어한다. 한국어 데이터를 이용하여 제안한 방법을 통해 요약문을 생성한 결과, 비교모델보다 단어 반복이 크게 줄어들어 양질의 요약을 생성하는 것을 확인할 수 있었다.

  • PDF

Review On the Statistical Data to Implement Human Model (인적 모델 개발에 필요한 통계 데이터 고찰)

  • Jo, Su-San;Jang, Eunp-Jin;Yim, Jeong-Bin
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2015.10a
    • /
    • pp.193-195
    • /
    • 2015
  • 해양사고 원인의 70 % 이상을 차지하는 인적오류 예방은 해양안전에 가장 중요한 이슈이다. 인적오류는 확률기반의 인적 모델을 구축하여 평가함으로써 예상되는 위기의 수준을 과학적으로 예측할 수 있다. 확률기반 인적 모델을 구축하기 위해서는 사건의 원인과 결과 사이에 연계성을 갖고 있는 통계 데이터가 필요하다. 본 연구에서는 이러한 연계 데이터 확보를 위한 것으로, 해양안전심판원의 통계 데이터 사이의 연계성 확보 방안을 주로 검토하였다. 그리고 이러한 통계 데이터를 인적 모델에 적용하는 방법과 전략도 검토하였다. 인적 모델은 회사, 선박, 해기사 관련 요소들이 총체적으로 반영될 필요가 있음을 알았고, 이러한 세 가지 요소로 구성된 통합 모델을 설계하기 위한 방안도 검토하였다. 특히, 각 요소들에 포함될 데이터 사이의 연계성 확보를 위해서 해양사고 연계 체인(Chain)을 도입하였다. 확보한 데이터는 사고의 가장 근본원인인 Hazard부터 사고의 영향을 나타내는 Impact까지의 6 단계 분석 방법을 적용하여 통계 데이터에 결합되어 있는 원인과 결과 사이의 연계성을 확보할 수 있는 방안을 수립하였다. 본 연구는 중장기적으로 추진할 과제이기 때문에 향후 본 연구 내용을 토대로 인적 모델을 개발하여 해양사고 예방에 적극 기여하고자 한다.

  • PDF

Assessment of Fragility Curve for Earthquake in Railway Bridge (기존 철도교량의 지진에 대한 취약도 곡선 산정)

  • Kim, Dae-Ho;Sun, Chang-Ho;Kim, Ick-Hyun
    • Proceedings of the Korea Concrete Institute Conference
    • /
    • 2008.11a
    • /
    • pp.101-104
    • /
    • 2008
  • Recently, the serious damage by earthquakes is increased around the world. SOC fo city is established to minimize the loss of lives and assets by earthquakes, which an objective standard is required. Generally, bridges damage by earthquakes occurred the inelastic hinge under the column. Nonlinear element model of inelastic hinge have been used to Bilinear model, but Takeda model for material characterization of concrete is a little. In this study, railway bridge was performed seismic fragility analysis for Takeda model and Bilinear model comparatively. This analysis shows that damage probability of Takeda model is larger than Bilinear model. And analysis of Takeda model in longitudinal direction and transverse direction are different. Therefore developed analysis for concrete column of bridge is expected to apply to material characterization.

  • PDF

A Study on the Prediction of the Response of Stochastic Dynamic System (확률적 동적계의 응답 예측에 관한 연구)

  • 남성현;김호룡
    • Proceedings of the Korean Society for Noise and Vibration Engineering Conference
    • /
    • 1994.10a
    • /
    • pp.29-34
    • /
    • 1994
  • 본 연구에서는 계의 변수들이 불확실성을 갖고 비정상확률입력을 받는 비선형 동적계를 포함한 일반적인 확률적 선형/비선형 동적계의 해석을 수행하기 위하여 동적계의 확률적 모델과 새로운 확률과정근사법을 이용한 확률해석을 제시하고, 그 타당성을 Monte Carlo 시뮬레이션으로 검증하고자 한다.

  • PDF

A Comparative Study on Parameter for Korean Phoneme-based HMM Model Decision (한국어 음소 HMM 모델 결정을 위한 파라미터 비교 연구)

  • 권혁제
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • 1998.08a
    • /
    • pp.302-305
    • /
    • 1998
  • 음소의 확률적 분포를 이용하는 음소 HMM 모델을 결정하기 위한 여러 가지 거리 측정방법에 대한 연구이다. 음소 HMM 모델 결정을 위해서 LPC 계수를 이용하고, 거리 측정자를 LPC 계수, LPC 스첵트럼, LPC 켑스트럼 등의 파라미터를 이용하고, 또한 양자화 과정은 k-means 와 LBG 알고리즘을 혼합한 하이브리드 알고리듬을 사용하였다. LPC 코드북을 구성하기 위해 세 가지 파라미터를 유클리디안 거리로 거리측정에 이용하였다. 이렇게 양자화한 파라미터의 평균과 분산을 구하고, 양자화한 파라미터 코드북의 확률갑승ㄹ 비교해 한국어 음소 HMM 모델 결정을 위한 거리 측정 파라미터를 비교하였으며, 그 결과 LPC 계수를 주파수 영역으로 변환하여 유클리디안 거리를 이용한 코드북의 분산이 작으므로 상대적으로 높은 확률을 가짐을 보았다.

  • PDF

Korean and English Text Chunking Using IG Back-off Smoothing and Probabilistic Model (IG back-off 평탄화와 확률 기반 모델을 이용한 한국어 및 영어 단위화)

  • Yi, Eun-Ji;Lee, Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.118-123
    • /
    • 2002
  • 많은 자연언어처리 분야에서 문장의 단위화는 기본적인 처리 단계로서 중요한 위치를 차지하고 있다. 한국어 단위화에 대한 기존 연구들은 규칙 기반 방법이나 기계 학습 기법을 이용한 것이 대부분이었다. 본 논문에서는 통계 기반 방식의 일환으로 순수 확률기반 모델을 이용한 단위화 방법을 제시한다. 확률 기반 모델은 처리하고자 하는 해당 언어에 대한 깊은 지식 없이도 적용 가능하다는 장점을 가지므로 다양한 언어의 단위화에 대한 기본 모델로서 이용될 수 있다. 또한 자료 부족 문제를 해결하기 위해 메모리 기반 학습 시에 사용하는 IG back-off 평탄화 방식을 시스템에 적용하였다. 본 논문의 모텔을 적용한 단위화 시스템을 이용하여 한국어와 영어에 대해 실험한 결과 비교적 작은 규모의 말뭉치를 학습하였음에도 불구하고 각각 90.0%, 90.0%의 정확도를 보였다.

  • PDF

Probability-annotated Ontology Model for Context Awareness in Ubiquitous Computing Environment (유비쿼터스 컴퓨팅 환경에서의 상황 인식을 위한 확률 확장 온톨로지 모델)

  • Jung, Heon-Man;Lee, Jung-Hyun
    • Journal of the Korea Society of Computer and Information
    • /
    • v.11 no.3
    • /
    • pp.239-248
    • /
    • 2006
  • Current context-aware applications In ubiquitous computing environments make the assumption that the context they are dealing with is correct. However, in reality, both sensed and interpreted context informations are often uncertain or imperfect. In this paper, we propose a probability extension model to ontology-based model for rep resenting uncertain contexts and use Bayesian networks to resolve about uncertainty of context informations. The proposed model can support the development and operation of various context-aware services, which are required in the ubiquitous computing environment.

  • PDF

Flood Discharge Estimation with Consideration of Uncertainty of Rainfall Spatial Distribution (강우공간분포의 불확실성을 고려한 홍수량 추정)

  • Seo, Young-Min;Yeo, Woon-Ki;Jee, Hong-Kee
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2012.05a
    • /
    • pp.294-294
    • /
    • 2012
  • 홍수위험도 추정에 있어서 불확실성은 수리, 수문, 구조, 환경 및 사회경제적인 불확실성과 관련 있으며, 수리 수문학적 불확실성은 주로 수리 수문학적 현상과 그 과정에 대한 불완전한 지식, 그리고 그 과정에 포함된 매개변수들에 대한 불완전한 지식과 관련이 있다. 이러한 여러 가지 불확실성은 홍수위험도 추정에 있어서의 불확실성에 중요한 요인으로 작용하므로 불확실성을 설명하기 위한 통계적 정보는 신뢰성 있는 홍수위험도 추정에 있어서 선행조건이라 할 수 있다. 이러한 불확실성 요인중 강우의 공간분포에 대한 신뢰성 있는 추정은 수자원 해석 및 설계에 있어서 필수적인 요소이다. 강우장의 공간변동성에 대한 고해상도 추정은 홍수, 특히 돌발홍수의 원인이 되는 국지성 호우의 확인 및 분석에 있어서 중요하다. 또한 강우의 공간 변동성에 대한 고려는 면적평균강우량 추정의 정확도를 향상시키는데 있어서 중요하며, 강우-유출모델의 모의결과에 대한 신뢰도를 향상시키는데 큰 영향을 미친다. 최근 공간자료에 대한 공간분포예측에 있어서 공간상관성을 고려할 수 있는 공간통계학적 기법의 적용이 증가하고 있으며, 이러한 공간통계학적 기법의 적용에 있어서 신뢰성 있는 모델 매개변수의 추정 및 불확실성 평가는 공간분포 예측결과에 대한 신뢰성을 향상시키는데 중요한 역할을 한다. 외국의 경우 공간분포예측 및 모의, 매개변수의 불확실성 평가 등과 관련하여 활발한 연구가 이루어지고 있는 반면 국내 수자원 분야에서는 아직까지 활발한 연구가 이루어지고 있지 않은 실정이다. 국내의 수문설계실무에서와 같이 확률홍수량을 강우빈도분석과 강우-유출모델을 이용하여 추정할 경우 확률홍수량 추정에 있어서 확률강우량 및 공간분포에 대한 불확실성과 강우-유출모델에서의 불확실성이 확률홍수량 추정에서의 불확실성에 영향을 미치며, 이후 연피해기대치 추정과 같은 홍수위험도 추정의 불확실성에도 영향을 미치게 된다. 따라서 본 연구에서는 강우공간분포의 불확실성을 고려한 홍수량 추정을 위하여 공간추계모의 기법인 CEM을 적용하여 강우공간분포의 불확실성을 정량화하고 강우-유출모델의 입력 강우량에 대한 확률분포를 추정하였다. 강우-유출해석의 경우 유효우량 및 홍수수문곡선 산정을 위하여 국내 수자원 실무에서 가장 많이 적용되고 있는 NRCS CN 기법, Clark 및 Muskingum 모델을 적용하였다. 이로부터 강우공간분포의 불확실성 추정, 소유역별 입력 강우량에 대한 확률분포의 추정 및 재현기간별 확률홍수량의 불확실성 정량화 방안을 제시하였다. 이러한 결과들은 풍수해저감대책, 유역종합치수대책 등 각종 수자원 계획 및 설계실무에서 확률홍수량 및 홍수 또는 재해위험도 추정의 신뢰성을 향상시킬 수 있는 방법론적 대안으로 활용될 수 있을 것으로 판단된다.

  • PDF

A Study on Recognition of Korean Continuous Speech using Discrete Duration CHMM. (이산 시간 제어 CHMM을 이용한 한국어 연속 음성 인식에 관한 연구)

  • 김상범
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • 1994.06c
    • /
    • pp.368-372
    • /
    • 1994
  • 확률적 모델을 이용한 HMM 으로 한국어 연속 음성 인식시스템을 구성하였다. 학습 모델로서는 양자화 DCK가 없는 연속출력 확률밀도를 사용한 연속출력 확률분포 HMM과 과도 구간 및 정상 구간의 시간구조를 충분히 BYGUS할 수 없는 것을 계속시간 확률 파라메터를 추가하여 보완한 이산 지속시간 제어 연속출력 확률분포 HMM을 이용하였다. 인식 알고리즘은 시계열 패턴의 시간축상에서의 비선형 신축을 고려한 에 매칭으로서, 음절의 경계를 자동으로 검출하는 O에을 이용하였다. 실험에서 사용된 연속음성데이타는 4연 숫자음과 연속음성 10문장으로 하였다. 인식 실험 결과 4연 숫자음에서 CHMM은 80.7%, DDCHMM은 92.9%의 인식률을 얻었고, 신문 사설에서 발췌한 연속 음성문장의 경우 CHMM 54.2%, DDCHMM에서는 68.9%을 얻어, 시간장 제어를 고려한 DDCHMM이 CHMM보다 SHB은 인식률을 얻었다.

  • PDF