• 제목/요약/키워드: random fields

검색결과 415건 처리시간 0.028초

대화형 개인 비서 시스템을 위한 하이브리드 방식의 개체명 및 문장목적 동시 인식기술 (A Simultaneous Recognition Technology of Named Entities and Objects for a Dialogue Based Private Secretary Software)

  • 이창수;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.18-23
    • /
    • 2013
  • 기존 대화시스템과 달리 대화형 개인 비서 시스템은 사용자에게 정보를 제공하기 위해 앱(APP)을 구동하는 방법을 사용한다. 사용자가 앱을 통해 정보를 얻고자 할 때, 사용자가 필요로 하는 정보를 제공해주기 위해서는 사용자의 목적을 정확하게 인식하는 작업이 필요하다. 그 작업 중 중요한 두 요소는 개체명 인식과 문장목적 인식이다. 문장목적 인식이란, 사용자의 문장을 분석해 하나의 앱에 존재하는 여러 정보 중 사용자가 원하는 정보(문장의 목적)가 무엇인지 찾아주는 인식작업이다. 이러한 인식시스템을 구축하는 방법 중 대표적인 방법은 사전규칙방법과 기계학습방법이다. 사전규칙은 사전정보와 규칙을 적용하는 방법으로, 시간이 지남에 따라 새로운 규칙을 추가해야하는 문제가 있으며, 규칙이 일반화되지 않을 경우 오류가 증가하는 문제가 있다. 또 두 인식작업을 파이프라인 방식으로 적용 할 경우, 개체명 인식단계에서의 오류를 가지고 문장목적 인식단계로 넘어가기 때문에 두 단계에 걸친 성능저하와 속도저하를 초래할 수 있다. 이러한 문제점을 해결하기 위해 우리는 통계기반의 기계학습방법인 Conditional Random Fields(CRF)를 사용한다. 또한 사전정보를 CRF와 결합함으로써, 단독으로 수행하는 CRF방식의 성능을 개선시킨다. 개체명과 문장목적인식의 구조를 분석한 결과, 비슷한 자질을 사용할 수 있다고 판단하여, 두 작업을 동시에 수행하는 방법을 제안한다. 실험결과, 사전규칙방법보다 제안한 방법이 문장단위 2.67% 성능개선을 보였다.

  • PDF

The Sequence Labeling Approach for Text Alignment of Plagiarism Detection

  • Kong, Leilei;Han, Zhongyuan;Qi, Haoliang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권9호
    • /
    • pp.4814-4832
    • /
    • 2019
  • Plagiarism detection is increasingly exploiting text alignment. Text alignment involves extracting the plagiarism passages in a pair of the suspicious document and its source document. The heuristics have achieved excellent performance in text alignment. However, the further improvements of the heuristic methods mainly depends more on the experiences of experts, which makes the heuristics lack of the abilities for continuous improvements. To address this problem, machine learning maybe a proper way. Considering the position relations and the context of text segments pairs, we formalize the text alignment task as a problem of sequence labeling, improving the current methods at the model level. Especially, this paper proposes to use the probabilistic graphical model to tag the observed sequence of pairs of text segments. Hence we present the sequence labeling approach for text alignment in plagiarism detection based on Conditional Random Fields. The proposed approach is evaluated on the PAN@CLEF 2012 artificial high obfuscation plagiarism corpus and the simulated paraphrase plagiarism corpus, and compared with the methods achieved the best performance in PAN@CLEF 2012, 2013 and 2014. Experimental results demonstrate that the proposed approach significantly outperforms the state of the art methods.

다단계 구단위화를 이용한 고속 한국어 의존구조 분석 (High Speed Korean Dependency Analysis Using Cascaded Chunking)

  • 오진영;차정원
    • 한국시뮬레이션학회논문지
    • /
    • 제19권1호
    • /
    • pp.103-111
    • /
    • 2010
  • 한국어 처리에서 구문분석기에 대한 요구는 많은 반면 성능의 한계와 강건함의 부족으로 인해 채택되지 못하는 것이 현실이다. 본 연구는 구문분석을 레이블링 문제로 전환하여 성능, 속도, 강건함을 모두 실현한 시스템에 대해서 설명한다. 우리는 다단계 구 단위화(Cascaded Chunking)를 통해 한국어 구문분석을 시도한다. 각 단계에서는 어절별 품사 태그와 어절 구문표지를 자질로 사용하고 CRFs(Conditional Random Fields)를 이용하여 최적의 결과를 얻는다. 58,175문장 세종 구문 코퍼스로 10-fold Cross Validation(평균 10.97어절)으로 실험한 결과 평균 86.01%의 구문 정확도를 보였다. 이 결과는 기존에 제안되었던 구문분석기와 대등하거나 우수한 성능이며 기존 구문분석기가 처리하지 못하는 장문도 처리 가능하다.

CRF Based Intrusion Detection System using Genetic Search Feature Selection for NSSA

  • Azhagiri M;Rajesh A;Rajesh P;Gowtham Sethupathi M
    • International Journal of Computer Science & Network Security
    • /
    • 제23권7호
    • /
    • pp.131-140
    • /
    • 2023
  • Network security situational awareness systems helps in better managing the security concerns of a network, by monitoring for any anomalies in the network connections and recommending remedial actions upon detecting an attack. An Intrusion Detection System helps in identifying the security concerns of a network, by monitoring for any anomalies in the network connections. We have proposed a CRF based IDS system using genetic search feature selection algorithm for network security situational awareness to detect any anomalies in the network. The conditional random fields being discriminative models are capable of directly modeling the conditional probabilities rather than joint probabilities there by achieving better classification accuracy. The genetic search feature selection algorithm is capable of identifying the optimal subset among the features based on the best population of features associated with the target class. The proposed system, when trained and tested on the bench mark NSL-KDD dataset exhibited higher accuracy in identifying an attack and also classifying the attack category.

논토양 경반의 물리적 특성 (Physical Properties of Hardpan in Paddy Fields)

  • 이규승;박준걸;조성찬;노광모;장영창
    • Journal of Biosystems Engineering
    • /
    • 제32권4호
    • /
    • pp.207-214
    • /
    • 2007
  • Based on the profiles of cone index with depth, physical properties of hardpan in selected rice fields were measured and analyzed in the study. An error correction algorithm removing a random measurement error from raw CI profile data was introduced in the study. The properties of hardpan included the shape, the thickness and the rice root growing layer. The analysis of physical properties of hardpan in the rice fields showed that the type of hardpan could be classified into 6 categories. The thickness of hardpan ranged from 6 cm up to 41 cm and the average hardness of hardpan was analyzed to be from 1.1 MPa through 3.2 MPa in Cone index.

최신 준안정성 및 발진기 기반 진 난수 발생기 비교 (Comparison on Recent Metastability and Ring-Oscillator TRNGs)

  • 신화수;유호영
    • 전기전자학회논문지
    • /
    • 제24권2호
    • /
    • pp.543-549
    • /
    • 2020
  • 산업의 발전과 인터넷의 발전으로 보안의 중요성이 증가하면서 암호화에 필수적인 요소인 암호화 키의 생성에 사용되는 난수 발생기의 연구가 활발하게 이루어지고 있다. 외부 공격으로부터 안전한 고성능의 암호화 키를 생성하기 위해서는 예측하기 어려운 품질 좋은 난수 발생기가 필수적이다. 일반적으로 사용되는 의사 난수 발생기는 충분한 성능의 난수를 발생하기 위해서 많은 양의 하드웨어 리소스가 요구됨에도 외부에서 암호화 키를 외부에서 알아낼 가능성이 존재한다. 그러므로, 다양한 잡음을 통해 난수를 발생시켜 외부에서 예측 불가능하며 품질 좋은 진 난수 발생기에 대한 요구가 증가하고 있다. 본 논문은 진 난수 생성기술로 대표적인 준안정성 및 발진기를 통한 진 난수 발생기의 최신구조가 랜덤소스를 생성하는 방식을 조사 및 비교한다. 또한, NIST에서 제공하는 난수 검증용 도구인 SP 800-22 테스트를 통해 발진기 기반 진 난수 발생기 성능을 검증한 자료를 분석한다.

강우의 모의발생에 관한 연구 (2차원 무작위 호우장에서) (A Study on the Rainfall Generation (In Two-dimensional Random Storm Fields))

  • 이재형;선우중호;항만하
    • 대한토목학회논문집
    • /
    • 제11권1호
    • /
    • pp.109-116
    • /
    • 1991
  • 최근 몇년동안 2차원 무작위 강우장의 확률특성치인 환상스펙트럼에 대한 논의가 있었고, 2차원 강우장의 모의 모형도 제안되었다. 본 연구는 맨처음 G.Matheron에 의해 소재된 회전띠기법(TBM)을 도입하여 앞서 제시된 환상스펙트럼이나 동방성 공분산 함수를 2차원 강우장으로 전환하는 문제를 다루었다. 특히 Bras의 강우 모의 모형에서 잔차 발생치의 보존특성에 중점을 두었는데 표본수의 증가에 따라 TBM에 의해 발생한 값을 토대로 산정한 평균과 공분산이 이론치에 접근해감을 보였다. 또한 표본의 갯수를 경제적인 규모로 선택하여 실시한 진행성 강우의 모의예도 제시하였다.

  • PDF

Reliability and risk assessment for rainfall-induced slope failure in spatially variable soils

  • Zhao, Liuyuan;Huang, Yu;Xiong, Min;Ye, Guanbao
    • Geomechanics and Engineering
    • /
    • 제22권3호
    • /
    • pp.207-217
    • /
    • 2020
  • Slope reliability analysis and risk assessment for spatially variable soils under rainfall infiltration are important subjects but they have not been well addressed. This lack of study may in part be due to the multiple and diverse evaluation indexes and the low computational efficiency of Monte-Carlo simulations. To remedy this, this paper proposes a highly efficient computational method for investigating random field problems for slopes. First, the probability density evolution method (PDEM) is introduced. This method has high computational efficiency and does not need the tens of thousands of numerical simulation samples required by other methods. Second, the influence of rainfall on slope reliability is investigated, where the reliability is calculated from based on the safety factor curves during the rainfall. Finally, the uncertainty of the sliding mass for the slope random field problem is analyzed. Slope failure consequences are considered to be directly correlated with the sliding mass. Calculations showed that the mass that slides is smaller than the potential sliding mass (shallow surface sliding in rainfall). Sliding mass-based risk assessment is both needed and feasible for engineered slope design. The efficient PDEM is recommended for problems requiring lengthy calculations such as random field problems coupled with rainfall infiltration.

임의절단 하에서 신뢰성 자료의 평균잔여수명 추정에 대한 연구 (The Study on the Mean Residual Life Estimation of Reliability Data under Random Censoring)

  • 이미숙
    • 한국산학기술학회논문지
    • /
    • 제11권6호
    • /
    • pp.1997-2003
    • /
    • 2010
  • 평균잔여수명은 공학, 의학, 생존분석, 사회과학 등 많은 분야에서 중요한 역할을 하고 있다. 특히 시스템의 신뢰성연구에서 시스템의 갑작스런 중지는 심각한 문제를 초래하기 때문에, 부품에 대한 평균잔여수명 추정은 매우 중요하다. 그래서 많은 상황변수를 고려한 시뮬레이션 연구가 되어왔다. 본 연구에서는 임의절단(random censoring) 에서 가지 평균잔여수명 추정기법을 소개하고 3가지 와이블 수명분포와 6가지 절단분포의 조합에서 시뮬레이션하였다. 또한 이들의 성과를 편의(bias)와 MSE측면에서 비교 분석하였다.

조도와 검사 거리의 차이에 의한 Random-dot E의 영향 (The Effectiveness of the Random-dot E by the Difference of the Illumination and Test Distance)

  • 김덕훈
    • 한국안광학회지
    • /
    • 제5권2호
    • /
    • pp.1-4
    • /
    • 2000
  • 입체시 검사는 양안시 기능을 정확히 알 수 있는 것으로서 임상분야에서 많이 이용하고 있다. 본 연구의 목적은 조도와 검사거리의 차이에 의한 Random-dot E(RDE) 입체시 검사를 실시하였다. 조명이 증가할수록 RDE의 통과는 증가하였다. 한편 검사표적이 가까울수록 모든 피검자는 RDE를 통과하였다. 그러나 원거리에서 일부 피검자는 RDE를 통과하지 못하였다. 검사거리에 따라서 먼거리 표적일수록 RDE통과는 적었다. 결과적으로 RDE 입체시 검사는 검사거리와 조명에 영향을 받는다.

  • PDF