• 제목/요약/키워드: Cross-Entropy

검색결과 114건 처리시간 0.022초

Adaptive Multi-class Segmentation Model of Aggregate Image Based on Improved Sparrow Search Algorithm

  • Mengfei Wang;Weixing Wang;Sheng Feng;Limin Li
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권2호
    • /
    • pp.391-411
    • /
    • 2023
  • Aggregates play the skeleton and supporting role in the construction field, high-precision measurement and high-efficiency analysis of aggregates are frequently employed to evaluate the project quality. Aiming at the unbalanced operation time and segmentation accuracy for multi-class segmentation algorithms of aggregate images, a Chaotic Sparrow Search Algorithm (CSSA) is put forward to optimize it. In this algorithm, the chaotic map is combined with the sinusoidal dynamic weight and the elite mutation strategies; and it is firstly proposed to promote the SSA's optimization accuracy and stability without reducing the SSA's speed. The CSSA is utilized to optimize the popular multi-class segmentation algorithm-Multiple Entropy Thresholding (MET). By taking three METs as objective functions, i.e., Kapur Entropy, Minimum-cross Entropy and Renyi Entropy, the CSSA is implemented to quickly and automatically calculate the extreme value of the function and get the corresponding correct thresholds. The image adaptive multi-class segmentation model is called CSSA-MET. In order to comprehensively evaluate it, a new parameter I based on the segmentation accuracy and processing speed is constructed. The results reveal that the CSSA outperforms the other seven methods of optimization performance, as well as the quality evaluation of aggregate images segmented by the CSSA-MET, and the speed and accuracy are balanced. In particular, the highest I value can be obtained when the CSSA is applied to optimize the Renyi Entropy, which indicates that this combination is more suitable for segmenting the aggregate images.

직교류 열교환기의 모듈수에 따른 열전달 및 압력강하 특성 (Heat Transfer and Pressure Drop of Cross-flow Heat Exchanger on Modules Variation)

  • 김종민;김진수;유병훈;금성민;이창언;이승로
    • 에너지공학
    • /
    • 제22권2호
    • /
    • pp.120-127
    • /
    • 2013
  • 본 연구는 예혼합 연소시스템에 적용할 직교류 엇갈림 배열 열교환기의 열전달 및 압력강하 특성 검토를 목적으로 한다. 따라서 비예혼합화염보다 화염길이가 짧고 당량비 조절을 통해 NOx 및 CO 배출을 제어할 수 있는 예혼합방식의 버너 앞에 모듈로 구성된 열교환기를 설치한 후 당량비를 변화시킬 때 NOx와 CO의 배출특성을 검토하였다. 또한 열교환기의 모듈 변화에 대한 유용도, 엔트로피 생성량 및 압력강하를 계산하였고 엑서지 로스를 검토하여 열교환기의 성능을 분석하였다.

Influence on overfitting and reliability due to change in training data

  • Kim, Sung-Hyeock;Oh, Sang-Jin;Yoon, Geun-Young;Jung, Yong-Gyu;Kang, Min-Soo
    • International Journal of Advanced Culture Technology
    • /
    • 제5권2호
    • /
    • pp.82-89
    • /
    • 2017
  • The range of problems that can be handled by the activation of big data and the development of hardware has been rapidly expanded and machine learning such as deep learning has become a very versatile technology. In this paper, mnist data set is used as experimental data, and the Cross Entropy function is used as a loss model for evaluating the efficiency of machine learning, and the value of the loss function in the steepest descent method is We applied the GradientDescentOptimize algorithm to minimize and updated weight and bias via backpropagation. In this way we analyze optimal reliability value corresponding to the number of exercises and optimal reliability value without overfitting. And comparing the overfitting time according to the number of data changes based on the number of training times, when the training frequency was 1110 times, we obtained the result of 92%, which is the optimal reliability value without overfitting.

Comparison of Different CNN Models in Tuberculosis Detecting

  • Liu, Jian;Huang, Yidi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권8호
    • /
    • pp.3519-3533
    • /
    • 2020
  • Tuberculosis is a chronic and delayed infection which is easily experienced by young people. According to the statistics of the World Health Organization (WHO), there are nearly ten million fell ill with tuberculosis and a total of 1.5 million people died from tuberculosis in 2018 (including 251000 people with HIV). Tuberculosis is the largest single infectious pathogen that leads to death. In order to help doctors with tuberculosis diagnosis, we compare the tuberculosis classification abilities of six popular convolutional neural network (CNN) models in the same data set to find the best model. Before training, we optimize three parts of CNN to achieve better results. We employ sigmoid function to replace the step function as the activation function. What's more, we use binary cross entropy function as the cost function to replace traditional quadratic cost function. Finally, we choose stochastic gradient descent (SGD) as gradient descent algorithm. From the results of our experiments, we find that Densenet121 is most suitable for tuberculosis diagnosis and achieve a highest accuracy of 0.835. The optimization and expansion depend on the increase of data set and the improvements of Densenet121.

오류 역전파 알고리즘의 n차 크로스-엔트로피 오차신호에 대한 민감성 제거를 위한 가변 학습률 및 제한된 오차신호 (Adaptive Learning Rate and Limited Error Signal to Reduce the Sensitivity of Error Back-Propagation Algorithm on the n-th Order Cross-Entropy Error)

  • 오상훈;이수영
    • 전자공학회논문지C
    • /
    • 제35C권6호
    • /
    • pp.67-75
    • /
    • 1998
  • 다층퍼셉트론의 학습에서 나타나는 출력노드의 부적절한 포화를 해결하기 위해서 n차 크로스-엔트로피 오차함수가 제안되었으나, 이 오차함수를 이용한 학습성능은 오차함수의 차수에 민감하여 적절한 차수를 결정해야 하는 문제점이 있다. 이 논문에서는, 학습의 진행에 따라 학습률을 가변시키는 새로운 방법을 제시하여 다층퍼셉트론의 학습성능이 n차 크로스-엔트로피 오차함수의 차수에 덜 민감하도록 한다. 또한, 가변학습률이 매우 커지는 경우에 학습이 불안정해지는 것을 방지하기 위해서 오차신호의 크기를 제한하는 방법을 제시한다. 마지막으로, 필기체 숫자 인식 문제와 갑상선 진단 문제의 시뮬레이션으로 제안한 방법의 효용성을 검증한다.

  • PDF

Sequence dicriminative training 기법을 사용한 트랜스포머 기반 음향 모델 성능 향상 (Improving transformer-based acoustic model performance using sequence discriminative training)

  • 이채원;장준혁
    • 한국음향학회지
    • /
    • 제41권3호
    • /
    • pp.335-341
    • /
    • 2022
  • 본 논문에서는 기존 자연어 처리 분야에서 뛰어난 성능을 보이는 트랜스포머를 하이브리드 음성인식에서의 음향모델로 사용하였다. 트랜스포머 음향모델은 attention 구조를 사용하여 시계열 데이터를 처리하며 연산량이 낮으면서 높은 성능을 보인다. 본 논문은 이러한 트랜스포머 AM에 기존 DNN-HMM 모델에서 사용하는 가중 유한 상태 전이기(weighted Finite-State Transducer, wFST) 기반 학습인 시퀀스 분류 학습의 네 가지 알고리즘을 각각 적용하여 성능을 높이는 방법을 제안한다. 또한 기존 Cross Entropy(CE)를 사용한 학습방식과 비교하여 5 %의 상대적 word error rate(WER) 감소율을 보였다.

엔트로피 이론에 의한 개수로 마찰계수 산정 (The estimation of friction coefficient by using entropy theory in open channels)

  • 추태호;곽길신;윤관선;윤현철
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2868-2875
    • /
    • 2015
  • 개수로의 흐름 특성을 결정짓는 중요한 요소 중 하나는 흐름의 저항을 나타내는 마찰속도와 마찰계수이다. 하지만 개수로 흐름에서는 그 중요성에도 불구하고 자유수면과 단면의 복잡함, 다양한 수리변수들에 의해서 완벽한 해석이 매우 어렵다. 마찰계수에 대한 연구는 경험적 실험결과에 의존하고 있으므로 손쉬운 적용이 쉽지 않다. 따라서 본 연구에서는 엔트로피 개념을 활용하여 새로운 마찰계수 산정 공식을 제안하고 공식의 정확성을 증명하기 위해서 사다리꼴과 사각단면을 가진 개수로 실험 자료를 사용하였다. 본 공식의 장점은 무엇보다도 개수로에서 정확한 값을 알기 어려운 에너지 경사 항을 사용하지 않는 것에 있다. 그리고 이론적 배경을 바탕으로 높은 정확성을 가진 마찰계수 f의 산정이 가능함을 보여주었다.

블라인드 등화를 위한 최소 에러 엔트로피 성능기준들에 관한 연구 (A Study on the Minimum Error Entropy - related Criteria for Blind Equalization)

  • 김남용;권기현
    • 한국정보전자통신기술학회논문지
    • /
    • 제2권3호
    • /
    • pp.87-95
    • /
    • 2009
  • 정보이론적 학습 기법에 해당하는 에러 엔트로피 최소화 (MEE) 성능기준과 상호 상관 엔트로피 최대화 (MCC) 성능기준은 그 동안 깊이 있게 많은 연구가 이루어져 왔다. 에러 엔트로피 최소화 성능기준은 정보 포텐셜을 최대화하는 것으로 귀결되고 상호 상관 엔트로피 최대화 성능기준은 시스템의 출력과 원신호의 상호 상관도를 최대화하는 것으로 정의된다. 이 두 성능기준을적정 가중치를 두고 합성한 것이 기준점을 내포한 에러 엔트로피 최소화 기법 (MEEF) 인데 이 또한 많은 연구가 이루어지고 있다. 이 논문에서는 블라인드 채널 등화를 위해 CMA에 쓰이는 상수 모듈러스 에러 (CME)를 도입하여 이 정보이론적 학습기법에 적용하고자 그 가능성과 문제점을 찾고자 연구하였다. 또한 MEEF 성능기준에도 이 CME 적용가능성을 연구하였다. 연구결과로부터 CME를 적용한 MEE (MEE-CME)는 상수 모듈러스 정보를 잃게 되는 결과를 낳았다. 이 결과 MEE-CME나 MEE를 사용하는 MEEF-CME 모두에게서 수렴하지 못하거나 CME를 사용하는 다른 방식과 비교할 때 수렴이 늦게 되는 문제점을 발견하게 되었다.

  • PDF

후보점과 대표점 교차검증에 의한 순차적 실험계획 (Candidate Points and Representative Cross-Validation Approach for Sequential Sampling)

  • 김승원;정재준;이태희
    • 대한기계학회논문집A
    • /
    • 제31권1호
    • /
    • pp.55-61
    • /
    • 2007
  • Recently simulation model becomes an essential tool for analysis and design of a system but it is often expensive and time consuming as it becomes complicate to achieve reliable results. Therefore, high-fidelity simulation model needs to be replaced by an approximate model, the so-called metamodel. Metamodeling techniques include 3 components of sampling, metamodel and validation. Cross-validation approach has been proposed to provide sequnatially new sample point based on cross-validation error but it is very expensive because cross-validation must be evaluated at each stage. To enhance the cross-validation of metamodel, sequential sampling method using candidate points and representative cross-validation is proposed in this paper. The candidate and representative cross-validation approach of sequential sampling is illustrated for two-dimensional domain. To verify the performance of the suggested sampling technique, we compare the accuracy of the metamodels for various mathematical functions with that obtained by conventional sequential sampling strategies such as maximum distance, mean squared error, and maximum entropy sequential samplings. Through this research we team that the proposed approach is computationally inexpensive and provides good prediction performance.

소형 직교류 열교환기의 열적 특성에 관한 연구 (Thermal Characteristics of Cross-flow Small Scale Heat Exchanger)

  • 금성민;유병훈;이관석;이승로
    • 에너지공학
    • /
    • 제22권1호
    • /
    • pp.44-50
    • /
    • 2013
  • 본 연구의 목적은 예혼합방식의 버너 앞에 소형 열교환기를 설치한 후 당량비를 변화시킬 때 NOx와 CO의 배출특성을 검토하고 열교환기 유용도와 엔트로피 생성수를 실험결과를 바탕으로 계산한 것이다. 실험결과 당량비가 증가할수록 화염온도가 높아지면서 열전달율은 상승한다. 배기가스 오염물질량과 유용도를 고려할 경우 본 실험범위에서의 적정 운전당량비는 0.75이다. 유용도를 증가시키고 엔트로피 생성량을 줄이기 위해서는 연소가스의 열전달량을 증가시켜야 하며 따라서 열교환기 면적을 증가시키는 것이 필요하다고 판단된다.