• 전자공학회논문지C
• /
• 제35C권6호
• /
• pp.67-75
• /
• 1998

다층퍼셉트론의 학습에서 나타나는 출력노드의 부적절한 포화를 해결하기 위해서 n차 크로스-엔트로피 오차함수가 제안되었으나, 이 오차함수를 이용한 학습성능은 오차함수의 차수에 민감하여 적절한 차수를 결정해야 하는 문제점이 있다. 이 논문에서는, 학습의 진행에 따라 학습률을 가변시키는 새로운 방법을 제시하여 다층퍼셉트론의 학습성능이 n차 크로스-엔트로피 오차함수의 차수에 덜 민감하도록 한다. 또한, 가변학습률이 매우 커지는 경우에 학습이 불안정해지는 것을 방지하기 위해서 오차신호의 크기를 제한하는 방법을 제시한다. 마지막으로, 필기체 숫자 인식 문제와 갑상선 진단 문제의 시뮬레이션으로 제안한 방법의 효용성을 검증한다.

• International Journal of Advanced Culture Technology
• /
• 제5권2호
• /
• pp.82-89
• /
• 2017

The range of problems that can be handled by the activation of big data and the development of hardware has been rapidly expanded and machine learning such as deep learning has become a very versatile technology. In this paper, mnist data set is used as experimental data, and the Cross Entropy function is used as a loss model for evaluating the efficiency of machine learning, and the value of the loss function in the steepest descent method is We applied the GradientDescentOptimize algorithm to minimize and updated weight and bias via backpropagation. In this way we analyze optimal reliability value corresponding to the number of exercises and optimal reliability value without overfitting. And comparing the overfitting time according to the number of data changes based on the number of training times, when the training frequency was 1110 times, we obtained the result of 92%, which is the optimal reliability value without overfitting.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권8호
• /
• pp.3519-3533
• /
• 2020

Tuberculosis is a chronic and delayed infection which is easily experienced by young people. According to the statistics of the World Health Organization (WHO), there are nearly ten million fell ill with tuberculosis and a total of 1.5 million people died from tuberculosis in 2018 (including 251000 people with HIV). Tuberculosis is the largest single infectious pathogen that leads to death. In order to help doctors with tuberculosis diagnosis, we compare the tuberculosis classification abilities of six popular convolutional neural network (CNN) models in the same data set to find the best model. Before training, we optimize three parts of CNN to achieve better results. We employ sigmoid function to replace the step function as the activation function. What's more, we use binary cross entropy function as the cost function to replace traditional quadratic cost function. Finally, we choose stochastic gradient descent (SGD) as gradient descent algorithm. From the results of our experiments, we find that Densenet121 is most suitable for tuberculosis diagnosis and achieve a highest accuracy of 0.835. The optimization and expansion depend on the increase of data set and the improvements of Densenet121.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권1호
• /
• pp.110-114
• /
• 2010

본 논문에서는 TextRank 알고리즘을 이용한 문서 범주화 방법에 대해 기술한다. TextRank 알고리즘은 그래프 기반의 순위화 알고리즘이다. 문서에서 나타나는 각각의 단어를 노드로, 단어들 사이의 동시출현성을 이용하여 간선을 만들면 문서로부터 그래프를 생성할 수 있다. TextRank 알고리즘을 이용하여 생성된 그래프로부터 중요도가 높은 단어를 선택하고, 그 단어와 인접한 단어를 묶어 하나의 자질로 사용하여 문서 분류를 수행하였다. 동시출현 자질(인접한 단어 쌍)은 단어 하나가 갖는 의미를 보다 명확하게 만들어주므로 문서 분류에 좋은 자질로 사용될 수 있을 것이라 가정하였다. 문서 분류기로는 지지 벡터 기계, 베이지언 분류기, 최대 엔트로피 모델, k-NN 분류기 등을 사용하였다. 20 Newsgroups 문서 집합을 사용한 실험에서 모든 분류기에서 제안된 방법을 사용했을 때, 문서 분류 성능이 향상된 결과를 확인할 수 있었다.

• 한국생물정보학회:학술대회논문집
• /
• 한국생물정보시스템생물학회 2005년도 BIOINFO 2005
• /
• pp.183-187
• /
• 2005

In this paper, we propose a heuristic method to select features using a Two-Phase Markov Blanket-based (TPMB) algorithm. The first phase, filtering phase, of TPMB algorithm works by filtering the obviously redundant features. A non-linear correlation method based on Information theory is used as a metric to measure the redundancy of a feature [1]. In second phase, approximating phase, the Markov Blanket (MB) of a system is estimated by employing the concept of cross entropy to identify the MB. We perform experiments on microarray data and report two popular dataset, AML-ALL [3] and colon tumor [4], in this paper. The experimental results show that the TPMB algorithm can significantly reduce the number of features while maintaining the accuracy of the classifiers.

• 방송공학회논문지
• /
• 제7권4호
• /
• pp.291-299
• /
• 2002

본 논문은 밝기 변화가 심한 비디오 시퀀스에 대해 효율적인 움직임 보상 알고리즘을 제안한다 제안한 알고리즘에서는 화면간의 밝기 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 변화가 심한 화면을 검출하기 위해 화면간의 히스토그램의 크로스 엔트로피를 계산하여 밝기 변화가 심한 화면을 그렇지 않은 화면과 나누어 불필요한 계산량을 줄였다. 밝기 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

• 한국인터넷방송통신학회논문지
• /
• 제10권5호
• /
• pp.57-62
• /
• 2010

최근 의료분야에서는 대규모의 데이터를 빠르게 검색 및 추출이 가능하게 의사결정트리 기법에 대한 연구들이 진행되고 있다. 현재 CART, C4.5, CHAID 등 여러 기법이 개발되었는데, 이러한 클레시파이 기법들은 몇몇 의사결정 나무 알고리즘이 이진분리로 분류를 하는데, 나머지 데이터의 결과가 손실될 우려가 있다. 그중 C4.5는 엔트로피의 측정값에 높고 낮음으로 트리 모양을 구성해 가는 방식이고, CART 알고리즘은 엔트로피 매트릭스를 사용하여 범주형 자료나 연속형 자료에 적용할수가 있다. 이에 본 논문에서는 클래시파이 기법 중 C4.5와 CART를 유방암 환자 데이터에 대해 적용하여 실험하여, 그 결과 분석을 통한 성능 평가를 수행하였다. 실험에서는 교차검증을 통해 그 결과에 대한 정확성을 측정하였다.

• 한국전자파학회논문지
• /
• 제25권9호
• /
• pp.952-958
• /
• 2014

본 논문에서는 불완전한 radar-cross-section(RCS) 데이터로부터 inverse synthetic aperture radar(ISAR) 영상 복원과 동시에 표적의 회전각도를 추정하기 위한 compressive sensing(CS) 기반의 레이더 신호 모델을 적용한 parametric sparse 복원 알고리즘을 제안하고자 한다. Sparse 복원 알고리즘으로는 iteratively-reweighted-least-square(IRLS) 기법을 이용하여 각도 방향(cross-range)에서 모르는 처프 비율(chirp rate)의 처프 성분을 포함하는 레이더 신호 모델과 결합한다. 그리고, particle swarm optimization(PSO) 최적화 알고리즘을 이용하여 표적의 회전각도와 연관된 파라미터들을 추출한다. 따라서, RCS 데이터 샘플에 데이터 손실이 발생하더라도 본 논문의 IRLS 기반 parametric sparse 복원 알고리즘에 따라 효율적으로 ISAR 영상을 복원할 수 있고, 동시에 표적의 회전각도를 추정할 수 있다. 또한, 불완전한 RCS 데이터 샘플에 대하여 영상의 엔트로피 관점에서 본 논문에서 제안한 방법의 성능과 전통적인 보간법의 성능을 서로 비교 관찰한다.

• 한국정보통신학회논문지
• /
• 제25권8호
• /
• pp.1046-1052
• /
• 2021

4차 산업의 발전과 고성능의 컴퓨팅 환경 구축으로 다양한 산업분야에서 인공지능이 적용되고 있다. 의료분야에서는 X-Ray, MRI, PET 등의 의료 영상 및 임상 자료를 이용하여 암, COVID-19, 골 연령 측정 등의 딥 러닝 학습이 진행되었다. 또한 스마트 의료기기, IoT 디바이스와 딥 러닝 알고리즘을 적용하여 ICT 의료 융합 기술 등이 연구되고 있다. 이러한 기술 중 의료 영상 기반 딥 러닝 학습은 의료 영상의 바이오마커를 정확히 찾아내고, 최소한의 손실률과 높은 정확도가 필요하다. 따라서 본 논문은 흉부 X-Ray 이미지 기반 딥 러닝 학습 과정에서 손실률을 도출하는 손실 함수 중 영상분류 알고리즘에서 사용되는 Cross-Entropy 함수들의 성능을 비교·분석하고자 한다.

• 한국소음진동공학회논문집
• /
• 제22권3호
• /
• pp.291-297
• /
• 2012

Conventional Fourier analysis can give only limited information about the dynamic characteristics of nonstationary signals. Instead, time-frequency analysis is widely used to investigate the nonstationary signal in detail. Several time-frequency analysis methods are compared for a typical acoustic emission burst generated during the impact between a ferrite ceramic and aluminum plate. This AE burst is inherently nonstationary and random containing many frequency contents, which leads to severe interference between cross terms in bilinear convolution type distributions. The smoothing and reassignment processes can improve the readability and resolution of the results. Spectrogram and scalogram of the AE burst are obtained and compared to get the characteristics information. Renyi entropies are computed for various bilinear time-frequency transforms to evaluate the randomness. These bilinear transforms are reassigned by using the improved algorithm in discrete computation.