• IEIE Transactions on Smart Processing and Computing
• /
• 제6권1호
• /
• pp.53-59
• /
• 2017

Optical character recognition (OCR) automatically recognizes text in an image. OCR is still a challenging problem in computer vision. A successful solution to OCR has important device applications, such as text-to-speech conversion and automatic document classification. In this work, we analyze character recognition performance using the current state-of-the-art deep-learning structures. One is the AlexNet structure, another is the LeNet structure, and the other one is the SPNet structure. For this, we have built our own dataset that contains digits and upper- and lower-case characters. We experiment in the presence of salt-and-pepper noise or Gaussian noise, and report the performance comparison in terms of recognition error. Experimental results indicate by five-fold cross-validation that the SPNet structure (our approach) outperforms AlexNet and LeNet in recognition error.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2015년도 제46회 하계학술대회
• /
• pp.1365-1366
• /
• 2015

본 논문에서는 HOG 특징을 이용한 다항식 방사형 기저함수 신경회로망 기반 숫자 인식 시스템의 설계를 제안한다. 제안한 숫자 인식 시스템은 HOG 특징을 이용하여 숫자를 입력 데이터로 사용하기 위해 특징을 계산한다. 다항식 방사형 기저 함수 신경회로망은 고차원 데이터의 입-출력 형태를 갖는 클래스를 분류하는데 용이하며, 활성함수의 중심점 및 분포상수는 Fuzzy C-Means(FCM) 알고리즘에 의해 초기 값을 설정한다. 또한 제안한 분류기의 최적화를 위해 Particle Swarm Optimization(PSO)를 사용하여 최적화된 분류기의 성능을 비교한다. 숫자 인식을 위하여 공인 데이터베이스인 MNIST handwritten digit database를 사용하여 분류기의 성능을 평가하고 분석한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.609-610
• /
• 2016

본 논문에서는 컨볼루션 신경회로망(CNN: Convolutional Neural Network)과 다양한 분류기들의 결합을 통해 분류성능을 비교하고자 한다. 현재 일반적인 분류기로 알려진 것은 나이브 베이즈(Naive bayes), 트리(Tree), 판별 분석(Discriminant Analysis), 서포트 벡터 머신(SVM: Support Vector Machine) 등이 존재한다. 분류기들은 각각 다른 원리로 분류하기 때문에, 각각 성능을 비교해볼 필요가 있다. 분류기들의 성능을 비교하기 위한 사용한 데이터는 CNN에서 자주 사용되고 있는 MNIST 데이터를 사용하였다. 실험 결과로는 CNN에 선형 SVM을 결합하여 사용한 것이 분류율과 분류속도 측면에서 다른 분류기들의 성능보다 좋은 성능을 보이는 것을 확인할 수 있었다.

• 말소리와 음성과학
• /
• 제8권2호
• /
• pp.23-30
• /
• 2016

This paper describes some implementation schemes of CNN in view of mini-batch DNN training for efficient second order optimization. This uses same procedure updating parameters of DNN to train parameters of CNN by simply arranging an input image as a sequence of local patches, which is actually equivalent with mini-batch DNN training. Through this conversion, second order optimization providing higher performance can be simply conducted to train the parameters of CNN. In both results of image recognition on MNIST DB and syllable automatic speech recognition, our proposed scheme for CNN implementation shows better performance than one based on DNN.

• International Journal of Advanced Culture Technology
• /
• 제7권4호
• /
• pp.283-288
• /
• 2019

Neural networks have been reborn as a Deep Learning thanks to big data, improved processor, and some modification of training methods. Neural networks used to initialize weights in a stupid way, and to choose wrong type activation functions of non-linearity. Weight initialization contributes as a significant factor on the final quality of a network as well as its convergence rate. This paper discusses different approaches to weight initialization. MNIST dataset is used for experiments for comparing their results to find out the best technique that can be employed to achieve higher accuracy in relatively lower duration.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 추계학술발표논문집(상)
• /
• pp.505-508
• /
• 2004

본 논문은 동적 3-D 뉴로 시스템(A Dynamic 3-D Neuro System)모델을 이용하여 오프라인 필기체 숫자 인식 실험을 하였다. 3-D 뉴로 시스템 모델을 사용함으로써 기존에 교육된 정보를 유지하면서 새로운 정보를 추가할 수 있는 추가학습이 가능했고, 동일한 범주의 정보에 대해서는 반복교육 횟수에 따라 교육정도가 점점 누적되는 반복교육이 가능했다. 교육과정을 통해 누적된 정보로부터 일반화된 패턴(Generalized Pattern)을 도출해 인식시 사용할 수 있었다. 패턴 인식기는 피드백루틴을 통해 미지의 입력이미지를 원형이미지로 복원한 후, 그 결과 데이터를 사용하여 문자를 인식하도록 동작한다. NIST의 MNIST 데이터베이스를 사용해 실험을 하였고, 결과로 $99.0\%$의 정인식률을 얻었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
• /
• pp.496-500
• /
• 2010

본 논문에서는 SIFT(Scale Invariant Feature Transform) 기술자를 이용하여 오프라인 필기체 문자 인식을 위한 특징 추출방법을 제안한다. 제안하는 방법은 문자의 획의 방향 정보를 제공하는 특징 벡터를 추출함으로써 오프라인 문자 인식에서 성능 향상을 기대할 수 있다. 테스트를 위해 MNIST 필기체 데이터베이스와 UJI Penchar2 필기체 데이터베이스를 이용하였고, BP(backpropagation)신경망과 LDA(Linear Discriminant Analysis), SVM(Support Vector Machine) 분류기에서 성능 테스트를 하였다. 본 논문의 실험결과에서는 일반적으로 사용되는 특징추출로부터 얻어진 특징에 제안된 특징추출을 정합하여 성능항샹을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.262-263
• /
• 2019

본 논문에서는 뉴로모픽 시스템 구현을 위해 시냅스 소자의 비선형적인 전도도를 고려한 균일 양자화 방식을 제안한다. 소프트웨어로 학습시킨 가중치에 최댓값을 나누는 것으로 정규화를 수행한다. 그 다음, 제안하는 균일 양자화 방식을 수행한다. 양자화를 수행할 때 소자의 제한적인 전도도 레벨을 고려하여 5 부터 25 레벨로 설정하여 실험하였다. 그 결과 MNIST 시험 데이터 세트의 정확도가 10 레벨에서 95.75%로, 소프트웨어의 정확도와 1%미만의 차이를 가진다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권9호
• /
• pp.3243-3257
• /
• 2021

Deep neural networks provide excellent performance in pattern recognition, audio classification, and image recognition. It is important that they accurately recognize input data, particularly when they are used in autonomous vehicles or for medical services. In this study, we propose a data correction method for increasing the accuracy of an unknown classifier by modifying the input data without changing the classifier. This method modifies the input data slightly so that the unknown classifier will correctly recognize the input data. It is an ensemble method that has the characteristic of transferability to an unknown classifier by generating corrected data that are correctly recognized by several classifiers that are known in advance. We tested our method using MNIST and CIFAR-10 as experimental data. The experimental results exhibit that the accuracy of the unknown classifier is a 100% correct recognition rate owing to the data correction generated by the proposed method, which minimizes data distortion to maintain the data's recognizability by humans.

• 전기전자학회논문지
• /
• 제24권4호
• /
• pp.969-974
• /
• 2020

Research into hyper parameter optimization (HPO) has recently revived with interest in models containing many hyper parameters, such as deep neural networks. In this paper, we introduce the most widely used HPO methods, such as grid search, random search, and Bayesian optimization, and investigate their characteristics through experiments. The MNIST data set is used to compare results in experiments to find the best method that can be used to achieve higher accuracy in a relatively short time simulation. The learning rate and weight decay have been chosen for this experiment because these are the commonly used parameters in this kind of experiment.