• 제목/요약/키워드: Unsupervised Neural Network

검색결과 129건 처리시간 0.027초

딥러닝의 모형과 응용사례 (Deep Learning Architectures and Applications)

  • 안성만
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.127-142
    • /
    • 2016
  • 딥러닝은 인공신경망(neural network)이라는 인공지능분야의 모형이 발전된 형태로서, 계층구조로 이루어진 인공신경망의 내부계층(hidden layer)이 여러 단계로 이루어진 구조이다. 딥러닝에서의 주요 모형은 합성곱신경망(convolutional neural network), 순환신경망(recurrent neural network), 그리고 심층신뢰신경망(deep belief network)의 세가지라고 할 수 있다. 그 중에서 현재 흥미로운 연구가 많이 발표되어서 관심이 집중되고 있는 모형은 지도학습(supervised learning)모형인 처음 두 개의 모형이다. 따라서 본 논문에서는 지도학습모형의 가중치를 최적화하는 기본적인 방법인 오류역전파 알고리즘을 살펴본 뒤에 합성곱신경망과 순환신경망의 구조와 응용사례 등을 살펴보고자 한다. 본문에서 다루지 않은 모형인 심층신뢰신경망은 아직까지는 합성곱신경망 이나 순환신경망보다는 상대적으로 주목을 덜 받고 있다. 그러나 심층신뢰신경망은 CNN이나 RNN과는 달리 비지도학습(unsupervised learning)모형이며, 사람이나 동물은 관찰을 통해서 스스로 학습한다는 점에서 궁극적으로는 비지도학습모형이 더 많이 연구되어야 할 주제가 될 것이다.

계층구조 신경망을 이용한 한글 인식 (Hangul Recognition Using a Hierarchical Neural Network)

  • 최동혁;류성원;강현철;박규태
    • 전자공학회논문지B
    • /
    • 제28B권11호
    • /
    • pp.852-858
    • /
    • 1991
  • An adaptive hierarchical classifier(AHCL) for Korean character recognition using a neural net is designed. This classifier has two neural nets: USACL (Unsupervised Adaptive Classifier) and SACL (Supervised Adaptive Classifier). USACL has the input layer and the output layer. The input layer and the output layer are fully connected. The nodes in the output layer are generated by the unsupervised and nearest neighbor learning rule during learning. SACL has the input layer, the hidden layer and the output layer. The input layer and the hidden layer arefully connected, and the hidden layer and the output layer are partially connected. The nodes in the SACL are generated by the supervised and nearest neighbor learning rule during learning. USACL has pre-attentive effect, which perform partial search instead of full search during SACL classification to enhance processing speed. The input of USACL and SACL is a directional edge feature with a directional receptive field. In order to test the performance of the AHCL, various multi-font printed Hangul characters are used in learning and testing, and its processing its speed and and classification rate are compared with the conventional LVQ(Learning Vector Quantizer) which has the nearest neighbor learning rule.

  • PDF

공진화에 의한 신경회로망의 구조탐색 및 학습 (A Co-Evolutionary Approach for Learning and Structure Search of Neural Networks)

  • 이동욱;전효병;심귀보
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1997년도 추계학술대회 학술발표 논문집
    • /
    • pp.111-114
    • /
    • 1997
  • Usually, Evolutionary Algorithms are considered more efficient for optimal system design, However, the performance of the system is determined by fitness function and system environment. In this paper, in order to overcome the limitation of the performance by this factor, we propose a co-evolutionary method that two populations constantly interact and coevolve. In this paper, we apply coevolution to neural network's evolving. So, one population is composed of the structure of neural networks and other population is composed of training patterns. The structure of neural networks evolve to optimal structure and, at the same time, training patterns coevolve to feature patterns. This method prevent the system from the limitation of the performance by random design of neural network structure and inadequate selection of training patterns. In this time neural networks are trained by evolution strategies that are able to apply to the unsupervised learning. And in the coding of neural networks, we propose the method to maintain nonredundancy and character preservingness that are essential factor of genetic coding. We show the validity and the effectiveness of the proposed scheme by applying it to the visual servoing of RV-M2 robot manipulators.

  • PDF

A NOVEL UNSUPERVISED DECONVOLUTION NETWORK:EFFICIENT FOR A SPARSE SOURCE

  • Choi, Seung-Jin
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.336-338
    • /
    • 1998
  • This paper presents a novel neural network structure to the blind deconvolution task where the input (source) to a system is not available and the source has any type of distribution including sparse distribution. We employ multiple sensors so that spatial information plays a important role. The resulting learning algorithm is linear so that it works for both sub-and super-Gaussian source. Moreover, we can successfully deconvolve the mixture of a sparse source, while most existing algorithms [5] have difficulties in this task. Computer simulations confirm the validity and high performance of the proposed algorithm.

  • PDF

Binary Harmony Search 알고리즘을 이용한 Unsupervised Nonlinear Classifier 구현 (Implementation of Unsupervised Nonlinear Classifier with Binary Harmony Search Algorithm)

  • 이태주;박승민;고광은;성원기;심귀보
    • 한국지능시스템학회논문지
    • /
    • 제23권4호
    • /
    • pp.354-359
    • /
    • 2013
  • 본 논문을 통해서 우리는 최적화 알고리즘인 binary harmony search (BHS) 알고리즘을 이용하여 unsupervised nonlinear classifier를 구현하는 방안을 제시하였다. 패턴인식을 위한 기계학습이나 뇌파 신호의 분석 과정과 같이 벡터로 표현되는 특징들을 분류하는데 있어 다양한 알고리즘들이 제시되었다. 교사 학습기반의 분류 방식으로는 support vector machine과 같은 기법이 사용되어왔고, 비교사 학습 방법을 통한 분류 기법으로는 fuzzy c-mean (FCM)과 같은 알고리즘들이 사용되어 왔다. 그러나 기존에 사용해 왔던 분류 방법들은 비선형 데이터 분류에 적용하기 힘들거나 교사 학습을 적용하기 위해서 사전정보를 필요로 하는 문제점이 있다. 본 논문에서는 경험적 접근을 통해 공간상에 분포된 벡터 사이의 기하학적 거리를 최소로 만드는 벡터 집합을 선택하고 이를 하나의 클래스로 간주하는 방법을 적용한 분류법을 제시하였다. 비교 대상으로 FCM과 artificial neural network (ANN) 기반의 self-organizing map (SOM)을 제시하였다. 시뮬레이션에는 KEEL machine learing dataset을 사용하였고 그 결과, 제안된 방식이 기존 알고리즘에 비해 더 나은 우수성을 지니고 있음을 확인하였다.

자기조직형 최적 가버필터에 의한 다중 텍스쳐 오브젝트 추출 (Multiple Texture Objects Extraction with Self-organizing Optimal Gabor-filter)

  • 이우범;김욱현
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.311-320
    • /
    • 2003
  • 고유의 텍스쳐 성분에만 최적 반응을 하는 최적 필터(optimal filter)는 다중 텍스쳐 영상으로부터 원하는 텍스쳐 성분을 추출하기 위한 가장 뛰어난 기술이다. 그러나 기존의 최적필터 설계 방법들은 영상에 내재된 텍스쳐 정보가 사전에 주어지는 교사적 방법이 대부분이며, 내재된 텍스쳐 인식을 기반으로 하는 완전 비교사적인 방법에 관한 연구는 거의 이루어지고 있지 않은 실정이다. 따라서 본 논문에서는 효율적인 텍스쳐 분석을 위한 비교사 학습 방법과 가버필터의 주파수 대역 통과형 특징을 이용한 새로운 최적 필터 설계 방법을 제안한다. 제안한 방법은 자기조직형 신경회로망에 의해서 영상에 내재된 텍스쳐 영역을 블록 단위로 군화(clustering)하며, 가버필터의 최적 주파수는 인식된 텍스쳐 오브젝트(texture objects)의 공간 주파수를 분석한 최적 주파수에 동조(turning)한다. 그리고 설계된 최적 가버필터의 성능 평가를 위해서는 다양한 형태의 다중 텍스쳐 영상을 생성하여 내재된 텍스쳐 오브젝트를 추출함으로써 성공적인 결과를 보인다.

합성곱신경망 기반의 StyleGAN 이미지 탐지모델 (A StyleGAN Image Detection Model Based on Convolutional Neural Network)

  • 김지연;홍승아;김하민
    • 한국멀티미디어학회논문지
    • /
    • 제22권12호
    • /
    • pp.1447-1456
    • /
    • 2019
  • As artificial intelligence technology is actively used in image processing, it is possible to generate high-quality fake images based on deep learning. Fake images generated using GAN(Generative Adversarial Network), one of unsupervised learning algorithms, have reached levels that are hard to discriminate from the naked eye. Detecting these fake images is required as they can be abused for crimes such as illegal content production, identity fraud and defamation. In this paper, we develop a deep-learning model based on CNN(Convolutional Neural Network) for the detection of StyleGAN fake images. StyleGAN is one of GAN algorithms and has an excellent performance in generating face images. We experiment with 48 number of experimental scenarios developed by combining parameters of the proposed model. We train and test each scenario with 300,000 number of real and fake face images in order to present a model parameter that improves performance in the detection of fake faces.

신경회로망 ICA를 이용한 혼합영상신호의 분리 (Blind Image Separation with Neural Learning Based on Information Theory and Higher-order Statistics)

  • 조현철;이권순
    • 전기학회논문지
    • /
    • 제57권8호
    • /
    • pp.1454-1463
    • /
    • 2008
  • Blind source separation by independent component analysis (ICA) has applied in signal processing, telecommunication, and image processing to recover unknown original source signals from mutually independent observation signals. Neural networks are learned to estimate the original signals by unsupervised learning algorithm. Because the outputs of the neural networks which yield original source signals are mutually independent, then mutual information is zero. This is equivalent to minimizing the Kullback-Leibler convergence between probability density function and the corresponding factorial distribution of the output in neural networks. In this paper, we present a learning algorithm using information theory and higher order statistics to solve problem of blind source separation. For computer simulation two deterministic signals and a Gaussian noise are used as original source signals. We also test the proposed algorithm by applying it to several discrete images.

HIERARCHICAL CLUSTER ANALYSIS by arboART NEURAL NETWORKS and its APPLICATION to KANSEI EVALUATION DATA ANALYSIS

  • Ishihara, Shigekazu;Ishihara, Keiko;Nagamachi, Mitsuo
    • 한국감성과학회:학술대회논문집
    • /
    • 한국감성과학회 2002년도 춘계학술대회 논문집
    • /
    • pp.195-200
    • /
    • 2002
  • ART (Adaptive Resonance Theory [1]) neural network and its variations perform non-hierarchical clustering by unsupervised learning. We propose a scheme "arboART" for hierarchical clustering by using several ART1.5-SSS networks. It classifies multidimensional vectors as a cluster tree, and finds features of clusters. The Basic idea of arboART is to use the prototype formed in an ART network as an input to other ART network that has looser distance criteria (Ishihara, et al., [2,3]). By sending prototype vectors made by ART to one after another, many small categories are combined into larger and more generalized categories. We can draw a dendrogram using classification records of sample and categories. We have confirmed its ability using standard test data commonly used in pattern recognition community. The clustering result is better than traditional computing methods, on separation of outliers, smaller error (diameter) of clusters and causes no chaining. This methodology is applied to Kansei evaluation experiment data analysis.

  • PDF

다중 해상도 병합을 이용한 수정된 적응 공명 이론 신경망: 혼합 문자 인식 적용 (The Modified ART1 Network using Multiresolution Mergence : Mixed Character Recognition)

  • 최경현;김민제
    • 정보처리학회논문지B
    • /
    • 제14B권3호
    • /
    • pp.215-222
    • /
    • 2007
  • 최근 정보기술의 발달과 함께 문자 인식의 중요성이 높아지고 있다. 특히, 유비쿼터스 시대가 도래하면서 개인휴대용 정보 단말기, 태블릿 PC 등 유비쿼터스 컴퓨팅 장비가 급속도로 대중화 되고 있다. 이에 사람마다 다양한 필체로 인한 문제가 발생하고 있으며, 인식률을 높일 수 있는 문자 인식에 대한 연구가 필요한 실정이다. 본 연구에서는 다중 해상도 병합을 이용한 수정된 적응 공명 이론 신경망을 제안한다. 이는 자율 학습 신경망과 다중 해상도의 관점에서 접근하여 문자 인식 문제에 적용시켜 본 것이다. 노이즈와 문자 특성 정보를 구별하고 인식률을 높이기 위해 고해상도와 저해상도 정보를 같이 이용하는 다중 해상도 병합 방법을 제안한다. 또한, 다중 해상도 병합 방법의 효과를 극대화할 수 있는 적응 공명 이론 신경망의 유사도 측정 방법을 제안하여 기존의 방법보다 우수한 실험 결과를 제시하였다.