• 제목/요약/키워드: representation learning

검색결과 513건 처리시간 0.023초

자기 정규화를 통한 도메인 불변 특징 학습 (Learning Domain Invariant Representation via Self-Rugularization)

  • 현재국;이찬용;김호성;유현정;고은진
    • 한국군사과학기술학회지
    • /
    • 제24권4호
    • /
    • pp.382-391
    • /
    • 2021
  • Unsupervised domain adaptation often gives impressive solutions to handle domain shift of data. Most of current approaches assume that unlabeled target data to train is abundant. This assumption is not always true in practices. To tackle this issue, we propose a general solution to solve the domain gap minimization problem without any target data. Our method consists of two regularization steps. The first step is a pixel regularization by arbitrary style transfer. Recently, some methods bring style transfer algorithms to domain adaptation and domain generalization process. They use style transfer algorithms to remove texture bias in source domain data. We also use style transfer algorithms for removing texture bias, but our method depends on neither domain adaptation nor domain generalization paradigm. The second regularization step is a feature regularization by feature alignment. Adding a feature alignment loss term to the model loss, the model learns domain invariant representation more efficiently. We evaluate our regularization methods from several experiments both on small dataset and large dataset. From the experiments, we show that our model can learn domain invariant representation as much as unsupervised domain adaptation methods.

처칠랜드의 표상이론과 의미론적 유사성 (The Churchlands' Theory of Representation and the Semantics)

  • 박제윤
    • 인지과학
    • /
    • 제23권2호
    • /
    • pp.133-164
    • /
    • 2012
  • 폴 처칠랜드는 인지신경생물학과 연결주의 AI의 연구 성과로부터, 상태공간 표상이론을 제안하였다. 그 표상이론에 따르면 세계의 다양한 현상들에 대한 우리의 표상은 신경세포 또는 신경세포집단의 활동에 대응하는 위상 상태공간의 지점들로 재현될 수 있다. 그러한 표상 체계를 모의하는 연결주의 AI 신경망은 은닉유닛들 속에 우리가 세계를 인지할 의미론의 범주 체계를 담아내는 것으로 해석된다. 그러한 해석의 관점에 따르면, 신경망은 세계에 대한 범주체계를 은닉 유닛들이 갖는 위상 상태공간의 특정 지점이라고 주장한다. 그러나 포도와 르포르는 그러한 전망을 어둡게 본다. 그의 전망에 따르면, '차원의 개별화' 가능성, 내용 동일성의 '분석/종합 구분'의 측면, 그리고 '부차적 정보'에 따른 상태공간의 상이성 등을 고려할 때 새로운 표상이론은 의미론적 내용 동일성을 주장하기 어렵다. 그 상태공간 표상은 유사성의 기준을 전제하기 때문이다. 본 논문은 처칠랜드 표상이론의 제안과 포도와 르포르의 비판 중에 어느 것이 더 설득력을 갖는지 검토한다. 상태공간 표상이론에 대한 필자의 이해에 따르면, 인공 그물망은 학습알고리즘에 따라서 스스로 내용 유사성의 분별 기준을 조성한다. 이러한 근거에서 포도와 르포르의 지적은 처칠랜드 표상이론에 대한 적절한 공격이 되지 못한다. 또한 그 표상이론은 미래의 인공지능 시스템이 의식 이하의 수준에서 세계를 인지할 개념체계를 어떻게 담아낼 수 있을지 우리에게 이해를 제공한다. 따라서 우리는 앞으로 인지과학 연구의 초점을 무엇에 집중해야 할지도 전망할 수 있게 되었다.

  • PDF

지시문을 통한 학습: 이해-기반 접근 (Learning from Instruction: A Comprehension-Based Approach)

  • Kim, Shin-Woo;Kim, Min-Young;Lee, Jisun;Sohn, Young-Woo
    • 인지과학
    • /
    • 제14권3호
    • /
    • pp.23-36
    • /
    • 2003
  • 학습에 대한 이해-기반 접근에 따르면 새로운 정보는 기존의 배경지식과 통합되어 정신표상을 형성하며 이는 다른 새로운 정보를 결합하는데 사용된다고 가정한다. 지시문을 통한 학습상황에서 인간과 계산적 모형의 수행비교를 통해 이 접근법이 타당하다는 것을 보여주었다. 구성-통합 이론 (Kintsch, 1988; 1998)에 근거한 계산적 모형 (ADAPT-UNIX)은 사용자들이 UNIX 복합 명령문을 생성하는데 도움을 주기위해 제시된 지시문 학습에 높은 예측력을 보였다. 더불어, 제시된 지시문을 사용하여 올바른 복합명령문을 생성하는 과제수행도 실제 인간수행과 높은 유사성 보였다. 배경지식의 수준에 따라 지시문이 학습과 적용에 차별적인 영향을 미친다는 교육적 함의와 이해-기반 인지모델의 이론적 함의가 논의되었다.

  • PDF

강화 학습을 이용한 자율주행 차량의 횡 방향 제어 (Lateral Control of An Autonomous Vehicle Using Reinforcement Learning)

  • 이정훈;오세영;최두현
    • 전자공학회논문지C
    • /
    • 제35C권11호
    • /
    • pp.76-88
    • /
    • 1998
  • 강화 학습은 이산적인 공간을 가상하여 많은 연구가 행해졌지만, 많은 실제적인 제어 문제는 연속적인 공간에서 이루어진다. 평가 함수와 행동 함수를 연속함수로 하면 강화 학습 구조를 연속 공간에서 사용할 수 있다. 그러나 이 경우 두 가지 고려해야 할 점이 있다. 하나는 어떤 종류의 함수 표현 법을 사용할 것인가 하는 문제고, 다른 하나는 첨가하는 잡음의 양을 결정하는 것이다. 평가 함수와 정책 함수(제어기)에는 신경회로를 사용하였다. 강화 예측기로 다음 순간의 강화 신호를 예측하고, 아울러 첨가하는 잡음의 양도 결정하였다. 제안된 강화 학습 구조를 사용하여 차량의 횡 방향 제어 모의 실험에서 온라인 학습의 특성을 확인하였다. 제안된 구조를 실차 실험에도 적용하여 유용성과 타당성을 검증하였다.

  • PDF

점증적 학습 퍼지 신경망을 이용한 적응 분류 모델 (An Adaptive Classification Model Using Incremental Training Fuzzy Neural Networks)

  • 이현숙
    • 한국지능시스템학회논문지
    • /
    • 제16권6호
    • /
    • pp.736-741
    • /
    • 2006
  • 분류 시스템은 데이터 전처리 모듈, 학습모듈, 의사결정모듈로 구성되어 있으며 지능형시스템의 중요한 구성요소로 활용되어왔다. 특히 학습모듈은 사전정보를 제공하므로 분류를 위한 핵심 역할을 수행하여 왔다. 기존의 학습을 위한 기법은 주로 승자독점방식으로 데이터를 처리하므로 경계가 불명확한 대부분의 실세계 응용에 적합하지 못하다. 또한 학습 알고리즘에 필요한 데이터를 한꺼번에 준비해야 하지만 이는 일반적으로 가능하지 않은 경우가 많다. 이를 위하여 본 논문에서는 점증적 학습 퍼지신경망, FNN-I,를 이용한 적응 분류모델을 설계한다. 이 모델에서는 유용하게 정보를 표현하기 위하여 퍼지이론을 도입하고 계속적으로 모여지는 데이터를 가지고 점증적으로 학습할 수 있는 알고리즘을 제시한다. 제안된 모델을 컴퓨터 바이러스 분류를 위한 실제 데이터에 적용하여 점증적으로 학습할 수 있고 효과적으로, 새로운 바이러스 데이터를 분류할 수 있음을 보인다.

A Hybrid Optimized Deep Learning Techniques for Analyzing Mammograms

  • Bandaru, Satish Babu;Deivarajan, Natarajasivan;Gatram, Rama Mohan Babu
    • International Journal of Computer Science & Network Security
    • /
    • 제22권10호
    • /
    • pp.73-82
    • /
    • 2022
  • Early detection continues to be the mainstay of breast cancer control as well as the improvement of its treatment. Even so, the absence of cancer symptoms at the onset has early detection quite challenging. Therefore, various researchers continue to focus on cancer as a topic of health to try and make improvements from the perspectives of diagnosis, prevention, and treatment. This research's chief goal is development of a system with deep learning for classification of the breast cancer as non-malignant and malignant using mammogram images. The following two distinct approaches: the first one with the utilization of patches of the Region of Interest (ROI), and the second one with the utilization of the overall images is used. The proposed system is composed of the following two distinct stages: the pre-processing stage and the Convolution Neural Network (CNN) building stage. Of late, the use of meta-heuristic optimization algorithms has accomplished a lot of progress in resolving these problems. Teaching-Learning Based Optimization algorithm (TIBO) meta-heuristic was originally employed for resolving problems of continuous optimization. This work has offered the proposals of novel methods for training the Residual Network (ResNet) as well as the CNN based on the TLBO and the Genetic Algorithm (GA). The classification of breast cancer can be enhanced with direct application of the hybrid TLBO- GA. For this hybrid algorithm, the TLBO, i.e., a core component, will combine the following three distinct operators of the GA: coding, crossover, and mutation. In the TLBO, there is a representation of the optimization solutions as students. On the other hand, the hybrid TLBO-GA will have further division of the students as follows: the top students, the ordinary students, and the poor students. The experiments demonstrated that the proposed hybrid TLBO-GA is more effective than TLBO and GA.

초소형 IoT 장치에 구현 가능한 딥러닝 양자화 기술 분석 (Analysis of Deep learning Quantization Technology for Micro-sized IoT devices)

  • 김영민;한경현;황성운
    • 사물인터넷융복합논문지
    • /
    • 제9권1호
    • /
    • pp.9-17
    • /
    • 2023
  • 많은 연산량을 가진 딥러닝은 초소형 IoT 장치나 모바일 장치에 구현하기가 어렵다. 최근에는 이러한 장치에서도 딥러닝을 구현할 수 있도록 모델의 연산량을 줄이는 딥러닝 경량화 기술이 소개되었다. 양자화는 연속적인 분포를 가지는 파라미터 값들을 고정된 비트의 이산 값으로 표현하여 모델의 메모리 및 크기 등을 줄여 효율적으로 사용할 수 있는 경량화 기법이다. 그러나 양자화로 인한 이산 값 표현으로 인해 모델의 정확도가 낮아지게 된다. 본 논문에서는 정확도를 개선할 수 있는 다양한 양자화 기술을 소개한다. 먼저 기존 양자화 기술 중 APoT와 EWGS를 선택하여 동일한 환경에서 실험을 통해 결과를 비교 분석하였다. 선택된 기술은 ResNet모델에서 CIFAR-10 또는 CIFAR-100 데이터 세트로 훈련되고 테스트 되었다. 실험 결과 분석을 통해 기존 양자화 기술의 문제점을 파악하고 향후 연구에 대한 방향성을 제시하였다.

Research on Local and Global Infrared Image Pre-Processing Methods for Deep Learning Based Guided Weapon Target Detection

  • Jae-Yong Baek;Dae-Hyeon Park;Hyuk-Jin Shin;Yong-Sang Yoo;Deok-Woong Kim;Du-Hwan Hur;SeungHwan Bae;Jun-Ho Cheon;Seung-Hwan Bae
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권7호
    • /
    • pp.41-51
    • /
    • 2024
  • 본 논문에서는 적외선 이미지에서 딥러닝 물체 탐지를 사용하여 유도무기의 표적 탐지 정확도 향상 방법을 연구한다. 적외선 이미지의 특성은 시간, 온도 등의 요인에 의해 영향을 받기 때문에 모델을 학습할 때 다양한 환경에서 표적 객체의 특징을 일관되게 표현하는 것이 중요하다. 이러한 문제를 해결하는 간단한 방법은 적절한 전처리 기술을 통해 적외선 이미지 내 표적 객체의 특징을 강조하고 노이즈를 줄이는 것이다. 그러나, 기존 연구에서는 적외선 영상 기반 딥러닝 모델 학습에서 전처리기법에 관한 충분한 논의가 이루어지지 못했다. 이에, 본 논문에서는 표적 객체 검출을 위한 적외선 이미지 기반 훈련에 대한 이미지 전처리 기술의 영향을 조사하는 것을 목표로 한다. 이를 위해 영상과 이미지의 전역(global) 또는 지역(local) 정보를 활용한 적외선 영상에 대한 전처리인 Min-max normalization, Z-score normalization, Histogram equalization, CLAHE (Contrast Limited Adaptive Histogram Equalization)에 대한 결과를 분석한다. 또한, 각 전처리 기법으로 변환된 이미지들이 객체 검출기 훈련에 미치는 영향을 확인하기 위해 다양한 전처리 방법으로 처리된 이미지에 대해 YOLOX 표적 검출기를 학습하고, 이에 대한 분석을 진행한다. 실험과 분석을 통해 전처리 기법들이 객체 검출기 정확도에 영향을 미친다는 사실을 알게 되었다. 특히, 전처리 기법 중에서도 CLAHE 기법을 사용해 실험을 진행한 결과가 81.9%의 mAP (mean average precision)을 기록하며 가장 높은 검출 정확도를 보임을 확인하였다.

온톨로지를 적용한 e-Learning 학습 자료 검색 시스템 (An Ontology-Applied Search System for Supporting e-Learning Objects)

  • 김현주;설진성;최현종;김태영
    • 컴퓨터교육학회논문지
    • /
    • 제9권6호
    • /
    • pp.29-39
    • /
    • 2006
  • 웹은 양적으로 폭발적인 성장을 이루게 되었지만 맥락적 의미의 결여로 사용자에게 검색에 대한 지적 부담을 높이고 있다. 정보의 양은 많으나 사용자에게 적합한 정보를 얻기 위하여 많은 노력을 기울여 검색 용어를 찾고 검색된 각 웹 문서들을 다시 살펴보아야 한다. 본 연구에서는 시맨틱 웹(Semantic Web)에서 중요하게 다루어지고 있는 온툴로지를 이용하여 특정 도메인 컴퓨터 하드웨어 - 에 관한 맥락적 지식을 표현하고, 이를 이용한 e-Learning 학습 자료 검색 시스템을 설계 및 구현함으로써 검색의 주체인 학습자에게 적합한 교수-학습 자료와 그에 연관된 멀티미디어 자료들을 제공하도록 하였다. 또한 유사어나 철자 오류를 보정하여 검색하는 기능, 온톨로지 상의 클래스, 인스턴스, 프로퍼티를 이용하여 검색하는 등 다양한 부가 기능들을 추가함으로써 학습자 중심의 효율적인 검색시스템을 구현하였다.

  • PDF

문제 해결 전략에서 협동학습의 효과 (Instructional Effect of Cooperative Learning in Problem Solving Strategy)

  • 노태희;여경희;전경문
    • 한국과학교육학회지
    • /
    • 제19권4호
    • /
    • pp.635-644
    • /
    • 1999
  • 본 연구에서는 분자 수준의 그림을 강조하고 4단계 문제 해결 전략을 제시하는 수업에서 협동학습의 효과를 조사하였다. 고등학교 세 학급(130명)을 선정하여 개별적으로 전략을 사용하는 집단(St: Strategy), 협동학습 환경에서 전략을 사용하는 집단(St-Co: Strategy-Cooperative learning), 그리고 통제 집단으로 무선 배치하였다. 수업 처치 후 학생들의 객관식 문제 해결력, 전략 수행 능력, 수업 참여도에 대한 인식을 비교하였고, 학생들이 선호하는 수업 유형도 조사하였다. 객관식 문제 해결력에서는 집단간에 유의미한 차이가 없었으나, 전략 수행 능력에서는 수업 처치와 사전 성취 수준 사이의 상호작용 효과가 유의미하였다. 단순 효과를 분석한 결과, St 집단의 중위 수준 학생들이 St-Co 집단보다 전략을 더 잘 수행한 것으로 나타났다. 그러나 수업 참여도에 대한 인식 검사에서는 St 집단의 점수가 통제 집단보다 유의미하게 낮았고, 학생들이 가장 선호하는 수업도 St-Co인 것으로 조사되었다.

  • PDF