• 한국지능시스템학회논문지
• /
• 제20권5호
• /
• pp.672-676
• /
• 2010

본 논문은 연결강도를 조정할 때 결정 경계선 근처에 있는 데이터를 더 반영하는 학습법칙을 제안하였다. 이 학습법칙은 outlier가 결정 경계선에 미치는 영향을 줄여 더 나은 결정 경계선을 형성하도록 한다. 제안하는 학습법칙을 IAFC(Integrated Adaptive Fuzzy Clustering) 신경회로망의 구조에 적용하였다. IAFC 신경회로망은 배운 것을 유지하는 안정성이 있으면서, 새로운 것을 배울 수 있는 안정성이 있다. 이 퍼지 신경회로망의 성능과 LVQ(Learning Vector Quantization) 신경회로망 및 오류역전파 신경회로망의 성능과 비교하였다. 실험결과 제안하는 퍼지 신경회로망의 성능이 우수함을 보여주었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
• /
• pp.616-618
• /
• 2002

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 이점이 있어 다양한 문제영역에서 사용되고 있다 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 실시간 처리를 요구하는 문제나 대규모 데이터 및 MLP 구조로 인해 학습시간이 상당히 긴 문제에서 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 은라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부 가중치 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률을 고정함으로써 온라인 방식에서 패턴별 갱신의 특성을 완전히 활용하지 못하는 비효율성이 발생한다. 또한, 학습도중 패턴군이 학습된 패턴과 그렇지 못한 패턴으로 나뉘고 이 가운데 학습된 패턴은 학습을 위한 계산에 포함될 필요가 없음에도 불구하고, 기존의 온라인 EBP에서는 에폭에 할당된 모든 패턴을 일률적으로 계산에 포함시킨다. 이 문제에 대해 본 논문에서는 학습이 진행됨에 따라 패턴마다 적절한 학습률을 적용하고 필요한 패턴만을 학습에 반영하는 패턴별 가변학습률 및 학습생략(COIL) 방댑을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

• 한국지능시스템학회논문지
• /
• 제6권2호
• /
• pp.52-56
• /
• 1996

신경망을 학습하는데 있어서, 망의 학습속도는 학습율에 의해 크게 좌우된다. 그러나 대부분의 정적인 학습율 선택 방법들은 몇몇 결정적인 방법들을 제외하곤 경험적인 방식에 의존해 왔다. 경험적인 방식을 사용하여 좋은 학습율을 찾아내는 것은 배우 지류하고 어려운 일이다. 또한 결정적인 방법들은 학습율의 질을 보장하지는 못한다. 본 논문에서 우리는 새로운 학습율 선택 방법을 제안한다. 우리의 방법은 진화 프로그래밍기법을 사용하여 통계적인 방식으로 접근함으로써 좋은 학습율을 찾을 수 있다. 모의 실험을 통하여 우리의 방식이 경험적인 방식들이나 결정적인 방식보다 우수함을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권10호
• /
• pp.309-316
• /
• 2020

우리는 응급실을 방문한 65세 이상 노인환자의 의료 데이터를 각각 피드 포워드 신경망과 합성곱 신경망에 학습하여 사망률을 예측하였다. 의료 데이터는 노인환자의 성별, 연령, 체온, 심박 수 등의 기초적인 정보뿐 아니라 과거 병력, 다양한 혈액 검사 및 배양 검사 결과 등 다양하고 복잡한 정보를 포함하여 총 99가지의 자질로 구성된다. 이 중 사망률 예측에 크게 기여하는 자질을 선택하기 위해 랜덤 포레스트를 이용하여 자질의 중요도를 계산하였고, 그 결과 중요도가 높은 상위 80개의 자질을 선택하였다. 선택된 자질을 각각 피드 포워드 신경망과 합성곱 신경망의 학습에 사용하여 두 신경망의 성능을 비교하였다. 합성곱 신경망 학습을 위해 의료 데이터를 고정된 크기의 이미지로 변환하였으며 합성곱 신경망이 피드 포워드 신경망을 이용한 것보다 성능이 좋았다. 합성곱 신경망의 사망률 예측 성능으로 테스트 데이터에 대해 F1 점수는 56.9, AUC는 92.1을 각각 얻었다.

• 한국방사선학회논문지
• /
• 제16권5호
• /
• pp.595-602
• /
• 2022

본 연구는 딥러닝을 이용한 흉부 X선 폐렴 영상에 대하여 정확하고 효율적인 의료영상의 자동진단을 위해서 가장 효율적인 학습률을 제시하고자 하였다. Inception V3 딥러닝 모델에 학습률을 0.1, 0.01, 0.001, 0.0001로 각각 설정한 후 3회 딥러닝 모델링을 수행하였다. 그리고 검증 모델링의 평균 정확도 및 손실 함수 값, Test 모델링의 Metric을 성능평가 지표로 설정하여 딥러닝 모델링의 수행 결과로 획득한 결과값의 3회 평균값으로 성능을 비교 평가하였다. 딥러닝 검증 모델링 성능평가 및 Test 모델링 Metric에 대한 성능평가의 결과, 학습률 0.001을 적용한 모델링이 가장 높은 정확도와 우수한 성능을 나타내었다. 이러한 이유로 본 논문에서는 딥러닝 모델을 이용한 흉부 X선 영상에 대한 폐렴 유무 분류 시 학습률을 0.001로 적용할 것을 권고한다. 그리고 본 논문에서 제시하는 학습률의 적용을 통한 딥러닝 모델링 시 흉부 X선 영상에 대한 폐렴 유무 분류에 대한 인력의 보조적인 역할을 수행할 수 있을 거라고 판단하였다. 향후 딥러닝을 이용한 폐렴 유무 진단 분류 연구가 계속해서 진행될 시, 본 논문의 논문 연구 내용은 기초자료로 활용될 수 있다고 여겨지며 나아가 인공지능을 활용한 의료영상 분류에 있어 효율적인 학습률 선택에 도움이 될 것으로 기대된다.

• 정보과학회지
• /
• 제24권4호
• /
• pp.24-30
• /
• 2006

온톨로지의 기본개념, 응용 분야 및 학습 단계에 대하여 간단하게 설명하였고, 온톨로지 학습단계에서 전문 분야의 개념간 계층 관계 학습 방법에 대하여 자세하게 알아보았다. 전문분야 개념을 표현하는 전문 용어 사이의 계층 관계를 학습하는 방법은 크게 규칙 기반 방법, 통계 기반 방법 그리고 용어의 전문성과 유사도를 이용하는 방법으로 나눌 수 있다. 규칙 기반 방법은 비교적 정확한 결과를 얻을 수 있는 장점이 있지만 재현율이 낮은 단점이 있다. 기존은 통계 기반 방법에서는 재현율이 높은 장점이 있지만 정확률이 낮은 단점이 있다. 또한 이 방법에서는 순수하게 통계 정보만 이용하기 때문에 오류에 대한 분석이 어려운 단점이 있다. 용어의 전문성과 용어간 유사도를 이용한 방법에서는 용어의 전문성을 이용하여 기존의 계층 구조에서 상위에 후보를 선택하고, 용어간 유사도를 이용하여 선택한 후보를 정렬하여 최적의 후보를 찾는다. 이 방법은 상위어 선정 과정을 두 단계로 분리하여 수행하기 때문에 오류 분석이 용이한 장점이 있다. 향후 온톨로지 학습 과정에서 계층 관계뿐 아니라 인과 관계 및 다양한 관계의 학습과 관련된 연구가 진행되어야 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.79-80
• /
• 2023

동기식 분산 딥러닝 기법은 그래디언트 계산 작업을 다수의 워커가 나누어 병렬 처리함으로써 모델 학습 과정을 효율적으로 단축시킨다. 배치 사이즈는 이터레이션 단위로 처리하는 데이터 개수를 의미하며, 학습 속도 및 학습 모델의 품질에 영향을 미치는 중요한 요소이다. 멀티 GPU 환경에서 작동하는 분산 학습의 경우, 가용 GPU 메모리 용량이 커짐에 따라 선택 가능한 배치 사이즈의 상한이 증가한다. 하지만 배치 사이즈가 학습 속도 및 학습 모델 품질에 미치는 영향은 GPU 활용률, 총 에포크 수, 모델 파라미터 개수 등 다양한 변수에 영향을 받으므로 최적값을 찾기 쉽지 않다. 본 연구는 동기식 분산 딥러닝 환경에서 실험을 통해 최적의 배치 사이즈 선택에 영향을 미치는 주요 요인을 분석한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 추계 학술대회 학술발표 논문집
• /
• pp.71-75
• /
• 2003

오류 역전파 학습 알고리즘을 이용하여 영상 인식에 적용 할 경우에는 은닉층의 노드 수를 경험적으로 설정하므로, 학습시간과 지역최소화 및 정체현상이 발생한다. 그리고 ARTI 알고리즘은 입력 패턴과 저장 패턴간의 측정 방법인 유사성 검증 방법과 경계 변수의 설정에 따라 인식률이 좌우된다. 경계 변수의 값이 크면 입력 패턴과 저장 패턴사이에 약간의 차이만 있어도 새로운 카테고리(Category)로 분류하고, 반대로 경계 변수의 값이 적으면 입력 패턴과 저장 패턴 사이에 많은 차이가 있더라도 유사성이 인정되어 입력 패턴들을 대략적으로 분류한다. 따라서 ART1 알고리즘을 영상 인식에 적용하기 위해서는 경계 변수를 경험적으로 설정하므로 인식률에 부정적인 영향을 갖는 문제점이 있다. 따라서 본 논문에서는 개선된 ART1 알고리즘과 지도 학습 방법을 결합하여 신경망의 은닉층 노드를 동적으로 변화시키는 자가 생성지도 학습 알고리즘을 제안한다. 제안된 신경망에서 입력층과 은닉층의 학습 구조에는 ART1 알고리즘을 개선하여 적용하고, 은닉층과 출력층의 학습 구조에는 은닉층에서 승자로 선택된 노드와 출력층 노드와 연결된 가중치만을 조정하고 Delta-Bar-Delta 알고리즘을 적용한다. 제안된 방법의 학습 성능을 분석하기 위하여 학생증 영상에서 추출한 학번 패턴 분류에 적용한 결과, 기존의 신경망 학습 알고리즘보다 학습 성능이 개선됨을 확인하였다.

• 한국추진공학회지
• /
• 제10권2호
• /
• pp.102-109
• /
• 2006

본 논문에서 항공기용 터보 축 엔진의 결함 진단 알고리즘을 개발하기 위해 Support Vector Machine(SVM)과 인공신경망(ANN)을 이용하였다. 신경망을 이용한 시스템은 비선형성이 과도한 데이터를 학습할 때 지역 최소점(Local Minima)에 빠져 분류 정확률이 낮아질 수 있다. 이러한 위험성을 보안하기 위해 SVM에 의한 ANN의 분할 학습 알고리즘(SLA)을 제안하였다. 이것은 SVM을 이용하여 결함 위치를 판별 한 후 신경망이 선택적으로 학습을 하는 방법으로 학습 데이터의 비선형성을 줄여 분류 정확률을 높이기 때문에 신경망을 단독으로 사용할 때보다 개선된 성능을 보여주었다.

• 한국정보처리학회논문지
• /
• 제5권10호
• /
• pp.2609-2614
• /
• 1998

본 연구에서는 신경망 모형을 이용한 시계열 예측에 있어서 분석할 시계열의 특성에 맞는 적응적 학습률을 구하고 초기 값의 동적인 적용을 통한 개선된 학습방법을 이용하여 신경망 예측을 하고 통계적인 Box-Jenkins예측 결과와 비교해 봄으로써 두 방법간의 시계열 예측 효율성을 비교한다. 신경망 모형에 맞는 적응적 학습률은 표준 직교 배열표에 의해 실험계획을 한 25가지의 모수 조합으로부터 구하고, 신경망 학습의 초기값은 Easton의 제어상자를 동적으로 적용하여 실시간으로 선택할 수 있도록한다. 실증분석에 적용된 시계열자료는 1700년부터 1988년까지의 태양 흑점 자료이다.