• Journal of the Korean Data and Information Science Society
• /
• 제28권6호
• /
• pp.1245-1255
• /
• 2017

온라인 학습은 자료가 실시간으로 혹은 배치 단위로 축적되는 상황에서 주어진 목적함수의 해를 계산하는 방법을 말한다. 온라인 학습 알고리즘 중 배치를 이용한 확률적 경사 하강법 (stochastic gradient decent method)은 가장 많이 사용되는 방법 중 하나다. 이 방법은 구현이 쉬울 뿐만 아니라 자료가 동질적인 분포를 따른다는 가정 하에서 그 해의 성질이 잘 연구되어 있다. 하지만 자료에 특이값이 있거나 임의의 배치가 확률적으로 이질적 성질을 가질 때, 확률적 경사 하강법이 주는 해는 큰 편이를 가질 수 있다. 본 연구에서는 이러한 비정상 배치 (abnormal batch) 있는 자료 하에서 효과적으로 온라인 학습을 수행할 수 있는 수정된 경사 하강 알고리즘 (modified gradient decent algorithm)을 제안하고, 그 알고리즘을 통해 계산된 해의 수렴성을 밝혔다. 뿐만 아니라 간단한 모의실험을 통해 제안한 방법의 이론적 성질을 실증하였다.

• 한국산학기술학회논문지
• /
• 제21권2호
• /
• pp.189-194
• /
• 2020

본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1999년도 하계학술대회 논문집 G
• /
• pp.2833-2835
• /
• 1999

이 논문에서는 임의의 시스템 동정에 사용되는 적응필터의 계수를 최적화시키는 방법으로 광범위하게 사용되어지고 있는 기존의 적응 알고리즘인 Least Mean Square(LMS)방법과 최근들어 다양한 최적화 문제에 응용되고 있는 유전자 알고리즘(GA)을 합성한 하이브리드 형태의 적응 알고리즘을 사용한다. 이 알고리즘은 TIR 필터를 설계하는데 있어, 경사하강법의 개념을 사용함으로써 야기되는 지역 수렴문제의 단점을 보완하기 위해, 미분과 같은 결정론적인 규칙없이 단지 확률적인 연산자만으로 진행하는 유전자 알고리즘을 이용한다. 그리고 유전자 알고리즘에 있어서 확률적인 연산을 사용함으로써 발생하는 많은 계산량과 느린 수렴속도 문제를 LMS의 경사하강법을 이용하여 보완한다. 이처럼 유전자 알고리즘이 지닌 장점과 LMS 알고리즘이 갖는 장점을 이용하여 각 알고리즘이 지니는 단점을 서로 보완함으로써 알고리즘의 성능을 향상시키고 이 향상된 알고리즘을 이용하여 최적 필터계수를 찾는다 이렇게 얻은 필터계수값을 이용하여 적응 필터의 성능을 확인 평가한다.

• 문화기술의 융합
• /
• 제9권3호
• /
• pp.647-654
• /
• 2023

딥러닝은 이미지, 텍스트와 같이 복잡한 데이터를 분류 및 인식하는데 유용한 방법으로 딥러닝 기법의 정확도는 딥러닝이 인터넷상의 AI 기반의 서비스를 유용하게 하는데 기초가 되었다. 그러나 딥러닝에서 훈련에 사용되는 방대한 양의 사용자 데이터는 사생활 침해 문제를 야기하였고 사진이나 보이스와 같이 사용자이 개인적이고 민감한 데이터를 수집한 기업들이 데이터들을 무기한으로 소유한다. 사용자들은 자신의 데이터를 삭제할 수 없고 사용되는 목적도 제한할 수 없다. 예를 들면, 환자 진료기록에 대한 딥러닝 기술을 적용하기 원하는 의료기관들과 같은 데이터소유자들은 사생활과 기밀유지 문제로 환자의 데이터를 공유할 수 없고 딥러닝 기술의 혜택을 받기 어렵다. 우리는 멀티 파티 시스템에서 다수의 작업자들이 입력 데이터집합을 공유하지 않고 신경망 모델을 공동으로 사용할 수 있는 프라이버시 보존 기술을 적용한 딥러닝 방법을 설계한다. 변형된 확률적 경사 하강에 기초한 최적화 알고리즘을 이용하여 하위 집합을 선택적으로 공유할 수 있는 방법을 이용하였고 결과적으로 개인정보를 보호하면서 학습 정확도를 증가시킨 학습을 할 수 있도록 하였다.

• 디지털융복합연구
• /
• 제20권4호
• /
• pp.389-396
• /
• 2022

딥러닝(Deep Learning)은 퍼셉트론을 기반으로 하고 있으며 현재에는 이미지 인식, 음성 인식, 객체 검출 및 약물 개발 등과 같은 다양한 영역에서 사용되고 있다. 이에 따라 학습 알고리즘이 다양하게 제안되었고 신경망을 구성하는 뉴런수도 연구자마다 많은 차이를 보이고 있다. 본 연구는 현재 대표적으로 사용되고 있는 확률적 경사하강법(SGD), 모멘텀법(Momentum), AdaGrad, RMSProp 및 Adam법의 뉴런수에 따른 학습 특성을 분석하였다. 이를 위하여 1개의 입력층, 3개의 은닉층, 1개의 출력층으로 신경망을 구성하였고 활성화함수는 ReLU, 손실 함수는 교차 엔트로피 오차(CEE)를 적용하였고 실험 데이터셋은 MNIST를 사용하였다. 그 결과 뉴런수는 100~300개, 알고리즘은 Adam, 학습횟수(iteraction)는 200회가 딥러닝 학습에서 가장 효율적일 것으로 결론을 내렸다. 이러한 연구는 향후 새로운 학습 데이터가 주어졌을 경우 개발될 알고리즘과 뉴런수의 기준치에 함의를 제공할 것이다.

• 한국컴퓨터정보학회논문지
• /
• 제26권7호
• /
• pp.1-7
• /
• 2021

본 논문에서는 다중 레이블 분류를 위한 특징 선별 기법을 제안한다. 기존 많은 특징 선별 기법들은 상호정보척도 등을 이용하여 특징과 레이블 사이의 연관성을 계산하여 특징을 선별하였다. 하지만 상호정보척도는 결합 확률을 요구하기 때문에 실제 전제 특징 집합에서 결합 확률을 계산하는 것은 어렵다. 따라서 소수의 특징만 계산이 가능하여 지역적 최적화만 가능하다는 단점을 가진다. 이런 지역적 최적화 문제를 피해, 주어진 특징 전체 공간에서 저랭크 공간을 구성하고, 희소성을 가진 특징들을 선별할 수 있는 특징 선별 기법을 제안한다. 이를 위해 뉴클리어 노름을 이용해 회귀 기반의 목적함수를 설계하였고, 이 목적 함수의 최적화 문제를 풀기 위한 경사하강법 방식의 알고리즘을 제안하였다. 4가지의 데이터와 3가지 다중 레이블 분류 성능을 기준으로 다중 레이블 분류 실험 결과를 통해 제안하는 방법론이 기존 특징 선별 기법보다 좋은 성능을 나타내는 것을 보였다. 또한 제안하는 목적함수의 파라미터 값 변화에도 성능 변화가 둔감한 것을 실험적인 결과로 확인하였다.

• 한국광학회지
• /
• 제35권3호
• /
• pp.107-114
• /
• 2024

본 연구에서는 다채널 결맞음 빔결합 시스템에서 공분산 행렬 적응 진화 전략(covariance-matrix-adaptation-evolution-strategy, CMA-ES) 알고리즘의 구현 가능성을 실험적으로 확인하였다. 파장이 635 nm인 결맞음 광원과 함께 공간 광 변조기를 다채널 위상 변조기 배열로 활용하는 다채널 결맞음 빔결합 시스템을 구성하고, 확률적 병렬 경사 하강(stochastic parallel gradient descent, SPGD) 및 CMA-ES 알고리즘을 결맞음 빔결합 시스템에 적용하여 획득한 두 알고리즘의 동작 특성을 비교하였다. 사각 구조인 16채널 및 벌집 구조인 19채널 결맞음 빔결합 시스템에서 두 알고리즘의 동작 특성을 평가한 결과 두 알고리즘의 동작 특성은 주어진 조건에서 평균적으로 유사하였으나, CMA-ES 알고리즘이 SPGD 알고리즘에 비해 초기 위상값 설정에 따른 동작 특성 변동이 상대적으로 작아 보다 안정적으로 동작할 수 있음을 확인하였다. 본 연구는 저자가 아는 범위 내에서 CMA-ES 위상제어 알고리즘을 다채널 결맞음 빔결합 시스템에 적용한 최초의 원리증명 시연이며, 향후 CMA-ES 위상제어 알고리즘에 기반한 다채널 결맞음 시스템에서 채널 수 증가 혹은 외부 위상잡음 효과 등을 실험적으로 연구할 때 유용하게 활용될 수 있을 것으로 기대된다.

• 지구물리와물리탐사
• /
• 제23권4호
• /
• pp.230-242
• /
• 2020

201 6년 9월에 발생한 경주지진원 구역에 대한 정밀 지질구조 규명을 위해 MT 탐사를 적용하였다. 경주지역의 MT 측정자료는 조사지역 인근의 지하철, 전력선, 공장, 주택, 농경지에서 발생된 전기적 잡음과 철도, 도로에서의 차량잡음 등으로 인해 측정자료 왜곡이 심하게 발생되었다. 이 연구에서는 고속철도 및 고속도로와 인접한 4개소의 MT 탐사자료에 기계학습 기법을 적용하여 차량잡음이 포함된 시계열을 분류하였다. 고속열차 잡음이 포함된 시계열에 대해서는 확률적 경사 하강법, 서포트 벡터 머신과 랜덤 포레스트 3가지의 분류모델을 적용하여 그 결과를 비교하였다. 대형트럭 잡음이 포함된 시계열 자료에 대해서는 Hx 성분, Hy 성분과 Hx & Hy 합성성분 크기에 대한 3가지의 샘플 자료를 준비하였으며 랜덤 포레스트 분류모델을 구성하여 그 성능을 평가하였다. 마지막으로 차량잡음 제거 효과 분석을 위하여 차량잡음 제거 전후의 시계열, 진폭 스펙트럼과 겉보기비저항 곡선을 비교하였으며, 이를 통해 차량잡음이 영향을 미치는 주파수 대역과 차량잡음 제거 시 발생될 수 있는 문제점에 대해 고찰하였다.