• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권9호
• /
• pp.371-380
• /
• 2022

합성곱 신경망은 이미지와 같은 격자 형태로 배열된 데이터를 다루는데 널리 사용되고 있는 신경망이다. 일반적인 합성곱 신경망은 합성곱층과 완전연결층으로 구성되며 각 층은 비선형활성함수를 포함하고 있다. 본 논문은 합성곱 신경망의 성능을 향상시키기 위해 결합된 파라메트릭 활성함수를 제안한다. 결합된 파라메트릭 활성함수는 활성함수의 크기와 위치를 변환시키는 파라미터를 적용한 파라메트릭 활성함수들을 여러 번 더하여 만들어진다. 여러 개의 크기, 위치를 변환하는 파라미터에 따라 다양한 비선형간격을 만들 수 있으며, 파라미터는 주어진 입력데이터에 의해 계산된 손실함수를 최소화하는 방향으로 학습할 수 있다. 결합된 파라메트릭 활성함수를 사용한 합성곱 신경망의 성능을 MNIST, Fashion MNIST, CIFAR10 그리고 CIFAR100 분류문제에 대해 실험한 결과, 다른 활성함수들보다 우수한 성능을 가짐을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제22권5호
• /
• pp.63-68
• /
• 2022

자율주행 기술은 최근 심층 강화학습의 도입으로 큰 발전을 이루고 있다. 심층 강화 학습을 효과적으로 사용하기 위해서는 적절한 활성화 함수를 선택하는 것이 중요하다. 그 동안 많은 활성화 함수가 제시되었으나 적용할 환경에 따라 다른 성능을 보여주었다. 본 논문은 고속도로에서 자율주행을 학습하기 위해 강화 학습을 사용할 때 어떤 활성화 함수를 사용하는 것이 효과적인지 12개의 활성화 함수 성능을 비교 평가한다. 이를 위한 성능 평가 방법을 제시하였고 각 활성화 함수의 평균 보상 값을 비교하였다. 그 결과 GELU를 사용할 경우 가장 높은 평균 보상을 얻을 수 있었으며 SiLU는 가장 낮은 성능을 보여주었다. 두 활성화 함수의 평균 보상 차이는 20%였다.

• 한국콘텐츠학회논문지
• /
• 제6권2호
• /
• pp.93-98
• /
• 2006

본 논문은 컴포넌트 검색 시스템의 성능을 향상시키기 위해 사용자 피드백을 효율적으로 수행하는 방법을 제안하고자 한다. 기존의 퍼지 기법이 적용된 퍼지화 함수는 컴포넌트를 선택할 때마다 매번 4가지 경우의 그래프를 재구성해야 하는 어려움이 있다. 본 연구에서는 이러한 피드백의 단점을 극복하기 위하여 검색된 컴포넌트의 선택여부에 따라 동일한 함수이지만 학습률을 달리할 수 있는 가우시안 함수를 이용한 상호작용 함수를 제안한다. 가우시안 함수를 피드백 함수로 채택 시 함수의 파라메타에 따른 검색 성능을 비교하고, 이를 토대로 가장 효율적인 동적 상호작용 함수를 제안하여 효율적인 검색 시스템을 구축하고자 한다.

• 한국콘텐츠학회논문지
• /
• 제21권3호
• /
• pp.616-625
• /
• 2021

심층신경망은 임의의 함수를 근사화하는 방법으로 선형모델로 근사화한 후에 비선형 활성함수를 이용하여 추가적 근사화를 반복하는 근사화 방법이다. 이 과정에서 근사화의 성능 평가 방법은 손실함수를 이용한다. 기존 심층학습방법에서는 선형근사화 과정에서 손실함수를 고려한 근사화를 실행하고 있지만 활성함수를 사용하는 비선형 근사화 단계에서는 손실함수의 감소와 관계가 없는 비선형변환을 사용하고 있다. 본 연구에서는 기존의 활성함수에 활성함수의 크기를 변화시킬 수 있는 크기 파라메터와 활성함수의 위치를 변화시킬 수 있는 위치 파라미터를 도입한 파라메트릭 활성함수를 제안한다. 파라메트릭 활성함수를 도입함으로써 활성함수를 이용한 비선형 근사화의 성능을 개선시킬 수 있다. 각 은닉층에서 크기와 위치 파라미터들은 역전파 과정에서 파라미터들에 대한 손실함수의 1차 미분계수를 이용한 학습과정을 통해 손실함수 값을 최소화시키는 파라미터를 결정함으로써 심층신경망의 성능을 향상시킬 수 있다. MNIST 분류 문제와 XOR 문제를 통하여 파라메트릭 활성함수가 기존의 활성함수에 비해 우월한 성능을 가짐을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권10호
• /
• pp.303-308
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 인지하였다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델에 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR의 활성함수를 변경하면서 진행한 실험에서 해상도를 2배로 변환하는 경우, 기존 활성함수인 ReLU가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 해상도를 4배로 변환하는 경우에서는 Leaky ReLU와 Swish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Leaky ReLU를 사용했을 때 기존 ReLU보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 또한 해상도를 8배로 변환하는 경우에서는 Mish 함수가 기존 ReLU 함수 대비 다소 향상된 성능을 보임을 확인하였다. Mish를 사용했을 때 기존 ReLU보다 PSNR과 SSIM 평가지표가 평균 0.06%, 0.02%의 성능 향상을 확인할 수 있었다. 결론적으로 해상도를 4배로 변환하는 초해상화의 경우는 Leaky ReLU와 Swish가, 해상도를 8배로 변환하는 초해상화의 경우는 Mish가 ReLU 대비 향상된 성능을 보였다. 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU, Swish, Mish로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• 한국음향학회지
• /
• 제40권2호
• /
• pp.176-182
• /
• 2021

본 논문은 다양한 손실 함수에 따른 Deep Nerual Network(DNN) 기반 음성 향상 모델의 성능을 비교 평가한다. 베이스라인 모델로는 음성의 위상 정보를 고려할 수 있는 복소 네트워크를 사용하였다. 손실 함수는 두 가지 유형의 기본 손실 함수, Mean Squared Error(MSE)와 Scale-Invariant Source-to-Noise Ratio(SI-SNR)를 사용하였으며 두 가지 유형의 지각 기반 손실 함수 Perceptual Metric for Speech Quality Evaluation(PMSQE)과 Log Mel Spectra(LMS)를 사용한다. 성능은 각 손실 함수의 다양한 조합을 사용하여 얻은 출력을 객관적인 평가와 청취 테스트를 통해 측정하였다. 실험 결과, 지각기반 손실 함수를 MSE 또는 SI-SNR과 결합하였을 때 전반적으로 성능이 향상되며, 지각기반 손실함수를 사용하면 객관적 지표에서 약세를 보이는 경우라도 청취 테스트에서 우수한 성능을 보임을 확인하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2004년도 춘계학술대회 학술발표 논문집 제14권 제1호
• /
• pp.462-465
• /
• 2004

수치적인 데이터를 분류하기 위한 대표적인 방법은 퍼지 규칙을 사용하는 것이다. 하지만, 이러한 방법은 퍼지 소속 함수를 어떻게 정의하느냐에 따라 퍼지 분류의 성능이 크게 영향을 받는다는 문제점과 퍼지 규칙을 쉽게 이해하기 위해 가능한 퍼지 규칙의 수를 적게 유지해야한다는 문제점이 있다. 본 논문에서는 효과적이며 이해하기 쉬운 퍼지 규칙을 생성하기 위해 기울기 강하법을 기반으로 하는 소속 함수 학습 방법을 제안한다. 에러율을 감소하기 위해 Penalty 연산과 Reward 연산을 통해 소속 함수가 반복적으로 조절된다. 새로운 소속 함수는 Coverage 연산에 의해 생성된다. 또한 이해하기 쉬운 퍼지 규칙을 최적화하기 위해 학습된 소속 함수를 퍼지 결정 트리에 적용한다. 본 논문에서 제안한 알고리즘의 타당성을 확인하기 위해 벤치 마크 데이터인 Iris, Wisconsin Breast Cancer, Pima. Bupa 데이터를 이용하여 실험 결과를 보인다. 실험 결과를 통해 제안한 알고리즘이 기존의 C4.5와 FID 3.1 알고리즘보다 더 효과적이거나 비슷한 성능을 보임을 알 수 있다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2006년도 International Symposium on GPS/GNSS Vol.2
• /
• pp.612-615
• /
• 2006

본 논문에서는 Late 암으로부터 측정된 상관 값을 보정하여 상관함수의 비대칭을 완화시키고 다중경로 신호 오차를 제거하는 새로운 상관기 설계법을 제안하였다. 다중경로 오차에 의한 신호 추적 오차는 상관함수의 Early-Late 간 비대칭과 관련이 있으므로, 다중상관기 구조를 이용하여 상관함수의 Early-Late간 상관값 차를 측정하면 상관함수의 비대칭 정도를 추정할 수 있다. 상관값 차를 이용하여 추정한 상관함수 비대칭을 감소시키면 다중경로 신호에 의한 코드 추적 오차를 줄일 수 있다. 제안한 상관기는 4개의 암과 보정치 생성 블록으로 구성된다. 제안한 상관기의 다중경로 오차 제거 성능은 시뮬레이션을 이용하여 확인하였다. 여러 가지 지연시간 및 신호 진폭을 가지는 다중경로 신호에 대하여 일반 수신기와의 위상 추적 오차를 비교하여 성능을 평가하였다. 시뮬레이션 결과에서 제안한 상관기는 우수한 다중경로 오차 제거 성능을 가지며 일반상관기와 유사한 평균 신호 획득시간을 가짐을 알 수 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제5권3호
• /
• pp.295-304
• /
• 1999

관계형 데이터베이스 시스템의 기능이 점차 확대되면서 사용자 정의 함수의 역할이 다양하게 되었다. 이에 따라 사용자 정의 함수의 수행 속도뿐 아니라 데이터베이스 시스템의 안정성과 보안의 중요성이 부각되었다. 사용자 정의함수 지원방식은 크게 3가지로 나눌 수 있다. : 정적로딩 방식, 공유 라이브러리 방식, 프로세스 호출 방식, 기존의 데이터베이스 시스템에서 사용되는 공유 라이브러리 방식은 속도면에서 우수하나 안정성, 보안에 대한 요구를 만족시키지 못하며 시스템에 이식할 때 문제가 있다. 우리는 프로세스 호출 방식을 개선하여 사용자 정의 함수지원을 구현하였다. 본 논문에서는 관계형 데이터베이스시스템에서 사용하는 사용자 정의함수를 구현하는데 있어서 고려해야할 점들을 살펴보고 성능을 측정한다. 성능 평가를 통해 우리가 구현한 방식이 공유 라이브러리방식과 성능차이는 적은 반면 장점이 많다는 것을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.613-615
• /
• 2004

수치적인 데이터를 분류하기 위한 대표적인 방법은 퍼지 규칙을 사용하는 것이다. 하지만 퍼지 규칙을 이용하는 방법은 퍼지 소속 함수를 어떻게 정의하느냐에 따라 퍼지 분류의 성능이 크게 영향을 받는다는 문제점이 있다. 따라서 퍼지 규칙을 쉽게 이해하기 위해서는 가능한 퍼지 규칙의 수를 적게 유지하는 것이 필요하다. 본 논문에서는 효과적이며 이해하기 쉬운 퍼지 규칙을 생성하기 위해 기울기 강하법을 기반으로 하는 소속 함수 학습 방법을 제안한다 에러율을 감소하기 위해 Penalty 연산과 Reward 연산을 통해 소속 함수가 반복적으로 조절된다 새로운 소속 함수는 Coverage 연산에 의해 생성된다. 또한 이해하기 쉬운 퍼지 규칙을 최적화하기 위해 학습된 소속 함수골 퍼지 결정 트리에 적용한다. 본 논문에서 제안한 알고리즘의 타당성을 확인하기 위해 벤치 마크 데이터인 Iris, Wisconsin Breast Cancer, Plma, Bupa 데이터를 이용하여 실험 결과를 보인다. 실험 결과를 통해 제안한 알고리즘이 기존의 C4.5와 FID 3.1 알고리즘보다 더 효과적이거나 비슷한 성능을 보임을 알 수 있다.