• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권1호
• /
• pp.1-10
• /
• 2022

완전연결신경망은 다양한 문제를 해결하는데 널리 사용되고 있다. 완전연결신경망에서 비선형활성함수는 선형변환 값을 비선형 변환하여 출력하는 함수로써 비선형 문제를 해결하는데 중요한 역할을 하며 다양한 비선형활성함수들이 연구되었다. 본 연구에서는 완전연결신경망의 성능을 향상시킬 수 있는 결합된 파라메트릭 활성함수를 제안한다. 결합된 파라메트릭 활성함수는 간단히 파라메트릭 활성함수들을 더함으로써 만들어낼 수 있다. 파라메트릭 활성함수는 입력데이터에 따라 활성함수의 크기와 위치를 변환시키는 파라미터를 도입하여 손실함수를 최소화하는 방향으로 최적화할 수 있는 함수이다. 파라메트릭 활성함수들을 결합함으로써 더욱 다양한 비선형간격을 만들어낼 수 있으며 손실함수를 최소화하는 방향으로 파라메트릭 활성함수들의 파라미터를 최적화할 수 있다. MNIST 분류문제와 Fashion MNIST 분류문제를 통하여 결합된 파라메트릭 활성함수의 성능을 실험하였고 그 결과 기존에 사용되는 비선형활성함수, 파라메트릭 활성함수보다 우수한 성능을 가짐을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권9호
• /
• pp.371-380
• /
• 2022

합성곱 신경망은 이미지와 같은 격자 형태로 배열된 데이터를 다루는데 널리 사용되고 있는 신경망이다. 일반적인 합성곱 신경망은 합성곱층과 완전연결층으로 구성되며 각 층은 비선형활성함수를 포함하고 있다. 본 논문은 합성곱 신경망의 성능을 향상시키기 위해 결합된 파라메트릭 활성함수를 제안한다. 결합된 파라메트릭 활성함수는 활성함수의 크기와 위치를 변환시키는 파라미터를 적용한 파라메트릭 활성함수들을 여러 번 더하여 만들어진다. 여러 개의 크기, 위치를 변환하는 파라미터에 따라 다양한 비선형간격을 만들 수 있으며, 파라미터는 주어진 입력데이터에 의해 계산된 손실함수를 최소화하는 방향으로 학습할 수 있다. 결합된 파라메트릭 활성함수를 사용한 합성곱 신경망의 성능을 MNIST, Fashion MNIST, CIFAR10 그리고 CIFAR100 분류문제에 대해 실험한 결과, 다른 활성함수들보다 우수한 성능을 가짐을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권10호
• /
• pp.407-420
• /
• 2021

심층신경망은 다양한 문제를 해결하는데 널리 사용되고 있다. 하지만 은닉층이 깊은 심층신경망을 학습하는 동안 빈번히 발생하는 기울기 소실 또는 폭주 문제는 심층신경망 학습의 큰 걸림돌이 되고 있다. 본 연구에서는 기울기 소실이 발생하는 원인 중 비선형활성함수에 의해 발생할 수 있는 기울기 소실 문제를 완화하기 위해 파라메트릭 활성함수를 제안한다. 제안된 파라메트릭 활성함수는 입력 데이터의 특성에 따라 활성함수의 크기 및 위치를 변환시킬 수 있는 파라미터를 적용하여 얻을 수 있으며 역전파과정을 통해 활성함수의 미분 크기에 제한이 없는 손실함수를 최소화되도록 학습시킬 수 있다. 은닉층 수가 10개인 XOR문제와 은닉층 수가 8개인 MNIST 분류문제를 통하여 기존 비선형활성함수와 파라메트릭활성함수의 성능을 비교하였고 제안한 파라메트릭 활성함수가 기울기 소실 완화에 우월한 성능을 가짐을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제21권3호
• /
• pp.616-625
• /
• 2021

심층신경망은 임의의 함수를 근사화하는 방법으로 선형모델로 근사화한 후에 비선형 활성함수를 이용하여 추가적 근사화를 반복하는 근사화 방법이다. 이 과정에서 근사화의 성능 평가 방법은 손실함수를 이용한다. 기존 심층학습방법에서는 선형근사화 과정에서 손실함수를 고려한 근사화를 실행하고 있지만 활성함수를 사용하는 비선형 근사화 단계에서는 손실함수의 감소와 관계가 없는 비선형변환을 사용하고 있다. 본 연구에서는 기존의 활성함수에 활성함수의 크기를 변화시킬 수 있는 크기 파라메터와 활성함수의 위치를 변화시킬 수 있는 위치 파라미터를 도입한 파라메트릭 활성함수를 제안한다. 파라메트릭 활성함수를 도입함으로써 활성함수를 이용한 비선형 근사화의 성능을 개선시킬 수 있다. 각 은닉층에서 크기와 위치 파라미터들은 역전파 과정에서 파라미터들에 대한 손실함수의 1차 미분계수를 이용한 학습과정을 통해 손실함수 값을 최소화시키는 파라미터를 결정함으로써 심층신경망의 성능을 향상시킬 수 있다. MNIST 분류 문제와 XOR 문제를 통하여 파라메트릭 활성함수가 기존의 활성함수에 비해 우월한 성능을 가짐을 확인하였다.

• 대한조선학회논문집
• /
• 제45권6호
• /
• pp.590-600
• /
• 2008

This paper concerns the development of a designer friendly hull form parameterization and its coupling with advanced global optimization algorithms. As optimization algorithms, we choose the Partial Swarm Optimization(PSO) recently introduced to solve global optimization problems. Most general-purpose optimization softwares used in industrial applications use gradient-based algorithms, mainly due to their convergence properties and computational efficiency when a relatively few number of variables are considered. However, local optimizers have difficulties with local minima and non-connected feasible regions. Because of the increase of computer power and of the development of efficient Global Optimization (GO) methods, in recent years nongradient-based algorithms have attracted much attention. Furthermore, GO methods provide several advantages over local approaches. In the paper, the derivative-based SQP and the GO approach PSO are compared with their relative performances in solving some typical ship design optimization problem focusing on their effectiveness and efficiency.

• 대한조선학회논문집
• /
• 제44권5호
• /
• pp.542-550
• /
• 2007

A geometry modification is one of main keys in achieving a successful optimization. The optimized hull form generated from the geometry modification should be a realistic, faired form from the ship manufacturing point of view. This paper presents a practical hull optimization procedure using a parametric modification function. In the parametric modification function method, the initial ship geometry was easily deformed according to the variations of design parameters. For example, bulbous bow can be modified with several parameters such as bulb area, bulb length, bulb height etc. Design parameters are considered as design variables to modify hull form, which can reduce the number of design variables in optimization process and hence reduce its time cost. To verify the use of the parametric modification function, optimization for KCS was performed at its design speed (FN=0.26) and the wave making resistance is calculated using a well proven potential code with fully nonlinear free surface conditions. The design variables used are key design parameters such as Cp curve, section shape and bulb shape. This study shows that the hull form optimized by the parametric modification function brings 7.6% reduction in wave making resistance. In addition, for verification and comparison purpose, a direct geometry variation method using a bell-shape modification function is used. It is shown that the optimal hull form generated by the bell-shaped modification function is very similar to that produced by the parametric modification function. However, the total running time of the parametric optimization is six times shorter than that of the bell shape modification method, showing the effectiveness and practicalness from a designer point of view in ship yards.

• 대한조선학회논문집
• /
• 제59권2호
• /
• pp.96-108
• /
• 2022

In this paper, we propose a systematic hull form variation technique which automatically satisfies the displacement constraint and guarantees a high level of fairness. This method is possible through multiple parameter correction curves. The present method is to improve the hull form variation method based on parametric modification function and consists of two sub-categories: SAC variation and section lines modification. For SAC variation, the utilization of two B-Spline curves satisfying GC¹ condition led to the satisfaction of displacement constraint and high level of fairness at the same time. Section lines modification methods involves in using two fuctions: the first is the waterplane modification function combining two cubic splines. the other function is the sectional area modification function consisting of 2nd order polynomial over the DLWL(Design Load Waterline) and 3rd order polynomial below the DLWL, This function enables not only the fundamental U-V section shape variation but also systematically modified section lines. The present method is expected to be more useful in the hull form optimization process using CFD compared to the existing method.