• International Journal of Computer Science & Network Security
• /
• 제23권10호
• /
• pp.115-128
• /
• 2023

Deep learning has been incorporating various optimization techniques motivated by new pragmatic optimizing algorithm advancements and their usage has a central role in Machine learning. In recent past, new avatars of various optimizers are being put into practice and their suitability and applicability has been reported on various domains. The resurgence of novelty starts from Stochastic Gradient Descent to convex and non-convex and derivative-free approaches. In the contemporary of these horizons of optimizers, choosing a best-fit or appropriate optimizer is an important consideration in deep learning theme as these working-horse engines determines the final performance predicted by the model. Moreover with increasing number of deep layers tantamount higher complexity with hyper-parameter tuning and consequently need to delve for a befitting optimizer. We empirically examine most popular and widely used optimizers on various data sets and networks-like MNIST and GAN plus others. The pragmatic comparison focuses on their similarities, differences and possibilities of their suitability for a given application. Additionally, the recent optimizer variants are highlighted with their subtlety. The article emphasizes on their critical role and pinpoints buttress options while choosing among them.

• 한국인터넷방송통신학회논문지
• /
• 제20권1호
• /
• pp.155-161
• /
• 2020

일반적으로 최적화문제는 간단하게 해결하기 어렵다. 그 이유는 주어진 문제가 단순하면 바로 해결되지만, 복잡할수록 그 경우의 수는 방대하기 때문이다. 본 연구는 인공신경망 최적화에 대한 연구이다. 여기에서 우리가 다루고 있는 것은, 인공신경망을 구축하기 위한 완화법으로써, 최적화하는 방법이다. 주요 논제로는, 신경망 네트워크 전체의 안정성과 불안정성, 경비 절감, 에너지 절감과 같은 비결정적인 문제를 다루고 있다. 이를 위하여, 우리는 연상기억 모델 즉, 국소적 최소인 기억정보가 가짜인 정보를 선택하지 않는 방법을 제시한다. 그리고, 시물레이티드 어닐링법으로써, 이것은 가급적 낮은값을 가지고 있는 그 방향을 예측하고 그 이전의 낮은값과 결합해 나가서 더 낮은값으로 반복 수정해 나가는 방법이다. 그리고, 비선형 계획문제는, 방대한 조합상태의 수를 목적함수 합의 최소화를 위하여 적절한 최소하강법을 적용하여 입출력을 확인하여 수정해 나가는 방법이다. 결국 본 연구는 최적화문제를 해결하기 위한 이론적인 접근 방법으로써 완화법으로서의 접근가능한 유용한 방법을 제시하였다. 따라서, 본연구는 새롭게 인공신경망을 구축할 때, 효율적으로 적용 할 수 있는 좋은 제안이 될 것으로 생각한다.

• 제어로봇시스템학회논문지
• /
• 제16권12호
• /
• pp.1150-1158
• /
• 2010

In this study, the Polynomial-based Radial Basis Function Neural Networks is proposed as one of the recognition part of overall face recognition system that consists of two parts such as the preprocessing part and recognition part. The design methodology and procedure of the proposed pRBFNNs are presented to obtain the solution to high-dimensional pattern recognition problem. First, in preprocessing part, we use a CCD camera to obtain a picture frame in real-time. By using histogram equalization method, we can partially enhance the distorted image influenced by natural as well as artificial illumination. We use an AdaBoost algorithm proposed by Viola and Jones, which is exploited for the detection of facial image area between face and non-facial image area. As the feature extraction algorithm, PCA method is used. In this study, the PCA method, which is a feature extraction algorithm, is used to carry out the dimension reduction of facial image area formed by high-dimensional information. Secondly, we use pRBFNNs to identify the ID by recognizing unique pattern of each person. The proposed pRBFNNs architecture consists of three functional modules such as the condition part, the conclusion part, and the inference part as fuzzy rules formed in 'If-then' format. In the condition part of fuzzy rules, input space is partitioned with Fuzzy C-Means clustering. In the conclusion part of rules, the connection weight of pRBFNNs is represented as three kinds of polynomials such as constant, linear, and quadratic. Coefficients of connection weight identified with back-propagation using gradient descent method. The output of pRBFNNs model is obtained by fuzzy inference method in the inference part of fuzzy rules. The essential design parameters (including learning rate, momentum coefficient and fuzzification coefficient) of the networks are optimized by means of the Particle Swarm Optimization. The proposed pRBFNNs are applied to real-time face recognition system and then demonstrated from the viewpoint of output performance and recognition rate.

• 대한방사선치료학회지
• /
• 제19권2호
• /
• pp.113-122
• /
• 2007

목 적: 토모테라피 치료 계획 시 여러 가지 다양한 빔 조절 인자들의 수정으로 얻어진 각각의 치료 계획 결과를 특정한 선량체적 히스토그램 표지자(DVH-Index)를 이용하여 치료 전에 비교 함으로써 최적의 치료 계획을 효율적으로 도출할 수 있는 방안을 제시하고자 하는데 목적이 있다. 대상 및 방법: 토모테라피 적응증례를 가진 3명의 환자(두경부, 복부, 골반부)를 대상으로 치료 전 PQ 5000 (CT simulator, Philips)을 이용하여 전산화 단층 촬영영상을 얻었고, pinnacle ver 7.6c (3D RTP, ADAC)에서 종양 조직과 정상조직의 윤곽선을 묘사하여 토모 치료계획 장비(hi-art system ver 2.0)로 전송한 후 빔 조사야, 피치 혹은 중요도를 각기 다르게 설정하고 치료 계획을 실시하였다. 각각의 치료 계획은 종양 부위와 정상 부위의 선량 통계량(최대선량, 최소선량, 평균선량, 선량체적)을 구하여 치료 적절성을 비교하였고 또한 선량 체적 히스토그램을 이용하여 종양 표적 내의 균일성 지수(homogeneity index, HI), 종양 표적에 대한 선량 조형 지수(conformity index, CI), 정상 조직에서의 선량 감소 지수(dose gradient index, DGI)를 이용하여 치료 계획을 비교한 후 두 가지 비교 결과의 유사성을 확인 하였다. 결 과: 3명의 환자를 대상으로 각각 시행한 3가지 치료 계획을 등 선량 분포와 선량 통계량을 통해 비교한 결과와 선량 체적 히스토그램 표지자를 이용한 치료 계획의 비교 결과 두부, 복부와 골반부에 치료 부위를 가진 환자에 있어서 모두 동일한 치료계획을 우월하게 판정하였다. 결 론: 토모테라피의 치료 계획 비교 시 선량 체적 히스토그램의 표지자를 이용한 방법은 특정한 치료 목표에 따라 다소간의 차이를 나타낼 순 있으나 종양 조직에 대한 선량분포의 적절성과 전체적인 정상조직의 고 선량 위험도를 반영함으로써 다수의 치료계획을 단시간에 상호 비교 검증 할 수 있는 적절한 방법으로 사료 된다.

• Investigative Magnetic Resonance Imaging
• /
• 제22권1호
• /
• pp.1-9
• /
• 2018

Purpose: This study was designed to optimize the flip angle (FA) and scan timing of the hepatobiliary phase (HBP) using the 3D T1-weighted, gradient-echo (GRE) imaging with controlled aliasing in parallel imaging results in higher acceleration (CAIPIRINHA) technique on gadoxetic acid-enhanced 3T liver MR imaging. Materials and Methods: Sixty-two patients who underwent gadoxetic acid-enhanced 3T liver MR imaging were included in this study. Four 3D T1-weighted GRE imaging studies using the CAIPIRINHA technique and FAs of $9^{\circ}$ and $13^{\circ}$ were acquired during HBP at 15 and 20 min after intravenous injection of gadoxetic acid. Two abdominal radiologists, who were blinded to the FA and the timing of image acquisition, assessed the sharpness of liver edge, hepatic vessel clarity, lesion conspicuity, artifact severity, and overall image quality using a five-point scale. Quantitative analysis was performed by another radiologist to estimate the relative liver enhancement (RLE) and the signal-to-noise ratio (SNR). Statistical analyses were performed using the Wilcoxon signed rank test and one-way analysis of variance. Results: The scores of the HBP with an FA of $13^{\circ}$ during the same delayed time were significantly higher than those of the HBP with an FA of $9^{\circ}$ in all the assessment items (P < 0.01). In terms of the delay time, images at the same FA obtained with a 20-min-HBP showed better quality than those obtained with a 15-min-HBP. There was no significant difference in qualitative scores between the 20-min-HBP and the 15-min-HBP images in the non-liver cirrhosis (LC) group except for the hepatic vessel clarity score with $9^{\circ}$ FA. In the quantitative analysis, a statistically significant difference was found in the degree of RLE in the four HBP images (P = 0.012). However, in the subgroup analysis, no significant difference in RLE was found in the four HBP images in either the LC or the non-LC groups. The SNR did not differ significantly in the four HBP images. In the subgroup analysis, 20-min-HBP imaging with a $13^{\circ}$ FA showed the highest SNR value in the LC-group, whereas 15-min-HBP imaging with a $13^{\circ}$ FA showed the best value of SNR in the non-LC group. Conclusion: The use of a moderately high FA improves the image quality and lesion conspicuity on 3D, T1-weighted GRE imaging using the CAIPIRINHA technique on gadoxetic acid, 3T liver MR imaging. In patients with normal liver function, the 15-min-HBP with a $13^{\circ}$ FA represents a feasible option without a significant decrease in image quality.

• 한국식품과학회지
• /
• 제33권1호
• /
• pp.33-39
• /
• 2001

이온쌍고속액체크로마토그래피를 이용하여 현재 우리나라에서 식품에 사용이 허용된 타르색소 8종과 일본등 외국에서는 허용되어 있으나 우리나라에서 허용되어 있지 않은 11종 등 총 19종의 동시 및 계통분석법을 확립하였다. HPLC에 사용한 컬럼은 Symmetry $C_18$, 이동상은 0.01 M TBA-Br이 함유된 0.025 M 초산암모늄용액-아세토니트릴-메탄올(65 : 25 : 10)과 0.01 M TBA-Br이 함유된 0.025 M 초산암모늄용액-아세토니트릴-메탄올(40 : 50 : 10)를 구배용매조성법(gradient mode)으로 사용하였다. 자외선 검출기의 파장은 동시분석의 경우 254 nm, 계통분석은 황색계통 420 nm, 적색계통 520 nm 그리고 청색 및 녹색계통은 620 nm로 설정하였다. 이때 색소들의 검출한계는 적색계통이 $0.05\;{\mu}g/g$, 황색계통은 $0.03\;{\mu}g/g$, 청색 및 녹색계통은 $0.01\;{\mu}g/g$이었다. Sep-pak $C_18$을 이용한 색소의 정제 방법은 혼합색소표준용액의 pH를 $5{\sim}6$으로 조정하고 0.1% TBA-Br을 가하여 색소를 보유시킨 다음 0.1% 염산-메탄올로 색소를 용출하여 HPLC로 분석하였다. 19종의 타르색소를 동시분석하는데 35분이, 계통분석시에는 18분 정도가 소요되었고 두 경우 모두 양호한 분리를 보였다.