• 제목/요약/키워드: Model pruning

검색결과 89건 처리시간 0.026초

적응적 정규화, 프루닝 및 BIC를 이용한 신경망 최적화 방법 (An Optimization Method of Neural Networks using Adaptive Regulraization, Pruning, and BIC)

  • 이현진;박혜영
    • 한국멀티미디어학회논문지
    • /
    • 제6권1호
    • /
    • pp.136-147
    • /
    • 2003
  • 주어진 문제에 대하여 최적의 성능을 가지는 신경회로망을 얻기 위해서는 학습을 통한 매개변수의 최적화 (parameter optimization)와 모델 선택을 통한 구조 최적화(structure optimization )의 통합적인 과정이 필요하다. 본 논문에서는, 각 세부 방법들의 특성을 고려하여, 공통의 특성을 갖는 방법들을 결합함으로써 효율적이면서도 일반화 성능을 높이는 총체적인 신경회로망 최적화 방법을 제안한다. 먼저 다양한 오차 함수를 사용할 수 있는 자연 기울기 강하 학습에 적응적 정규화 방법을 도입함으로써 가중치 매개변수(weight parameter)들을 최적화한다. 그리고 이렇게 최적화된 매개변수(parameter)들에 자연 프루닝(natural pruning)을 적용하여 불필요한 요소들을 제저하여 최적화 된 구조를 생성한다. 반복적인 과정에 의하여 후보 모델들을 구성하고 베이시안 정보 기준(Bayesian Information Criterion: BIC )을 이 용하여 최적의 모델을 평가하여 선택하는 방법을 제안하였다. 벤치마크 데이터에 대한 실험을 통하여 제안하는 방법의 구조 최적화 능력과 일반화 성능의 우수성을 보였다.

  • PDF

신경정신질환의 컴퓨터모델 개발에 관한 연구 (A Study on Developing Computer Models of Neuropsychiatric Diseases)

  • 고인송;박정욱
    • 생물정신의학
    • /
    • 제6권1호
    • /
    • pp.12-20
    • /
    • 1999
  • 뇌공학 분야에서 개발된 연상기억의 능력을 가지는 Hopfield 신경망을 구성하고, 신경정신질환 중에서 시냅스의 손실과 관련이 되어서 생기는 치매와 일부 정신분열증의 모델로 변형시키기 위하여 인공신경망의 시냅스를 Hoffman의 시냅스 제거법칙과 무작위 방법에 따라 제거하면서, 그에 따른 기억능력의 변화를 관찰하였다. 구성된 컴퓨터모델에서 기억능력의 저하는 시냅스의 감소가 상당히 진행되어야 나타났으며, Hoffman의 시냅스 제거법칙에 따랐을 때는 80% 제거를 기점으로 급격하게 나타났으며, 무작위 제거시는 더 적은 시냅스 제거율인 40% 제거 때부터 점진적으로 나타나는 양상을 보였다. 컴퓨터 모델의 기억력저하 양상이 실제환자에서 관찰되는 기억력저하 양상을 설명할 수 있기 위해서는 증상이 발현되는 시점의 시냅스 소실의 정도는 얼마나 되는지, 또한 시냅스의 소실은 어떤 규칙에 의해 일어나는지 아니면 무작위로 일어나는지에 관한 생물학적 실험의 필요성이 부각되었다. 이와 같이 컴퓨터모델을 이용하여 모의실험을 하고 연구의 방향을 잡은 후에 생물학적 실험으로 검증해 나간다면, 매우 효율적인 이론과 실험의 공조체제를 이루어 신경정신질환의 이해를 도울 수 있을 것이다.

  • PDF

한국형 컨테이너 조경수 생산기술로서 컨테이너 모듈의 성능 평가 (A Study for the Evaluation of Container Modules; The Technology of Korean Container Tree Production Model)

  • 정용조;임병을;오장근
    • 한국조경학회지
    • /
    • 제44권5호
    • /
    • pp.59-67
    • /
    • 2016
  • 공공기관의 조경공사 설계시에는 일반적으로 조달청에서 고시하는 조경수목 가격을 반영하나, 수목 식재시 조달청에서 정한 세근발달 재배품이라는 규정이 거의 준수되지 않고 있는 실정이다. 규정을 준수하면서 하자율을 줄일 수 있는 조경수 생산의 신기술, 신제품인 지중 매립형 컨테이너 모듈의 성능을 평가하기 위하여 단근 후 3개월간의 세근 발생밀도, 세근발달 길이 및 굴취시 세근 유지율, 수목의 생육 지장 여부에 대하여 일반노지 단근과 컨테이너 용기 지상재배와 비교 연구하였으며, 그 결과는 다음과 같다. 첫째, 세근 발생의 밀도는 컨테이너 모듈을 사용한 조경수에서는 88%로 매우 높게 나타났으며, 일반 노지 단근은 64%로 상대적으로 낮았고, 컨테이너 용기를 이용한 지상재배 조경수는 고사하여 측정의 의미가 없었다. 둘째, 조경수의 세근발달과 세근 유지율은 컨테이너 모듈의 경우, 평균 길이는 10.4cm, 세근 유지율은 100%로서 굴취에 의한 세근의 손상은 없었으며, 노지 단근의 경우 평균 길이는 25.6cm, 세근 유지율은 56%로 컨테이너 모듈의 절반 수준으로 훼손이 큰 것으로 나타났다. 컨테이너 용기 조경수의 세근발달은 전혀 이루어지지 않았다. 셋째, 컨테이너 모듈과 일반 노지 단근의 경우, 단근 작업에 따른 수목의 고사 또는 왜소엽 등의 지장이 전혀 없었다. 반면에 컨테이너 용기의 경우, 거의 전량이 고사하여 수목생육에 지장이 심각한 것으로 확인되었다. 이상에서, 지중매립형 컨테이너 모듈의 성능을 평가해 본 결과, 세 가지 모델 중 가장 우수한 것으로 확인되었으며, 컨테이너 모듈이 여름철 부적기 식재나 생육조건이 불리한 환경에서 수목의 빠른 초기 활착을 유도함으로써 하자를 예방하고, 조달청 규정 등에서 제시하고 있는 원칙을 준수할 수 있는 최적의 대안이 될 수 있을 것으로 기대한다.

DIAGNOSING CARDIOVASCULAR DISEASE FROM HRV DATA USING FP-BASED BAYESIAN CLASSIFIER

  • Lee, Heon-Gyu;Lee, Bum-Ju;Noh, Ki-Yong;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.868-871
    • /
    • 2006
  • Mortality of domestic people from cardiovascular disease ranked second, which followed that of from cancer last year. Therefore, it is very important and urgent to enhance the reliability of medical examination and treatment for cardiovascular disease. Heart Rate Variability (HRV) is the most commonly used noninvasive methods to evaluate autonomic regulation of heart rate and conditions of a human heart. In this paper, our aim is to extract a quantitative measure for HRV to enhance the reliability of medical examination for cardiovascular disease, and then develop a prediction method for extracting multi-parametric features by analyzing HRV from ECG. In this study, we propose a hybrid Bayesian classifier called FP-based Bayesian. The proposed classifier use frequent patterns for building Bayesian model. Since the volume of patterns produced can be large, we offer a rule cohesion measure that allows a strong push of pruning patterns in the pattern-generating process. We conduct an experiment for the FP-based Bayesian classifier, which utilizes multiple rules and pruning, and biased confidence (or cohesion measure) and dataset consisting of 670 participants distributed into two groups, namely normal and patients with coronary artery disease.

  • PDF

Multiple Path Based Vehicle Routing in Dynamic and Stochastic Transportation Networks

  • Park, Dong-joo
    • 대한교통학회:학술대회논문집
    • /
    • 대한교통학회 2000년도 제37회 학술발표회논문집
    • /
    • pp.25-47
    • /
    • 2000
  • In route guidance systems fastest-path routing has typically been adopted because of its simplicity. However, empirical studies on route choice behavior have shown that drivers use numerous criteria in choosing a route. The objective of this study is to develop computationally efficient algorithms for identifying a manageable subset of the nondominated (i.e. Pareto optimal) paths for real-time vehicle routing which reflect the drivers' preferences and route choice behaviors. We propose two pruning algorithms that reduce the search area based on a context-dependent linear utility function and thus reduce the computation time. The basic notion of the proposed approach is that ⅰ) enumerating all nondominated paths is computationally too expensive, ⅱ) obtaining a stable mathematical representation of the drivers' utility function is theoretically difficult and impractical, and ⅲ) obtaining optimal path given a nonlinear utility function is a NP-hard problem. Consequently, a heuristic two-stage strategy which identifies multiple routes and then select the near-optimal path may be effective and practical. As the first stage, we utilize the relaxation based pruning technique based on an entropy model to recognize and discard most of the nondominated paths that do not reflect the drivers' preference and/or the context-dependency of the preference. In addition, to make sure that paths identified are dissimilar in terms of links used, the number of shared links between routes is limited. We test the proposed algorithms in a large real-life traffic network and show that the algorithms reduce CPU time significantly compared with conventional multi-criteria shortest path algorithms while the attributes of the routes identified reflect drivers' preferences and generic route choice behaviors well.

  • PDF

MODIS 시계열 자료를 이용한 백두산 아고산대 식생 고사지역 탐지 (Detection of Vegetation Dieback Areas in the Subalpine Zone of Mt. Baekdu Using MODIS Time Series Data)

  • 김남신
    • 대한지리학회지
    • /
    • 제47권6호
    • /
    • pp.825-835
    • /
    • 2012
  • 본 연구의 목적은 백두산 아고산대에 분포하는 식생고사지역 탐지기법 개발과 지도화이다. 탐지기법은 모디스 영상을 이용한 규칙기반 모델을 개발하였다. 식생고사지역은 잎의 낙지(pruning) 단계에 따라 초기고사(initial dieback), 중간고사(middle dieback), 완전고사(end dieback)로 분류하였다. 2001~2006년 고사지역 면적은 $28km^2$로 확대되었으며, 초기고사는 $16km^2$, 중간고사는 $10km^2$, 완전고사는 $2km^2$로 분석되었다. 2006~20011년에는 고사지역 면적은 $35km^2$로 확대되었다. 2001~2011년 고사지역 총면적은 $35km^2$로, 중간고사지역과 완전고사지역이 확대된 것으로 분석되었다. 본 연구에 적용된 규칙기반 모델은 지구온난화에 따른 산간지대 식생고사지역 예비 탐색에 활용될 수 있을 것으로 기대된다.

  • PDF

구조적 압축을 통한 FPGA 기반 GRU 추론 가속기 설계 (Implementation of FPGA-based Accelerator for GRU Inference with Structured Compression)

  • 채병철
    • 한국정보통신학회논문지
    • /
    • 제26권6호
    • /
    • pp.850-858
    • /
    • 2022
  • 리소스가 제한된 임베디드 장치에 GRU를 배포하기 위해 이 논문은 구조적 압축을 가능하게 하는 재구성 가능한 FPGA 기반 GRU 가속기를 설계한다. 첫째, 조밀한 GRU 모델은 하이브리드 양자화 방식과 구조화된 top-k 프루닝에 의해 크기가 대폭 감소한다. 둘째, 본 연구에서 제시하는 재사용 컴퓨팅 패턴에 의해 외부 메모리 액세스에 대한 에너지 소비가 크게 감소한다. 마지막으로 가속기는 알고리즘-하드웨어 공동 설계 워크플로의 이점을 얻는 구조화된 희소 GRU 모델을 처리할 수 있다. 또한 모든 차원, 시퀀스 길이 및 레이어 수를 사용하여 GRU 모델에 대한 추론 작업을 유연하게 수행할 수 있다. Intel DE1-SoC FPGA 플랫폼에 구현된 제안된 가속기는 일괄 처리가 없는 구조화된 희소 GRU 네트워크에서 45.01 GOPs를 달성하였다. CPU 및 GPU의 구현과 비교할 때 저비용 FPGA 가속기는 대기 시간에서 각각 57배 및 30배, 에너지 효율성에서 300배 및 23.44배 향상을 달성한다. 따라서 제안된 가속기는 실시간 임베디드 애플리케이션에 대한 초기 연구로서 활용, 향후 더 발전될 수 있는 잠재력을 보여준다.

Neural Networks Based Modeling with Adaptive Selection of Hidden Layer's Node for Path Loss Model

  • Kang, Chang Ho;Cho, Seong Yun
    • Journal of Positioning, Navigation, and Timing
    • /
    • 제8권4호
    • /
    • pp.193-200
    • /
    • 2019
  • The auto-encoder network which is a good candidate to handle the modeling of the signal strength attenuation is designed for denoising and compensating the distortion of the received data. It provides a non-linear mapping function by iteratively learning the encoder and the decoder. The encoder is the non-linear mapping function, and the decoder demands accurate data reconstruction from the representation generated by the encoder. In addition, the adaptive network width which supports the automatic generation of new hidden nodes and pruning of inconsequential nodes is also implemented in the proposed algorithm for increasing the efficiency of the algorithm. Simulation results show that the proposed method can improve the neural network training surface to achieve the highest possible accuracy of the signal modeling compared with the conventional modeling method.

근접방어무기체계에 대한 함대함 유도탄의 최적회피기동 (Optimal Evasive Maneuver for Sea Skimming Missiles against Close-In Weapon System)

  • 황익호
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 하계학술대회 논문집 D
    • /
    • pp.2096-2098
    • /
    • 2002
  • In this paper, the optimal evasive maneuver strategies for typical subsonic ASM(anti-ship missile) to reach its target ship with high survivability against CIWS(close in weapon system) are studied. The optimal evasive maneuver input is defined by the homing command optimizing the cost function which takes aiming errors of CIWS into account. The optimization problem for the effective evasive maneuver is formulated based on a simple missile dynamics model and a CIWS model. By means of solving the problem, a multiple hypotheses testing method is proposed. Since this method requires generation of too many hypotheses, the hypothesis-pruning technique is adopted. The solution shows that the optimal evasive maneuver is a bang-bane shaped command whose frequency is varied by the aimpoint determination strategy in CIWS.

  • PDF

A study on data mining techniques for soil classification methods using cone penetration test results

  • Junghee Park;So-Hyun Cho;Jong-Sub Lee;Hyun-Ki Kim
    • Geomechanics and Engineering
    • /
    • 제35권1호
    • /
    • pp.67-80
    • /
    • 2023
  • Due to the nature of the conjunctive Cone Penetration Test(CPT), which does not verify the actual sample directly, geotechnical engineers commonly classify the underground geomaterials using CPT results with the classification diagrams proposed by various researchers. However, such classification diagrams may fail to reflect local geotechnical characteristics, potentially resulting in misclassification that does not align with the actual stratification in regions with strong local features. To address this, this paper presents an objective method for more accurate local CPT soil classification criteria, which utilizes C4.5 decision tree models trained with the CPT results from the clay-dominant southern coast of Korea and the sand-dominant region in South Carolina, USA. The results and analyses demonstrate that the C4.5 algorithm, in conjunction with oversampling, outlier removal, and pruning methods, can enhance and optimize the decision tree-based CPT soil classification model.