• Title/Summary/Keyword: Memory and Learning Training

검색결과 173건 처리시간 0.022초

운반차-막대 시스템의 대칭성과 Table Look-Up 제어 기법 (The Symmetry of Cart-Pole System and A Table Look-Up Control Technique)

  • 권성규
    • 한국지능시스템학회논문지
    • /
    • 제14권3호
    • /
    • pp.290-297
    • /
    • 2004
  • 운반차-막대 시스템을 위한 제어 법칙들의 계략을 관찰하여, 운반차-막대 시스템의 상태 벡터와 제어 법칙의 출력 사이에 우함수적인 대칭성이 내재하는 것을 규명하였다. 제어 법칙을 look-up table에 구현하는데 있어서 상태 변수들의 양자화와 제어 법칙의 학습에 대칭성을 반영하는 문제를 토의하고, CMAC이 대칭성을 반영하여 운반차-막대 시스템의 비선형 제어 법칙을 학습한 결과를 관찰하였다. 대칭성을 반영함으로써 look-up table에 제어 법칙이 구현되는 학습 기간이 단축되고 소요되는 메모리 량을 크게 줄일 수 있으면서도, 시스템의 상태와 제어 법칙 사이의 대칭성이 보존되는 학습 성능의 개선을 확인하였다.

정보이득 분할을 이용한 분류기법의 지배적 초월평면 생성기법 (A dominant hyperrectangle generation technique of classification using IG partitioning)

  • 이형일
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권1호
    • /
    • pp.149-156
    • /
    • 2014
  • 중첩형 일반화 사례 (NGE, Nested Generalized Exemplar) 기법은 거리 기반 분류를 최적 일치 규칙으로 사용하며, 노이즈에 대한 내구력을 증가시켜 주는 동시에 모델 크기를 감소시키는 장점이 있다. NGE 학습 중 생성된 교차(cross)나 중첩(overlap) 현상은 분류성능을 저해하는 요인으로 작용한다. 따라서 본 논문은 NGE 학습 중 생성된 교차나 중첩 현상이 발생한 초월 평면에대해 상호정보가 가장 큰 구간을 분리하여, 새로운 초월평면을 구성하게 하여, 분류성능 향상시키고 초월평면의 개수를 감소시키는 기법인 DHGen(Dominant Hyperrectangle Generation) 알고리즘을 제안하였다. 제안한 DHGen은 분류성능면에서 kNN과 유사하고 NGE이론으로 구현한 EACH보다 우수함을 UCI Machine Learning Repository에서 벤치마크데이터를 발췌한 실험자료로 입증하였다.

LVQ를 이용한 퍼지 규칙 생성 (Fuzzy Rules Generation Using the LVQ)

  • 이남일;장광규;임한규
    • 한국정보처리학회논문지
    • /
    • 제6권4호
    • /
    • pp.988-998
    • /
    • 1999
  • 본 논문에서는 LVQ(Learning vector Quantization)을 이용하여 퍼지 규칙의 수를 줄이는 방안을 제안하였다. 훈련 패턴이 많이지면 퍼지 규칙 수가 증가하게 되어 많은 기억용량과 많은 분류시간이 요구된다. 따라서 이러한 문제를 해결하기 위해서는 퍼지규칙의 수를 줄일 수 있는 방법이 강구되어야 한다. 그러나, 퍼지 규칙의 수가 줄어듦으로써 발생하는 성능의 하락을 최소화하기 위하여 양질의 초기 참조 패턴으로 훈련 한 후에, 퍼지 규칙을 생성한다. 시뮬레이션을 통해서 제안된 방법이 매우 효과적임을 알 수 있었다.

  • PDF

Malware Detection Using Deep Recurrent Neural Networks with no Random Initialization

  • Amir Namavar Jahromi;Sattar Hashemi
    • International Journal of Computer Science & Network Security
    • /
    • 제23권8호
    • /
    • pp.177-189
    • /
    • 2023
  • Malware detection is an increasingly important operational focus in cyber security, particularly given the fast pace of such threats (e.g., new malware variants introduced every day). There has been great interest in exploring the use of machine learning techniques in automating and enhancing the effectiveness of malware detection and analysis. In this paper, we present a deep recurrent neural network solution as a stacked Long Short-Term Memory (LSTM) with a pre-training as a regularization method to avoid random network initialization. In our proposal, we use global and short dependencies of the inputs. With pre-training, we avoid random initialization and are able to improve the accuracy and robustness of malware threat hunting. The proposed method speeds up the convergence (in comparison to stacked LSTM) by reducing the length of malware OpCode or bytecode sequences. Hence, the complexity of our final method is reduced. This leads to better accuracy, higher Mattews Correlation Coefficients (MCC), and Area Under the Curve (AUC) in comparison to a standard LSTM with similar detection time. Our proposed method can be applied in real-time malware threat hunting, particularly for safety critical systems such as eHealth or Internet of Military of Things where poor convergence of the model could lead to catastrophic consequences. We evaluate the effectiveness of our proposed method on Windows, Ransomware, Internet of Things (IoT), and Android malware datasets using both static and dynamic analysis. For the IoT malware detection, we also present a comparative summary of the performance on an IoT-specific dataset of our proposed method and the standard stacked LSTM method. More specifically, of our proposed method achieves an accuracy of 99.1% in detecting IoT malware samples, with AUC of 0.985, and MCC of 0.95; thus, outperforming standard LSTM based methods in these key metrics.

MAGICal Synthesis: 반도체 패키지 이미지 생성을 위한 메모리 효율적 접근법 (MAGICal Synthesis: Memory-Efficient Approach for Generative Semiconductor Package Image Construction)

  • 창윤빈;최원용;한기준
    • 마이크로전자및패키징학회지
    • /
    • 제30권4호
    • /
    • pp.69-78
    • /
    • 2023
  • 산업 인공지능의 발달과 함께 반도체의 수요가 크게 증가하고 있다. 시장 수요에 대응하기 위해 패키징 공정에서 자동 결함 검출의 중요성 역시 증가하고 있다. 이에 따라, 패키지의 자동 불량 검사를 위한 딥러닝 기반의 방법론들의 연구가 활발히 이루어 지고 있다. 딥러닝 기반의 모델은 학습을 위해서 대량의 고해상도 데이터를 필요로 하나, 보안이 중요한 반도체 분야의 특성상 관련 데이터의 공유 및 레이블링이 쉽지 않아 모델의 학습이 어려운 한계를 지니고 있다. 또한 고해상도 이미지를 생성하기 위해 상당한 컴퓨팅 자원이 요구되는데, 본 연구에서는 분할정복 접근법을 통해 적은 컴퓨팅 자원으로 딥러닝 모델 학습을 위한 충분한 양의 데이터를 확보하는 방법을 소개한다. 제안된 방법은 높은 해상도의 이미지를 분할하고 각 영역에 조건 레이블을 부여한 후, 독립적인 부분 영역과 경계를 학습시켜, 경계 손실이 일관적인 이미지를 생성하도록 유도한다. 이후, 분할된 이미지를 하나로 통합하여, 최종적으로 모델이 고해상도의 이미지를 생성하도록 구성하였다. 실험 결과, 본 연구를 통해 증강된 이미지들은 높은 효율성, 일관성, 품질 및 범용성을 보였다.

Effect of Black Ginseng on Memory Improvement in the Amnesic Mice Induced by Scopolamine

  • Lee, Mi-Ra;Yun, Beom-Sik;Liu, Lei;Zhang, Dong-Liang;Wang, Zhen;Wang, Chun-Ling;Gu, Li-Juan;Wang, Chun-Yan;Mo, Eun-Kyung;Sung, Chang-Keun
    • Journal of Ginseng Research
    • /
    • 제34권1호
    • /
    • pp.51-58
    • /
    • 2010
  • This study compared the effects of black, white, and red ginseng extracts (WGE, RGE, BGE, 200 mg/kg, p.o.) on learning and memory deficits associated with scopolamine treatment (SCOP, 2 mg/kg, i.p.). Tacrine (THA, 10 mg/kg, p.o.) was used as a positive control. Ginseng significantly reversed SCOP-induced memory impairment in the passiveavoidance test and also reduced escape latency in training trials of the Morris water maze test. The increased acetylcholinesterase (AChE) activity produced by SCOP was significantly inhibited by WGE and RGE (p<0.001). SCOP administration had no effect on choline acetyltransferase (ChAT) activity, but RGE and BGE significantly increased ChAT activity (p<0.05). SCOP administration increased oxidative damage in the brain. Treatment of amnesic mice with ginseng extracts decreased malondialdehyde (MDA) levels and restored superoxide dismutase (SOD) and catalase (CAT) activity to control levels. These results suggest that black ginseng enhances cognitive activity by regulation of cholinergic enzymes and antioxidant systems.

합성곱 신경망과 장단기 메모리를 이용한 사격음 분석 기법 (Shooting sound analysis using convolutional neural networks and long short-term memory)

  • 강세혁;조지웅
    • 한국음향학회지
    • /
    • 제41권3호
    • /
    • pp.312-318
    • /
    • 2022
  • 본 논문은 딥러닝기법 중 하나인 합성곱 신경망과 순환 신경망 중 하나인 장단기 메모리를 이용하여 사격시 발생하는 소음(이하 사격음)만으로 화기의 종류, 사격음 발생지점에 관한 정보(거리와 방향)을 추정하는 모델을 다루었다. 이를 위해 미국 법무부 산하 연구소의 지원하에 생성된 Gunshot Audio Forensic Dataset을 이용하였으며, 음향신호를 멜 스펙트로그램(Mel-Spectrogram)으로 변환한 후, 4종의 합성곱 신경망과 1종의 장단기 메모리 레이어로 구성된 딥러닝 모델에 학습 및 검증 데이터로 제공하였다. 제안 모델의 성능을 확인하기 위해 합성곱 신경망으로만 구성된 대조 모델과 비교·분석하였으며, 제안 모델의 정확도가 90 % 이상으로 대조모델보다 우수한 성능을 보였다.

LSTM Networks 딥러닝 기법과 SWAT을 이용한 유량지속곡선 도출 및 평가 (A study on the derivation and evaluation of flow duration curve (FDC) using deep learning with a long short-term memory (LSTM) networks and soil water assessment tool (SWAT))

  • 최정렬;안성욱;최진영;김병식
    • 한국수자원학회논문집
    • /
    • 제54권spc1호
    • /
    • pp.1107-1118
    • /
    • 2021
  • 지구온난화로 인해 발생한 기후변화는 한반도의 홍수, 가뭄 등의 발생빈도를 증가시켰으며, 이로 인해 인적, 물적 피해가 증가한 것으로 나타났다. 수재해 대비 및 대응을 위해서는 국가 차원의 수자원 관리 계획 수립이 필요하며, 유역 단위 수자원 관리를 위해서는 장기간 관측된 유량 자료를 이용하여 도출된 유량지속곡선이 필요하다. 전통적으로 수자원 분야에서 유량지속곡선을 도출하기 위하여 물리적 기반의 강우-유출 모형이 많이 사용되고 있으며, 최근에는 데이터 기반의 딥러닝 기법을 이용한 유출량 예측 기법에 관한 연구가 진행된 바 있다. 물리적 기반의 모형은 수문학적으로 신뢰도 높은 결과를 도출할 수 있으나, 사용자의 높은 이해도가 요구되며, 모형 구동 시간이 오래 걸릴 수 있는 단점이 있다. 데이터 기반의 딥러닝 기법의 경우 입력 자료가 간단하며, 모형 구동 시간이 비교적 짧으나 입력 및 출력자료 간의 관계가 블랙박스로 처리되어 수리·수문학적 특성을 반영할 수 없는 단점이 있다. 본 연구에서는 물리적 기반 모형으로 국내외에서 적용성이 검증된 Soil Water Assessment Tool (SWAT)의 매개변수 보정(Calibration)을 통해 장기간의 결측치 없는 데이터를 산출하고, 이를 데이터 기반 딥러닝 기법인 Long Short-term Memory (LSTM)의 훈련(Training) 데이터로 활용하였다. 시계열 데이터 분석 결과 검·보정 전체 기간('07-'18) 동안 Nash-Sutcliffe Efficiency (NSE)와 적합도 비교를 위한 결정계수는 각각 0.04, 0.03 높게 도출되어 모형에서 도출된 SWAT의 결과가 LSTM보다 전반적으로 우수한 것으로 나타났다. 또한, 모형에서 도출된 연도별 시계열 자료를 내림차순하여 산정된 유량지속곡선과 관측유량 기반의 유량지속곡선과 비교한 결과 NSE는 SWAT과 LSTM 각각 0.95, 0.91로 나타났으며, 결정계수는 0.96, 0.92로 두 모형 모두 우수한 성능을 보였다. LSTM 모형의 경우 저유량 부분 모의의 정확도 개선이 필요하나, 방대한 입력 자료로 인해 모형 구축 및 구동 시간이 오래 걸리는 대유역과 입력 자료가 부족한 미계측 유역의 유량지속곡선 산정 등에 활용성이 높을 것으로 판단된다.

Anti-Amnesic Effect of Fermented Ganoderma lucidum Water Extracts by Lactic Acid Bacteria on Scopolamine-Induced Memory Impairment in Rats

  • Choi, Yu Jin;Yang, Hee Sun;Jo, Jun Hee;Lee, Sang Cheon;Park, Tae Young;Choi, Bong Suk;Seo, Kyoung Sun;Huh, Chang Ki
    • Preventive Nutrition and Food Science
    • /
    • 제20권2호
    • /
    • pp.126-132
    • /
    • 2015
  • This study investigated the anti-amnesic effect of fermented Ganoderma lucidum water extracts (GW) on scopolamine- induced memory impairment in rats. GW were fermented by the lactic acid bacterium Bifidobacterium bifidum (FGWB), followed by Lactobacillus sakei LI033 (FGWBL). To induce amnesia, scopolamine (1 mg/kg) was intraperitoneally injected into rats 30 min before the behavioral tests. Step-through latencies of rats treated with primary fermented extracts (300 mg/kg, FGWB) and secondary fermented extracts (300 mg/kg, FGWBL) were significantly longer than those of rats treated with GW (300 mg/kg) in the retention trial of the multiple trial passive avoidance test. In the Morris water maze task, FGWBL significantly shortened escape latencies in training trials. Furthermore, swimming times within the target zone during the probe trial with FGWBL were significantly higher than the GW and FGWB treatments. In addition, acetylcholinesterase activities were lower in the brains of scopolamine-treated rats treated with FGWBL. These results suggest that FGWBL could be useful to enhance learning memory and cognitive function via cholinergic dysfunction.

A Systems Engineering Approach for Predicting NPP Response under Steam Generator Tube Rupture Conditions using Machine Learning

  • Tran Canh Hai, Nguyen;Aya, Diab
    • 시스템엔지니어링학술지
    • /
    • 제18권2호
    • /
    • pp.94-107
    • /
    • 2022
  • Accidents prevention and mitigation is the highest priority of nuclear power plant (NPP) operation, particularly in the aftermath of the Fukushima Daiichi accident, which has reignited public anxieties and skepticism regarding nuclear energy usage. To deal with accident scenarios more effectively, operators must have ample and precise information about key safety parameters as well as their future trajectories. This work investigates the potential of machine learning in forecasting NPP response in real-time to provide an additional validation method and help reduce human error, especially in accident situations where operators are under a lot of stress. First, a base-case SGTR simulation is carried out by the best-estimate code RELAP5/MOD3.4 to confirm the validity of the model against results reported in the APR1400 Design Control Document (DCD). Then, uncertainty quantification is performed by coupling RELAP5/MOD3.4 and the statistical tool DAKOTA to generate a large enough dataset for the construction and training of neural-based machine learning (ML) models, namely LSTM, GRU, and hybrid CNN-LSTM. Finally, the accuracy and reliability of these models in forecasting system response are tested by their performance on fresh data. To facilitate and oversee the process of developing the ML models, a Systems Engineering (SE) methodology is used to ensure that the work is consistently in line with the originating mission statement and that the findings obtained at each subsequent phase are valid.