• International journal of advanced smart convergence
• /
• 제12권4호
• /
• pp.164-170
• /
• 2023

With the recent advances in AI (artificial intelligence) and HPC (high-performance computing) technologies, deep learning is proliferated in various domains of the 4th industrial revolution. As the workload volume of deep learning increasingly grows, analyzing the memory reference characteristics becomes important. In this article, we analyze the memory reference traces of deep learning workloads in comparison with traditional workloads specially focusing on read and write operations. Based on our analysis, we observe some unique characteristics of deep learning memory references that are quite different from traditional workloads. First, when comparing instruction and data references, instruction reference accounts for a little portion in deep learning workloads. Second, when comparing read and write, write reference accounts for a majority of memory references, which is also different from traditional workloads. Third, although write references are dominant, it exhibits low reference skewness compared to traditional workloads. Specifically, the skew factor of write references is small compared to traditional workloads. We expect that the analysis performed in this article will be helpful in efficiently designing memory management systems for deep learning workloads.

• 생물정신의학
• /
• 제23권3호
• /
• pp.102-107
• /
• 2016

This review will summarize EEG studies of learning and memory based on frequency bands including theta waves (4-7 Hz), gamma waves (> 30 Hz) and alpha waves (7-12 Hz). Authors searched and reviewed EEG papers especially focusing on learning and memory from PubMed. Theta waves are associated with acquisition of new information from stimuli. Gamma waves are connected with comparing and binding old information in preexisting memory and new information from stimuli. Alpha waves are linked with attention. Eventually it mediates the learning and memory process. Although EEG studies of learning and memory still have controversial issues, the future EEG studies will facilitate clinical benefits by virtue of more developed and encouraging prospects.

• 한국광학회:학술대회논문집
• /
• 한국광학회 1991년도 광학 및 양자전자학 워크샵
• /
• pp.33-39
• /
• 1991

We have developed a new holographic associative memory(HAN) based on an adaptive learning which uses learning pattern method (LPM). The LPM utilizes the simple optical implementation of outer-product learning, performance of adapitive learning. simulation are represented.

• Journal of Platform Technology
• /
• 제11권4호
• /
• pp.71-79
• /
• 2023

이 논문에서는 기계학습 워크로드의 특징을 분석하고 이를 기반으로 기계학습 워크로드의 성능 향상을 위한 분산 인-메모리 캐싱 기법을 제안한다. 기계학습 워크로드의 핵심은 모델 학습이며 모델 학습은 컴퓨팅 집약적 (Computation Intensive)인 작업이다. 쿠버네티스 기반 클라우드 환경에서 컴퓨팅 프레임워크와 스토리지를 분리한 구조에서 기계학습 워크로드를 수행하는 것은 자원을 효과적으로 할당할 수 있지만, 네트워크 통신을 통해 IO가 수행되야 하므로 지연이 발생할 수 있다. 이 논문에서는 이런 환경에서 수행되는 머신러닝 워크로드의 성능을 향상하기 위한 분산 인-메모리 캐싱 기법을 제안한다. 특히, 제안하는 방법은 쿠버네티스 기반의 머신러닝 파이프라인 관리 도구인 쿠브플로우를 고려하여 머신러닝 워크로드에 필요한 데이터를 분산 인-메모리 캐시에 미리 로드하는 새로운 방법을 제안한다.

• 문화기술의 융합
• /
• 제7권1호
• /
• pp.615-619
• /
• 2021

이 연구는 사물인터넷, 클라우드 컴퓨팅 그리고 에지 컴퓨팅 등 많은 임베디드 시스템에서 성능 및 에너지 효율을 높이고자 최적화하는 메모리 시스템에 초점을 맞추어 그 성능 개선 기법을 제안한다. 제안하는 기법은 최근 많이 이용되고 있는 머신 러닝 알고리즘을 기반으로 메모리 시스템 성능을 도모한다. 머신 러닝 기법은 학습을 통하여 다양한 응용에 사용될 수 있는데, 메모리 시스템 성능 개선에서 사용되는 데이터의 분류 태스크에 적용될 수 있다. 정확도 높은 머신 러닝 기법 기반 데이터 분류는 데이터의 사용 패턴에 따라 데이터를 적절하게 배치할 수 있게 하여 전체 시스템 성능 개선을 도모할 수 있게 한다.

• 반도체디스플레이기술학회지
• /
• 제21권3호
• /
• pp.1-6
• /
• 2022

Modern computer systems usually have special hardware for operations used in deep learning workload even edge computing environment. Non-volatile memories (NVMs) have been considered for alternative memory storage because they consume little static energy and occupy small area. However, there is a problem for NVMs to be directly adopted. An NVM cell has limited write endurance, so that the lifetime of NVM-based memory system is much shorter than that of conventional memory system. To overcome this problem for the deep learning system, this paper proposes a novel method to extend the lifetime based on the analysis of the deep learning workloads. If an incoming block has more than a predefined number of frequently used values, the cacheline is defined as write friendly block. During the victim selection, the cacheline has lower possibility to be chosen as victim. The experimental results show that the lifetime is increased by about 50% and energy consumption is decreased by 3% with a little performance hurt.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.189-192
• /
• 2021

항적추적 기술에 딥러닝 기반 LSTM(Long Short-Term Memory) 모델을 적용하는 연구로서 기존의 항적추적기술의 경우, 항공기의 등속, 등가속, 급기동, 선회(3D) 비행 등 비행 특성에 따른 칼만 필터 기반의 LMIPDA를 활용한 실시간 항적 추적 시 등속, 등가속, 급기동, 선회(3D) 비행 가중치가 자동으로 변경된다. 이러한 과정에서 등속 비행 중 급기동 비행과 같이 비행 특성이 변경될 때, 항적 손실 및 항적 추적 성능이 하락하여 비행 특성 가중치 변경성능을 향상시킬 필요성이 있다. 본 연구는 레이더의 오차 모델이 적용된 시뮬레이터의 Plot과 표적을 딥러닝 기반 LSTM(Long Short-Term Memory) 모델을 적용하여 학습시키고, 칼만 필터를 활용한 항적추적 결과와 딥러닝 기반 LSTM(Long Short-Term Memory) 모델을 적용한 항적추적결과를 비교함으로써 미리 비행 특성의 변경과정을 예측하여 등속, 등가속, 급기동, 선회(3D) 비행 가중치변경을 신속하게 함으로써 항적추적성능을 향상하기 위한 연구이다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제9권3호
• /
• pp.747-756
• /
• 2019

통역을 학습하는 학생들은 수업 외에도 추가적인 학습 및 훈련을 수행한다. 동시통역 및 순차통역에서 두 언어의 구조가 다르기 때문에 통역가는 발표 내용을 빠르게 기억해야 한다. 단기 기억 향상을 위해서 통역을 학습하는 학생들은 메모리 훈련을 수행한다. 메모리 훈련은 파트너가 필요하기 때문에 학습 효율성이 저하되고 자가 학습이 불가능하다. 이를 해결하기 위해서 컴퓨터 기반의 단기 기억 훈련 시스템이 제안되었다. 지문 내 단어를 특수문자로 변경함으로써 학생들이 파트너 없이도 자가 학습이 가능하다. 하지만 컴퓨터는 휴대성이 떨어지기 때문에 외부에서는 학습 능률이 저하된다. 제거되는 단어보다 키워드로 제공하는 단어의 수가 더 많아서 학습 난이도가 저하된다. 이를 해결하기 위해서, 본 논문에서는 스마트 단말 기반의 문장구역 훈련 시스템을 제안하였다. 스마트 단말은 휴대성이 높아 학습의 제한이 없어 효율이 증가한다. 제안하는 훈련 시스템에서는 삭제되는 단어수가 키워드보다 더 많도록 하여 학습 난이도가 증가한다. 제안한 훈련 시스템을 구현하고 기능을 검증하였다.

• 정보학연구
• /
• 제1권1호
• /
• pp.65-84
• /
• 1998

메모리 기반 추론 기법은 분류시 입력 패턴과 저장된 패턴들 사이의 거리를 이용하는 교사 학습 기법으로써, 거리 기반 학습 알고리즘이라고도 한다. 메모리 기반 추론은 k_NN 분류기에 기반한 것으로, 학습은 추가 처리 없이 단순히 학습 패턴들을 메모리에 저장함으로써 수행된다. 본 논문에서는 기존의 k-NN 분류기보다 효율적인 분류가 가능하고, 점진적 학습 기능을 갖는 새로운 알고리즘을 제안한다. 또한 제안된 기법은 노이즈에 민감하지 않으며, 효율적인 메모리 사용을 보장한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권3호
• /
• pp.369-378
• /
• 2004

한국어나 일본어와 같이 부분 어순 자유 언어에서는 규칙 기반 방법이 구 단위화에 있어서 매우 유용한 방법이며, 실제로 잘 발달된 조사와 어미를 활용하면 소수의 규칙만으로도 여러 가지 기계학습 기법들만큼 높은 성능을 보일 수 있다. 하지만, 이 방법은 규칙의 예외를 처리할 수 있는 방법이 없다는 단점이 있다. 예외 처리는 자연언어처리에서 매우 중요한 문제이며, 기억 기반 학습이 이 문제를 효과적으로 다룰 수 있다. 본 논문에서는, 한국어 단위화를 위해서 규칙 기반 방법과 기억 기반 학습을 결합하는 방법을 제시한다. 제시된 방법은 우선 규칙에 기초하고, 규칙으로 추정한 단위를 기억 기반 학습으로 검증한다. STEP 2000 말뭉치에 대한 실험 결과, 본 논문에서 제시한 방법이 규칙이나 여러 기계학습 기법을 단독으로 사용하였을 때보다 높은 성능을 보였다. 규칙과 구 단위화에 가장 좋은 성능을 보인 Support Vector Machines의 F-score가 각각 91.87과 92.54인데 비하여, 본 논문에서 제시된 방법의 최종 F-score 는 94.19이다.