• 제목/요약/키워드: Memory Augmentation

검색결과 24건 처리시간 0.02초

가중치 손실 함수를 가지는 순환 컨볼루션 신경망 기반 주가 예측 (A Stock Price Prediction Based on Recurrent Convolution Neural Network with Weighted Loss Function)

  • 김현진;정연승
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.123-128
    • /
    • 2019
  • 본 논문에서는 RCNN (recurrent convolution neural network) 계층 모델을 채택한 인공 지능에 기반을 둔 주가 예측을 제안한다. LSTM (long-term memory model) 기반 신경망은 시계열 데이터의 예측에 사용된다. 다른 한편, 컨볼루션 신경망은 데이터 필터링, 평균화 및 데이터 확장을 제공한다. 제안된 주가 예측에서는 위에서 언급 한 장점들을 RCNN 모델에서 결합하여 적용함으로써 다음날의 주가 종가를 예측한다. 그리고 최근의 시계열의 데이터를 강조하기 위해 커스텀 가중치 손실 함수가 채택되었다. 또한 시장의 상황을 반영하기 위해 주가 인덱스에 관련된 데이터를 입력으로 포함하였다. 제안된 주가 예측 방식은 실제 주가를 대상으로 한 실험에서 3.19%로 테스트 오차를 줄였으며, 다른 방법보다 약 19%의 성능 향상을 거둘 수 있었다.

Design and Implementation of SDR-based Multi-Constellation Multi-Frequency Real-Time A-GNSS Receiver Utilizing GPGPU

  • Yoo, Won Jae;Kim, Lawoo;Lee, Yu Dam;Lee, Taek Geun;Lee, Hyung Keun
    • Journal of Positioning, Navigation, and Timing
    • /
    • 제10권4호
    • /
    • pp.315-333
    • /
    • 2021
  • Due to the Global Navigation Satellite System (GNSS) modernization, recently launched GNSS satellites transmit signals at various frequency bands such as L1, L2 and L5. Considering the Korean Positioning System (KPS) signal and other GNSS augmentation signals in the future, there is a high probability of applying more complex communication techniques to the new GNSS signals. For the reason, GNSS receivers based on flexible Software Defined Radio (SDR) concept needs to be developed to evaluate various experimental communication techniques by accessing each signal processing module in detail. This paper proposes a novel SDR-based A-GNSS receiver capable of processing multi-GNSS/RNSS signals at multi-frequency bands. Due to the modular structure, the proposed receiver has high flexibility and expandability. For real-time implementation, A-GNSS server software is designed to provide immediate delivery of satellite ephemeris data on demand. Due to the sampling bandwidth limitation of RF front-ends, multiple SDRs are considered to process the multi-GNSS/RNSS multi-frequency signals simultaneously. To avoid the overflow problem of sampled RF data, an efficient memory buffer management strategy was considered. To collect and process the multi-GNSS/RNSS multi-frequency signals in real-time, the proposed SDR A-GNSS receiver utilizes multiple threads implemented on a CPU and multiple NVIDIA CUDA GPGPUs for parallel processing. To evaluate the performance of the proposed SDR A-GNSS receiver, several experiments were performed with field collected data. By the experiments, it was shown that A-GNSS requirements can be satisfied sufficiently utilizing only milliseconds samples. The continuous signal tracking performance was also confirmed with the hundreds of milliseconds data for multi-GNSS/RNSS multi-frequency signals and with the ten-seconds data for multi-GNSS/RNSS single-frequency signals.

MAGICal Synthesis: 반도체 패키지 이미지 생성을 위한 메모리 효율적 접근법 (MAGICal Synthesis: Memory-Efficient Approach for Generative Semiconductor Package Image Construction)

  • 창윤빈;최원용;한기준
    • 마이크로전자및패키징학회지
    • /
    • 제30권4호
    • /
    • pp.69-78
    • /
    • 2023
  • 산업 인공지능의 발달과 함께 반도체의 수요가 크게 증가하고 있다. 시장 수요에 대응하기 위해 패키징 공정에서 자동 결함 검출의 중요성 역시 증가하고 있다. 이에 따라, 패키지의 자동 불량 검사를 위한 딥러닝 기반의 방법론들의 연구가 활발히 이루어 지고 있다. 딥러닝 기반의 모델은 학습을 위해서 대량의 고해상도 데이터를 필요로 하나, 보안이 중요한 반도체 분야의 특성상 관련 데이터의 공유 및 레이블링이 쉽지 않아 모델의 학습이 어려운 한계를 지니고 있다. 또한 고해상도 이미지를 생성하기 위해 상당한 컴퓨팅 자원이 요구되는데, 본 연구에서는 분할정복 접근법을 통해 적은 컴퓨팅 자원으로 딥러닝 모델 학습을 위한 충분한 양의 데이터를 확보하는 방법을 소개한다. 제안된 방법은 높은 해상도의 이미지를 분할하고 각 영역에 조건 레이블을 부여한 후, 독립적인 부분 영역과 경계를 학습시켜, 경계 손실이 일관적인 이미지를 생성하도록 유도한다. 이후, 분할된 이미지를 하나로 통합하여, 최종적으로 모델이 고해상도의 이미지를 생성하도록 구성하였다. 실험 결과, 본 연구를 통해 증강된 이미지들은 높은 효율성, 일관성, 품질 및 범용성을 보였다.

한국어 언어모델 파인튜닝을 통한 협찬 블로그 텍스트 생성 (Generating Sponsored Blog Texts through Fine-Tuning of Korean LLMs)

  • 김보경;변재연;차경애
    • 한국산업정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.1-12
    • /
    • 2024
  • 본 논문에서는 대규모 한국어 언어모델인 KoAlpaca를 파인튜닝하고 이를 이용한 블로그 텍스트 생성 시스템을 구현하였다. 소셜 미디어 플랫폼의 블로그는 기업 마케팅 수단으로 널리 활용된다. 수집된 협찬 블로그 텍스트의 감정 분석과 정제를 통한 긍정 리뷰의 학습 데이터를 구축하고 KoAlpaca 학습의 경량화를 위한 QLoRA를 적용하였다. QLoRA는 학습에 필요한 메모리 사용량을 크게 줄이는 파인튜닝 접근법으로 파라미터 크기 12.8B 경우의 실험 환경에서 LoRA 대비 최대 약 58.8%의 메모리 사용량 감소를 확인하였다. 파인튜닝 모델의 생성 성능 평가를 위해서 학습 데이터에 포함되지 않은 100개의 입력으로 생성한 텍스트는 사전학습 모델에 비해서 평균적으로 두배 이상의 단어 수를 생성하였으며 긍정 감정의 텍스트 역시 두 배 이상으로 나타났다. 정성적 생성 성능 평가를 위한 설문조사에서 파인튜닝 모델의 생성 결과가 제시된 주제에 더 잘 부합한다는 응답이 평균 77.5%로 나타났다. 이를 통해서 본 논문의 협찬물에 대한 긍정 리뷰 생성 언어모델은 콘텐츠 제작을 위한 시간 관리의 효율성을 높이고 일관된 마케팅 효과를 보장하는 콘텐츠 제작이 가능함을 보였다. 향후 사전학습 모델의 생성 요소에 의해서 긍정 리뷰의 범주에서 벗어나는 생성 결과를 감소시키기 위해서 학습 데이터의 증강을 활용한 파인튜닝을 진행할 예정이다.