• 제목/요약/키워드: 모델 파라미터 튜닝

검색결과 39건 처리시간 0.022초

Web access prediction based on parallel deep learning

  • Togtokh, Gantur;Kim, Kyung-Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권11호
    • /
    • pp.51-59
    • /
    • 2019
  • 웹에서 정보 접근에 대한 폭발적인 주문으로 웹 사용자의 다음 접근 페이지를 예측하는 필요성이 대두되었다. 웹 접근 예측을 위해 마코브(markov) 모델, 딥 신경망, 벡터 머신, 퍼지 추론 모델 등 많은 모델이 제안되었다. 신경망 모델에 기반한 딥러닝 기법에서 대규모 웹 사용 데이터에 대한 학습 시간이 엄청 길어진다. 이 문제를 해결하기 위하여 딥 신경망 모델에서는 학습을 여러 컴퓨터에 동시에, 즉 병렬로 학습시킨다. 본 논문에서는 먼저 스파크 클러스터에서 다층 Perceptron 모델을 학습 시킬 때 중요한 데이터 분할, shuffling, 압축, locality와 관련된 기본 파라미터들이 얼마만큼 영향을 미치는지 살펴보았다. 그 다음 웹 접근 예측을 위해 다층 Perceptron 모델을 학습 시킬 때 성능을 높이기 위하여 이들 스파크 파라미터들을 튜닝 하였다. 실험을 통하여 논문에서 제안한 스파크 파라미터 튜닝을 통한 웹 접근 예측 모델이 파라미터 튜닝을 하지 않았을 경우와 비교하여 웹 접근 예측에 대한 정확성과 성능 향상의 효과를 보였다.

Prefix-tuning에 기반한 한국어 자연언어 처리 (Prefix-tuning for Korean Natural language processing)

  • 민진우;나승훈;신동욱;김선훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.622-624
    • /
    • 2021
  • 현재 BERT와 같은 대용량의 코퍼스로부터 학습된 사전 학습 언어 모델을 자연어 응용 태스크에 적용하기 위해 일반적으로 널리 사용되는 방법은 Fine-tuning으로 각 응용 태스크에 적용 시 모델의 모든 파라미터를 조정하기 때문에 모든 파라미터를 조정하는데 필요한 시간적 비용과 함께 업데이트된 파라미터를 저장하기 위한 별도의 저장공간이 요구된다. 언어 모델이 커지면 커질수록 저장 공간의 비용이 증대됨에 따라 이러한 언어모델을 효율적으로 튜닝 할 수 있는 방법들이 연구되었다. 본 연구에서는 문장의 입력 임베딩에 연속적 태스크 특화 벡터인 prefix를 추가하여 해당 prefix와 관련된 파라미터만 튜닝하는 prefix-tuning을 한국어 네이버 감성 분석 데이터 셋에 적용 후 실험결과를 보인다.

  • PDF

Redis 파라미터 분류 및 단계적 베이지안 최적화를 통한 파라미터 튜닝 연구 (A Study on Parameter Tuning for Redis via Parameter Classification and Phased Bayesian Optimization)

  • 조성운;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.476-479
    • /
    • 2021
  • DBMS 파라미터 튜닝이란 데이터베이스에서 제공하는 다양한 파라미터의 값을 조율하여, 최적의 성능을 도출하는 과정이다. 데이터베이스 종류에 따라 파라미터 개수가 수십 개에서 수백 개로 다양하며, 각 기능이 모두 다르기 때문에 최적의 조합을 찾는 것은 쉽지 않다. 선행 연구에서는 BO 기법을 사용하여 적절한 파라미터 값을 추출했지만, 파라미터 개수에 비례하여 차원이 커지는 문제가 발생한다. 본 논문에서는 통계적으로 파라미터를 분류하여 탐색 공간을 줄인 다음 단계적으로 BO 를 수행하는 PBO 방식을 제안한다. 파라미터 값을 랜덤하게 할당하여 벤치마킹한 결과값을 군집화한 후, 각 군집별로 파라미터와의 연관성을 분석해 높은 상관관계를 가진 파라미터를 매칭시켜 분류한다. 제안하는 방법론을 검증하기 위하여 8 가지 회귀 모델과의 비교 실험을 통해 제안한 방법론의 우수성을 검증하였다.

원자력발전소의 체적제어 최적화를 위한 유출수 제어 튜닝 (Letdown Flow Tuning for Optimal Inventory Control of Nuclear Plant)

  • 이광대;오응세;양승옥
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2006년도 제37회 하계학술대회 논문집 D
    • /
    • pp.1881-1882
    • /
    • 2006
  • 표준형 원자력발전소에서는 원자로 내의 핵연료 봉으로부터 발생하는 열에너지를 열교환기인 증기발생기로 전달하는 원자로냉각재 계통이 있다. 핵연료 봉을 적절한 냉각 상태로 유지하기 위하여 원자로냉각재의 온도와 압력뿐만 아니라 체적을 제어하고 있다. 원자로냉각재 체적은 용량이 큰 반면에 제어하는 밸브의 크기는 작아서 제어 응답이 길어서 현장에서 경험적으로 튜닝하는 것은 매우 어렵다. 본 논문에서는 체적제어루프의 수학적인 모델링을 통하여 오프라인으로 최적 제어 파라미터를 찾고, 실제 적용한 결과를 보여준다. 제어루프 모델링을 위하여 일반화 프로세서 모델 식으로부터 실제 운전 데이터로 모델 파라미터를 결정하는 경험적 방법을 사용하였다. 이로부터 구한 제어 파라미터를 실제 적용한 결과, 적절한 제어 응답을 얻었으며 모델링 과정이 적절하였음을 확인하였다.

  • PDF

한국어에 적합한 단어 임베딩 모델 및 파라미터 튜닝에 관한 연구 (On Word Embedding Models and Parameters Optimized for Korean)

  • 최상혁;설진석;이상구
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.252-256
    • /
    • 2016
  • 본 논문에서는 한국어에 최적화된 단어 임베딩을 학습하기 위한 방법을 소개한다. 단어 임베딩이란 각 단어가 분산된 의미를 지니도록 고정된 차원의 벡터공간에 대응 시키는 방법으로, 기계번역, 개체명 인식 등 많은 자연어처리 분야에서 활용되고 있다. 본 논문에서는 한국어에 대해 최적의 성능을 낼 수 있는 학습용 말뭉치와 임베딩 모델 및 적합한 하이퍼 파라미터를 실험적으로 찾고 그 결과를 분석한다.

  • PDF

온라인 여자제어시스템 모델과 SQP법을 이용한 AVR의 파라미터 튜닝 방법에 관한 연구 (A New Optimal AVR Parameter Tuning Method Using On-Line Excitation Control System Model with SQP Method)

  • 김중문;문승일
    • 대한전기학회논문지:전력기술부문A
    • /
    • 제51권3호
    • /
    • pp.118-126
    • /
    • 2002
  • AVR parameter tuning for voltage control of generators has generally been done with the off-line open-circuit model of the synchronous generator. When the generator is connected on-line and operating with load the AVR operates in an entirely different environment from the open-circuit conditions. This paper describes a new method for AVR parameter tuning for on line conditions using SQP(Sequential Quadratic Programming) meshed with frequency response characteristics of linearized on-line system model. As the proposed method uses the un - line system model the tuned parameter sets show more optimal behavior in the on-line operating conditions. furthermore, as this method considers the performance indices that are needed for stable operation as constraints, AVR parameter sets that are tuned by this method could guarantee the stable performance, too.

MAPPO 기반 CNN 하이퍼 파라미터 최적화 (MAPPO based Hyperparameter Optimization for CNN)

  • 마지흔;조인휘
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.446-447
    • /
    • 2022
  • 대부분의 머신러닝 및 딥러닝 모델의 경우 하이퍼 파라미터 선택은 모델의 성능에 큰 영향을 미친다. 따라서 전문가들은 작업을 수행하기 위해 모델을 구축할 때 하이퍼 파라미터 튜닝을 수행하는 데 상당한 시간을 소비해야 한다. Hyperparameter Optimization(HPO)을 해결하기 위한 알고리즘은 많지만 대부분의 방법은 검색을 수행하기 위해 각 epoch에서 실제 실험 결과를 필요로 한다. 따라서 HPO 검색을 위한 시간과 계산 지원을 줄이기 위해 본 논문에서는 Multi-agent Proximal Policy Optimization(MAPPO) 강화 학습 알고리즘을 제안한다. 2개의 이미지 분류 데이터 세트에 대한 실험 결과는 우리의 모델이 속도와 정확성에서 다른 기존 방법보다 우수하다는 것을 보여준다.

디지털 PI 제어기 구현에 관한 고찰 (Survey of Implementation of a Digital PI Controller)

  • 변승현;마복렬
    • 한국시뮬레이션학회:학술대회논문집
    • /
    • 한국시뮬레이션학회 2000년도 춘계학술대회 논문집
    • /
    • pp.180-185
    • /
    • 2000
  • 발전소 등의 대규모 공정 플랜트에서 사용하고 있는 대부분의 상용 제어기는 PID 제어기이며, 온도 루프를 제외한 대부분의 제어루프가 PI 제어기를 채용하고 있다. 제어 시스템의 성능이 제어기 파라미터의 값에 의해 결정되므로, PI 제어기의 튜닝이 중요하다. 한편, 실제 현장에서의 PI 제어기의 튜닝은 많은 시간과 노력을 필요로 하는 시행착오에 의해서 이루어지고 있으며, 각 제어 루프 제어기 파라미터의 초기값 설정에 어려움을 갖고 있는 실정이다. PI 튜닝 기법이 많이 나와 있지만 시험 신호의 인가 문제로 인해 현장 활용에는 많은 어려움을 가지고 있다. 본 논문에서는 단순한 시험 신호로부터 PI 초기 설정값을 산출할 수 있는 방법에 대해서 알아본다. 또한 발전소에 적용된 국산 분산 제어 시스템을 보면, 대부분 데이터 로깅 시스템으로서만 활용되고 있고, 제어 시스템으로의 활용은 거의 이루어지지 않고 있으며, PID제어기에 대한 구현도 완벽하지 못하여 디지털 PI 제어기의구현 방법에 대한 고찰도 요구되고 있다. 본 논문에서는 디지탈 PI 제어기를 구현하는데 있어서 필요한 사항들, 즉 아날로그 제어기의 디지털 등가 제어기로의 변환 기법, 샘플링 주기의 결정 방법, 그리고 그 외에 공정 제어기가 가져야할 기능들에 대해서 언급한다. 그리고나서 PI 튜닝 기법과 아날로그 제어기의 디지털 등가 제어기로의 변환기법, 샘플링 주기 결정 방법 등에 대해 플랜트 모델을 선정하고 시뮬레이션을 통해 그 효용성을 보인다.

  • PDF

코드 생성 언어 모델의 코드 보안성 향상을 위한 프롬프트 튜닝 (Prompt Tuning for Enhancing Security of Code in Code Generation Language Models)

  • 유미선;한우림;조윤기;백윤흥
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.623-626
    • /
    • 2024
  • 최근 거대 언어 모델의 발전으로 프로그램 합성 분야에서 활용되고 있는 코드 생성 언어 모델의 보안적 측면에 대한 중요성이 부각되고 있다. 그러나, 이를 위해 모델 전체를 재학습하기에는 많은 자원과 시간이 소모된다. 따라서, 본 연구에서는 효율적인 미세조정 방식 중 하나인 프롬프트 튜닝으로 코드 생성 언어 모델이 안전한 코드를 생성할 확률을 높이는 방법을 탐구한다. 또한 이에 따른 기능적 정확성 간의 상충 관계를 분석한다. 실험 결과를 통해 프롬프트 튜닝이 기존 방법에 비해 추가 파라미터를 크게 줄이면서도 보안률을 향상시킬 수 있음을 알 수 있었다. 미래 연구 방향으로는 새로운 조정 손실함수와 하이퍼파라미터 값을 조정하여 성능을 더욱 향상시킬 수 있는지 조사할 것이다. 이러한 연구는 보다 안전하고 신뢰할 수 있는 코드 생성을 위한 중요한 발전을 이끌 수 있을 것으로 기대된다.

Pix2Pix의 활용성을 위한 학습이미지 전처리 모델연계방안 연구 (A Study on the Image Preprosessing model linkage method for usability of Pix2Pix)

  • 김효관;황원용
    • 한국정보전자통신기술학회논문지
    • /
    • 제15권5호
    • /
    • pp.380-386
    • /
    • 2022
  • 본 논문은 적대적 생성 신경망 기법의 하나인 Pix2Pix를 활용하여 컬러색상을 입히는 경우 학습된 이미지의 빛 반사 정도에 따라 예측결과가 손상되어 나오는 부분에 집중하여 Pix2Pix 모델 적용 전 이미지 전처리 프로세스 및 모델 최적화를 위한 파라미터 테이블을 구성한다. 기존 논문에 나온 Pix2Pix 모델을 활용하여 실생활에 적용하기 위해서는 해상도에 대한 확장성을 고려해야한다. 학습 및 예측결과 이미지 해상도를 키우기 위해서는 동시에 모델의 커널 사이즈 등을 같이 맞춰주는 부분을 수정해줘야 하는데 이부분은 파라미터로 튜닝 가능하도록 설계했다. 또한 본 논문에서는 예측결과가 빛 반사에 의해 손상된 부분만 별도 처리하는 로직을 같이 구성하여 예측결과를 왜곡시키지 않는 전처리 로직을 구성하였다. 따라서 활용성을 개선하기 위하여 Pix2Pix 모델의 학습이미지에 공통적인 빛반사 튜닝 필터를 적용하는 부분과 파라미터 구성부분을 추가하여 모델 정확도를 개선하였다.