• 제목/요약/키워드: policy gradient

검색결과 73건 처리시간 0.039초

머신러닝을 이용한 미숙아의 재원일수 예측 융복합 연구 (Convergence study to predict length of stay in premature infants using machine learning)

  • 김촉환;강성홍
    • 디지털융복합연구
    • /
    • 제19권7호
    • /
    • pp.271-282
    • /
    • 2021
  • 본 연구는 미숙아의 재원일수 예측 모형을 머신러닝 기법을 통해 개발하기 위해 수행 되었다. 모형 개발을 위해 질병관리본부에서 수집한 퇴원손상심층조사 자료의 2011년부터 2016년까지 퇴원한 미숙아 6,149건을 이용하였다. 입원 초기 신경망 모형은 설명력(R2)이 0.75로 다른 모형에 비해 우수 하였다. 입원 초기 변수에 임상진단을 CCS(Clinical class ification software)로 변환하여 추가 투입한 모형은 큐비스트(Cubist) 모형의 설명력(R2)이 0.81로 랜덤 포레스트(Random Forests), 그라디언트 부스트(Gradient boost), 신경망(neural network), 벌점화 회귀(Penalty regression) 모형에 비해 성능이 우수 하였다. 본 연구는 전국단위 데이터를 이용한 미숙아의 재원일수 예측 모형을 머신러닝을 통해 제시하고 그 활용 가능성을 확인하였다. 하지만 임상정보, 부모정보 등 데이터의 한계로 향후 성능 향상을 위한 추가 연구가 필요하다.

3차원 구조 멀티코어 프로세서의 분기 예측 기법에 관한 온도 효율성 분석 (Analysis on the Thermal Efficiency of Branch Prediction Techniques in 3D Multicore Processors)

  • 안진우;최홍준;김종면;김철홍
    • 정보처리학회논문지A
    • /
    • 제19A권2호
    • /
    • pp.77-84
    • /
    • 2012
  • 프로세서의 성능을 효율적으로 증가시키기 위한 기법 중 하나로 명령어 수준의 병렬성을 높이는 추론적 수행(Speculative execution)이 사용되고 있다. 추론적 수행 기법의 효율성을 결정하는 가장 중요한 핵심 요소는 분기 예측기의 정확도이다. 하지만, 높은 예측율을 보장하는 복잡한 구조의 분기 예측기를 최근 주목 받고 있는 3차원 구조 멀티코어 프로세서에 적용하는데 있어서는 발열 현상이 큰 장애요소가 될 것으로 예측된다. 본 논문에서는 3차원 구조 멀티코어 프로세서에서 발생할 수 있는 분기 예측기의 높은 발열 문제를 해결하기 위해 두 가지 기법을 제시하고, 이에 대한 효율성을 상세하게 분석하고자 한다. 첫번째 기법은 분기 예측기의 온도가 임계 온도 이상으로 올라가는 경우 분기 예측기의 동작을 일시적으로 정지시키는 동적 온도 관리 기법이고, 두번째 기법은 3차원 구조 멀티코어 프로세서의 각 층 별로 온도를 고려하여 서로 다른 복잡도를 지닌 분기 예측기를 차등 배치하는 기법이다. 두 가지 기법 중에서 복잡도를 고려한 차등 배치 기법은 평균 $87.69^{\circ}C$의 온도를 나타내는 반면, 동적 온도 관리 기법은 평균 $89.64^{\circ}C$의 온도를 나타내었다. 그리고, 각 층에서 발생하는 온도 변화율을 각 기법에 대하여 비교한 결과, 동적 온도 관리 기법의 온도 변화율은 평균 $17.62^{\circ}C$을 나타내었고 복잡도 차등 배치 기법의 온도 변화율은 평균 $11.17^{\circ}C$을 나타내었다. 이러한 온도 분석을 통하여 3차원 멀티코어 프로세서에서 분기 예측기의 온도를 제어하였을 경우, 복잡도 차등 배치 기법을 적용하는 것이 더 효율적임을 알 수 있다. 성능적인 측면을 분석한 결과, 동적 온도 관리 기법은 해당 기법을 적용하지 않았을 경우보다 평균 27.66%의 성능하락을 나타내었지만, 복잡도 차등 배치 기법은 평균 3.61%의 성능 하락만을 나타내었다.

Forecasting daily PM10 concentrations in Seoul using various data mining techniques

  • Choi, Ji-Eun;Lee, Hyesun;Song, Jongwoo
    • Communications for Statistical Applications and Methods
    • /
    • 제25권2호
    • /
    • pp.199-215
    • /
    • 2018
  • Interest in $PM_{10}$ concentrations have increased greatly in Korea due to recent increases in air pollution levels. Therefore, we consider a forecasting model for next day $PM_{10}$ concentration based on the principal elements of air pollution, weather information and Beijing $PM_{2.5}$. If we can forecast the next day $PM_{10}$ concentration level accurately, we believe that this forecasting can be useful for policy makers and public. This paper is intended to help forecast a daily mean $PM_{10}$, a daily max $PM_{10}$ and four stages of $PM_{10}$ provided by the Ministry of Environment using various data mining techniques. We use seven models to forecast the daily $PM_{10}$, which include five regression models (linear regression, Randomforest, gradient boosting, support vector machine, neural network), and two time series models (ARIMA, ARFIMA). As a result, the linear regression model performs the best in the $PM_{10}$ concentration forecast and the linear regression and Randomforest model performs the best in the $PM_{10}$ class forecast. The results also indicate that the $PM_{10}$ in Seoul is influenced by Beijing $PM_{2.5}$ and air pollution from power stations in the west coast.

인공지능 기계학습 방법 비교와 학습을 통한 디지털 신호변화 (Digital signal change through artificial intelligence machine learning method comparison and learning)

  • 이덕균;박지은
    • 디지털융복합연구
    • /
    • 제17권10호
    • /
    • pp.251-258
    • /
    • 2019
  • 앞으로의 시대는 인공지능을 이용한 다양한 분야에 다양한 제품이2 생성될 것이다. 이러한 시대에 인공지능의 학습 방법의 동작 원리를 알고 이를 정확하게 활용하는 것은 상당히 중요한 문제이다. 이 논문은 지금까지 알려진 인공지능 학습 방법을 소개한다. 인공지능의 학습은 수학의 고정점 반복 방법(fixed point iteration method)을 기반으로 하고 있다. 이 방법을 기반으로 수렴 속도를 조절한 GD(Gradient Descent) 방법, 그리고 쌓여가는 양을 누적하는 Momentum 방법, 마지막으로 이러한 방법을 적절히 혼합한 Adam(Adaptive Moment Estimation) 방법 등이 있다. 이 논문에서는 각 방법의 장단점을 설명한다. 특히, Adam 방법은 조정 능력을 포함하고 있어 기계학습의 강도를 조정할 수 있다. 그리고 이러한 방법들이 디지털 신호에 어떠한 영향을 미치는 지에 대하여 분석한다. 이러한 디지털 신호의 학습과정에서의 변화는 앞으로 인공지능을 이용한 작업 및 연구를 수행함에 있어 정확한 활용과 정확한 판단의 기준이 될 것이다.

딥러닝 기반 80대·90대·100대 남녀 대상 폐암 진단 후 사망률 예측에 관한 연구 (A Study on the Prediction of Mortality Rate after Lung Cancer Diagnosis for Men and Women in 80s, 90s, and 100s Based on Deep Learning )

  • 변경근;이덕규;이세영
    • 한국정보전자통신기술학회논문지
    • /
    • 제16권2호
    • /
    • pp.87-96
    • /
    • 2023
  • 최근 의학계에서도 딥러닝 기술을 이용한 질병의 치료결과 예측 연구가 활발하다. 그러나, 소규모 환자 데이터와 특정한 딥러닝 알고리즘을 선택·활용, 연구를 진행하여 특정 조건 아래에서 의미 있는 결과를 보여주었다. 본 연구에서는 연구 결과의 일반화를 위하여 환자 대상을 좀 더 확대·세분화하여 80대·90대·100대 남녀 대상으로 폐암 진단 후 사망률 예측 연구 결과를 도출하였다. 건강보험심사평가원의 대규모 진료 정보와 다종의 딥러닝 알고리즘을 제공하는 AutoML을 이용, 80대·90대·100대 남녀의 폐암 진단 후 84개월간의 사망률 예측을 위해 Decision Tree, Random Forest, Gradient Boosting, XGBoost, Logistic Regression 등 5개 알고리즘별 모델을 생성하고 이를 통해 예측 성능을 비교하고 사망률에 영향을 미치는 요인에 대한 분석도 추진하였다. 연구 결과, 80대와 90대에서 남성이 여성보다 사망 예측률이 더 높았으며 100대에서는 여성의 사망 예측률이 남성보다 높게 나타났다. 그리고 사망률에 가장 큰 영향을 미치는 요인으로는 치료기간으로 분석되었다.

참조기 천연색소의 분리 및 판별법에 관한 연구 (Studies on the Separation and Discrimination of the Natural Yellow Pigment on Croaker)

  • 김희연;홍기형;홍진환;김동술;한상배;이은주;이정성;강길진;정형욱;송경희;박종석;권용관;장영미;신일식;이창국;박희열;하상철;조재선;박혜경
    • 한국식품과학회지
    • /
    • 제34권5호
    • /
    • pp.762-769
    • /
    • 2002
  • 참조기 추출색소를 컬럼크로마토그래피를 행하여 정제하고 UV-vis spectrophotometry를 행하여 최대 흡수파장을 검색한 결과는 모든 획분의 최대 흡수파장은 $480\;nm{\sim}420\;nm$ 사이에 공통적으로 3개의 최대흡수대역을 나타냈다. 이는 carotenoid의 일반적인 특성과 일치하였으며 파장의 대역도 유사하여 carotenoid계 색소로 추정되었다. 또한 획분 간에 파장의 대역이 큰 차이 없이 유사한 것은 구조가 비슷한 이성체이기 때문으로 추정된다. 이동상 A인 0.1 mol 암모늄아세테이트 용액 메탄올(50 : 50 v/v)과 이동상 B인 메탄올 : 메틸렌클로라이드(90 : 10 v/v)를 이용하고 처음 2분간 10%의 이동상 A로부터 시작하여 60분 동안 이동상 B로 점차 조성을 변화시켜 최종적으로 이동상 B가 되게 gradient mode 조건으로 한 이동상에서 PDA-HPLC를 이용하여 참조기 추출색소를 분석한 chromatogram은 각각 RT값이 27.54, 28.48, 29.40, 29.72. 30.06, 35.61에서 총 6개의 peak가 검출되었다. 이때의 검출파장은 약 $380{\sim}490\;nm$ 사이의 파장이었으며, RT값이 30.06와 35.61 사이에 한 개의 peak가 보였으나 그 양이 너무 적어 peak로 인식되지 않았다. 그러나 이는 UV-vis spectrophotometry를 이용한 추출색소의 최대 흡광도 대역과 거의 일치하여 색소의 조성은 총 7개의 성분인 것으로 사료된다. 본 실험의 결과 참조기 추출색소의 분석을 위한 최적파장은 450 nm인 것으로 사료된다. 이동상 B인 메탄올 : 메틸렌클로라이드(90 : 10 v/v)을 이용하여 isocratic made로 한 이동상의 조건으로 PDA-HPLC를 이용하여 참조기 추출색소를 분석한 chromatogram은 각각 RT값이 3.27, 7.69, 20.92에서 총 3개의 peak가 검출되었고, 이때의 검출파장은 약 $380{\sim}490\;nm$ 사이의 파장으로서 gradient mode로 한 이동상의 조건과 일치하였다. 또한 RT값이 3.27의 peak에서 가장 많은 색소가 검출되었다. 그러나 gradient mode로 한 이동상의 조건에서 7개의 peak가 검출되었고 isocratic mode로 한 이동상의 조건에서는 3개의 peak가 검출된 것으로 보아 정성적으로는 gradient mode로 한 이동상의 조건이 더 적합한 것으로 사료된다. 또한, PDA-HPLC를 이용한 참조기와 수조기의 색소성분을 비교한 결과, 수조기와 참조기에서 검출되는 peak중 각각의 3개의 peak는 유사한 RT값을 보였으나, 참조기 및 수조기의 각각 1개의 peak는 서로 다른 RT값을 보였으며 참조기 성분의 peak중 RT = 31.02는 수조기 성분에서는 발견되지 않아, 이 성분은 참조기 성분과 연관성이 클 것으로 사료된다.

Localization and a Distributed Local Optimal Solution Algorithm for a Class of Multi-Agent Markov Decision Processes

  • Chang, Hyeong-Soo
    • International Journal of Control, Automation, and Systems
    • /
    • 제1권3호
    • /
    • pp.358-367
    • /
    • 2003
  • We consider discrete-time factorial Markov Decision Processes (MDPs) in multiple decision-makers environment for infinite horizon average reward criterion with a general joint reward structure but a factorial joint state transition structure. We introduce the "localization" concept that a global MDP is localized for each agent such that each agent needs to consider a local MDP defined only with its own state and action spaces. Based on that, we present a gradient-ascent like iterative distributed algorithm that converges to a local optimal solution of the global MDP. The solution is an autonomous joint policy in that each agent's decision is based on only its local state.cal state.

심층 신경망 검색 기법을 통한 이미지 고해상도화 (Image Super Resolution Using Neural Architecture Search)

  • 안준영;조남익
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.102-105
    • /
    • 2019
  • 본 논문에서는 심층 신경망 검색 방법을 사용하여 이미지 고해상도화를 위한 심층 신경망을 설계하는 방법을 구현하였다. 일반적으로 이미지 고해상도화, 잡음 제거 및 번짐 제거를 위한 심층신경망 구조는 사람이 설계하였다. 최근에는 이미지 분류 등 다른 영상처리 기법에서 사용하는 심층 신경망 구조를 검색하기 위한 방법이 연구되었다. 본 논문에서는 강화학습을 사용하여 이미지 고해상도화를 위한 심층 신경망 구조를 검색하는 방법을 제안하였다. 제안된 방법은 policy gradient 방법의 일종인 REINFORCE 알고리즘을 사용하여 심층 신경망 구조를 출력하여 주는 제어용 RNN(recurrent neural network)을 학습하고, 최종적으로 이미지 고해상도화를 잘 실현할 수 있는 심층 신경망 구조를 검색하여 설계하였다. 제안된 심층 신경망 구조를 사용하여 이미지 고해상도화를 구현하였고, 약 36.54dB 의 피크 신호 대비 잡음 비율(PSNR)을 가지는 것을 확인할 수 있었다.

  • PDF

강화학습에 의해 학습된 기는 로봇의 성능 비교 (Performance Comparison of Crawling Robots Trained by Reinforcement Learning Methods)

  • 박주영;정규백;문영준
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2007년도 춘계학술대회 학술발표 논문집 제17권 제1호
    • /
    • pp.33-36
    • /
    • 2007
  • 최근에 인공지능 분야에서는, 국내외적으로 강화학습(reinforcement learning)에 관한 관심이 크게 증폭되고 있다. 강화학습의 최근 경향을 살펴보면, 크게 가치함수를 직접 활용하는 방법(value function-based methods), 제어 전략에 대한 탐색을 활용하는 방법(policy search methods), 그리고 액터-크리틱 방법(actor-critic methods)의 세가지 방향으로 발전하고 있음을 알 수 있다. 본 논문에서는 이중 세 번째 부류인 액터-크리틱 방법 중 NAC(natural actor-critic) 기법의 한 종류인 RLS-NAC(recursive least-squares based natural actor-critic) 알고리즘을 다양한 트레이스 감쇠계수를 사용하여 연속제어입력(real-valued control inputs)으로 제어되는 Kimura의 기는 로봇에 대해 적용해보고, 그 성능을 기존의 SGA(stochastic gradient ascent) 알고리즘을 이용하여 학습한 경우와 비교해보도록 한다.

  • PDF

RLS기반 Natural Actor-Critic 알고리즘을 이용한 트레이딩 전략 (Trading Strategy Using RLS-Based Natural Actor-Critic algorithm)

  • 강대성;김종호;박주영;박경욱
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2005년도 추계학술대회 학술발표 논문집 제15권 제2호
    • /
    • pp.238-241
    • /
    • 2005
  • 최근 컴퓨터를 이용하여 효과적인 트레이드를 하려는 투자자들이 늘고 있다. 본 논문에서는 많은 인공지능 방법론 중에서 강화학습(reinforcement learning)을 이용하여 효과적으로 트레이딩하는 방법에 대해서 다루려한다. 특히 강화학습 중에서 natural policy gradient를 이용하여 actor의 파라미터를 업데이트하고, value function을 효과적으로 추정하기 위해 RLS(recursive least-squares) 기법으로 critic 부분을 업데이트하는 RLS 기반 natural actor-critic 알고리즘을 이용하여 트레이딩을 수행하는 전략에 대한 가능성을 살펴 보기로 한다.

  • PDF