• 제목/요약/키워드: Markov process model

검색결과 368건 처리시간 0.025초

조선소 병렬 기계 공정에서의 납기 지연 및 셋업 변경 최소화를 위한 강화학습 기반의 생산라인 투입순서 결정 (Reinforcement Learning for Minimizing Tardiness and Set-Up Change in Parallel Machine Scheduling Problems for Profile Shops in Shipyard)

  • 남소현;조영인;우종훈
    • 대한조선학회논문집
    • /
    • 제60권3호
    • /
    • pp.202-211
    • /
    • 2023
  • The profile shops in shipyards produce section steels required for block production of ships. Due to the limitations of shipyard's production capacity, a considerable amount of work is already outsourced. In addition, the need to improve the productivity of the profile shops is growing because the production volume is expected to increase due to the recent boom in the shipbuilding industry. In this study, a scheduling optimization was conducted for a parallel welding line of the profile process, with the aim of minimizing tardiness and the number of set-up changes as objective functions to achieve productivity improvements. In particular, this study applied a dynamic scheduling method to determine the job sequence considering variability of processing time. A Markov decision process model was proposed for the job sequence problem, considering the trade-off relationship between two objective functions. Deep reinforcement learning was also used to learn the optimal scheduling policy. The developed algorithm was evaluated by comparing its performance with priority rules (SSPT, ATCS, MDD, COVERT rule) in test scenarios constructed by the sampling data. As a result, the proposed scheduling algorithms outperformed than the priority rules in terms of set-up ratio, tardiness, and makespan.

Optimal sensor placement for structural health monitoring based on deep reinforcement learning

  • Xianghao Meng;Haoyu Zhang;Kailiang Jia;Hui Li;Yong Huang
    • Smart Structures and Systems
    • /
    • 제31권3호
    • /
    • pp.247-257
    • /
    • 2023
  • In structural health monitoring of large-scale structures, optimal sensor placement plays an important role because of the high cost of sensors and their supporting instruments, as well as the burden of data transmission and storage. In this study, a vibration sensor placement algorithm based on deep reinforcement learning (DRL) is proposed, which can effectively solve non-convex, high-dimensional, and discrete combinatorial sensor placement optimization problems. An objective function is constructed to estimate the quality of a specific vibration sensor placement scheme according to the modal assurance criterion (MAC). Using this objective function, a DRL-based algorithm is presented to determine the optimal vibration sensor placement scheme. Subsequently, we transform the sensor optimal placement process into a Markov decision process and employ a DRL-based optimization algorithm to maximize the objective function for optimal sensor placement. To illustrate the applicability of the proposed method, two examples are presented: a 10-story braced frame and a sea-crossing bridge model. A comparison study is also performed with a genetic algorithm and particle swarm algorithm. The proposed DRL-based algorithm can effectively solve the discrete combinatorial optimization problem for vibration sensor placements and can produce superior performance compared with the other two existing methods.

잡음하에서 이득 적응을 가지는 비정상상태 자기회귀 은닉 마코프 모델에 의한 오염된 음성을 위한 인식 (Recognition for Noisy Speech by a Nonstationary AR HMM with Gain Adaptation Under Unknown Noise)

  • 이기용;서창우;이주헌
    • 한국음향학회지
    • /
    • 제21권1호
    • /
    • pp.11-18
    • /
    • 2002
  • 본 논문에서는 부가 잡음에 오염된 음성신호에 이득 적응을 가지는 음성인식을 시간 영역에서 다루었다. 잡음은 유색잡음이라고 가정한다. 전화망에서 마찰음 (fricative), 운음 (glides), 유음 (liquds), 그리고 천이영역(transition region)과 같은 음성 신호의 뚜렷한 비정상상태를 극복하기 위해서 NAR-HMM (nonstationary autoregressive HMM)7을 제안하였다. 비정상상태 AR 처리는 M개의 알고 있는 기저 함수 (basis function)의 선형 결합으로 이루어진 다항 함수 (polynomial function)로 나타낼 수 있다. 오염된 신호만을 이용할 수 있을 때, 잡음의 추정 (estimation)문제는 필연적으로 발생한다. 다중 Kalman 필터를 사용함으로써, 잡음모델의 추정과 음성의 이득곡선 (gain contour)을 수행하였다. 제안한방법의 잡음 추정은 오염된 신호로부터 효과적으로 잡음을 제거하여 깨끗한 음성신호를 얻을 수 있었다. 또한 잡음 추정을 하는 일반적인 ARHMM보다 제안한 NAR-HMM이 약 2-3%의 인식성능을 향상시켰다.

Repeat Colonoscopy Every 10 Years or Single Colonoscopy for Colorectal Neoplasm Screening in Average-risk Chinese: A Cost-effectiveness Analysis

  • Wang, Zhen-Hua;Gao, Qin-Yan;Fang, Jing-Yuan
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제13권5호
    • /
    • pp.1761-1766
    • /
    • 2012
  • Background: The appropriate interval between negative colonoscopy screenings is uncertain, but the numbers of advanced neoplasms 10 years after a negative result are generally low. We aimed to evaluate the cost-effectiveness of colorectal neoplasm screening and management based on repeat screening colonoscopy every 10 years or single colonoscopy, compared with no screening in the general population. Methods and materials: A state-transition Markov model simulated 100,000 individuals aged 50-80 years accepting repeat screening colonoscopy every 10 years or single colonoscopy, offered to every subject. Colorectal adenomas found during colonoscopy were removed by polypectomy, and the subjects were followed with surveillance every three years. For subjects with a normal result, colonoscopy was resumed within ten years in the repeat screening strategy. In single screening strategy, screening process was terminated. Direct costs such as screening tests, cancer treatment and costs of complications were included. Indirect costs were excluded from the model. The incremental cost-effectiveness ratio was used to evaluate the cost-effectiveness of the different screening strategies. Results: Assuming a first-time compliance rate of 90%, repeat screening colonoscopy and single colonoscopy can reduce the incidence of colorectal cancer by 65.8% and 67.2% respectively. The incremental cost-effectiveness ratio for single colonoscopy (49 Renminbi Yuan [RMB]) was much lower than that for repeat screening colonoscopy (474 RMB). Single colonoscopy was a more cost-effective strategy, which was not sensitive to the compliance rate of colonoscopy and the cost of advanced colorectal cancer. Conclusion: Single colonoscopy is suggested to be the more cost-effective strategy for screening and management of colorectal neoplasms and may be recommended in China clinical practice.

Variations of SST around Korea inferred from NOAA AVHRR data

  • Kang, Y. Q.;Hahn, S. D.;Suh, Y. S.;Park, S.J.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 1998년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.236-241
    • /
    • 1998
  • The NOAA AVHRR remote sense SST data, collected by the National Fisheries Research and Development Institute (NFRDI), are analyzed in order to understand the spatial and temporal distributions of SST in the seas adjacent to Korea. Our study is based on 10-day SST images during last 7 years (1991-1997). For a time series analysis of multiple 557 images, all of images must be aligned exactly at the same position by adjusting the scales and positions of each SST image. We devised an algorithm which yields automatic detections of cloud pixels from multiple SST images. The cloud detection algorithm is based on a physical constraint that SST anomalies in the ocean do not exceed certain limits (we used $\pm$ 3$^{\circ}C$ as a criterion of SST anomalies). The remote sense SST data are tuned by comparing remote sense data with observed SST at coastal stations. Seasonal variations of SST are studied by harmonic fit of SST normals at each pixel. The SST anomalies are studied by statistical method. We found that the SST anomalies are rather persistent with time scales between 1 and 2 months. Utilizing the persistency of SST anomalies, we devised an algorithm for a prediction of future SST Model fit of SST anomalies to the Markov process model yields that autoregression coefficients of SST anomalies during a time elapse of 10 days are between 0.5 and 0.7. We plan to improve our algorithms of automatic cloud pixel detection and prediction of future SST. Our algorithm is expected to be incorporated to the operational real time service of SST around Korea.

  • PDF

건전성 예측을 위한 모델변수 추정방법의 비교 (A Comparison Study of Model Parameter Estimation Methods for Prognostics)

  • 안다운;김남호;최주호
    • 한국전산구조공학회논문집
    • /
    • 제25권4호
    • /
    • pp.355-362
    • /
    • 2012
  • 건전성 예측은 구조물의 고장이 발생될 때까지 남은 시간인 잔존유효수명을 예측하는 것으로, 이는 안전 및 정비 계획과 직접적으로 연관되기 때문에 매우 중요하다. 건전성 예측방법에는 물리모델 기반방법, 데이터 기반방법과 두 방법의 장점을 통합하는 방법이 있으며, 본 연구에서는 잔존수명 예측의 정확도가 모델변수 추정과 직접적으로 관련되는 물리모델 기반 건전성 예측에 초점을 맞춘다. 물리모델기반 건전성 예측에서는 모델변수 추정을 통해 시스템 상태의 장기 예측이 가능하지만, 대부분의 실제 구조물들의 상태모델은 여러 개의 모델변수를 포함함은 물론이고, 그 변수들이 서로 상관되어 있기 때문에 모델변수를 추정하는 일은 간단한 문제가 아니다. 본 연구에서는 물리모델 기반 건전성 예측을 위한 세 가지 변수 추정방법들의 차이를 논한다. 이 세 가지 방법들은 파티클 필터, 전반적인 베이지안 접근법, 그리고 순차적인 베이지안 접근법으로 모두 베이지안 추론이라는 하나의 이론적 바탕에 기반하지만, 샘플링 방법이나 갱신 절차 등에서 차이가 있다. 균열성장을 표현하는 Paris 모델의 변수 추정을 통해 세 가지 방법의 차이점이 논해지고, 건전성 예측 메트릭을 이용하여 정량적 차이를 표현한다. 파티클 필터방법이 건전성 예측 메트릭 측면에서 가장 높은 성능을 나타내었지만, 전반적인 베이지안 방법은 파티클 필터방법과 근소한 차이를 보이면서도 데이터가 집단으로 존재할 때에는 가장 효율적인 방법으로 나타났다.

계층적 모바일 IP 망에서의 적응형 부하 제어 기법 (An Adaptive Load Control Scheme in Hierarchical Mobile IPv6 Networks)

  • 백상헌;권태경;최양희
    • 한국통신학회논문지
    • /
    • 제29권10A호
    • /
    • pp.1131-1138
    • /
    • 2004
  • IP 기반의 이동 통신망에서는 사용자들에게 연속적인 이동성을 제공하기 위해서 여러 이동성 에이젼트가 사용된다. 대규모 모바일 IP 시스템의 경우 이러한 에이젼트의 확장성과 규모성이 중요한 문제가 될 수 있다. 모바일 Ipv6에서의 시그널링 부하와 핸드오프 지연 시간을 줄이기 위해서 제안된 계층적 모바일 Ipv6에서는 MAP이라고 하는 지역 홈 에이젼트를 사용하여 위치 등록을 지역적으로 처리 가능하도록 한다. 하지만 한 지역 내에서의 움직임이 많은 경우 이러한 MAP이 성능상의 병목 지점이 될 수 있다. 이는 MAP이 시그널링 트래픽 뿐만이 아니라 이동 단말기에게 전달되는 데이터 트래픽에 대한 터널링 기능도 담당하기 때문이다. 따라서 보다 안정적인 서비스를 위해서는 이러한 MAP에서 서비스 받는 단말기의 수를 제한할 필요가 있다. 본 논문에서는 기존의 무선망 자원 할당에서 사용되던 수락 제어 기법과 SMR (Session-to-Mobility Ratio)에 기반한 교체 기법을 이용하여 MAP의 부하를 효과적으로 제어할 수 있는 적응형 부하 제어 기법을 제안한다. 성능 분석을 위해서 제안한 기법을 마르코브 체인을 통해 모델링하여 핸드오프 이동 단말기 봉쇄 확률과 새 이동 단말기 봉쇄 확률을 분석하였다. 그 결과 제안한 기법은 두 봉쇄 확률을 아주 낮은 수준으로 낮출 수 있다는 것을 알 수 있었다.

고속 무선통신 시스템에서 트래픽 부하 예측에 의한 역방향 전송속도 제어 (Reverse link rate control for high-speed wireless systems based on traffic load prediction)

  • 여운영
    • 대한전자공학회논문지TC
    • /
    • 제45권11호
    • /
    • pp.15-22
    • /
    • 2008
  • 1xEV-DO 시스템의 각 단말은 기지국이 전송하는 이진(binary) 제어정보와 고유한 확률모델을 기반으로 자신의 전송속도를 결정한다. 하지만, 이 전송속도 제어방법은 확률적 불확실성으로 인해 동작을 예측하기 어렵고, 역방향 링크의 과부하를 억제할 수 있는 확실한 수단이 없기 때문에, 간섭 제한(interference-limited) 용량을 갖는 CDMA 시스템의 성능을 저하시킬 수 있다. 본 논문에서는 기지국이 역방향 트래픽 부하를 예측하고, 순방향 제어채널을 통해 단말의 전송속도를 효과적으로 제어할 수 있는 방법을 제안한다. 본 논문은 제안한 방법을 다차원 마르코프 프로세스로 모델링하고 기존 방법들과 성능을 비교한다. 분석 결과에 의하면, 제안한 방법은 기존의 방법들과 비교하여 셀에서 지원할 수 있는 최대 전송효율(throughput)을 크게 향상시킴을 알 수 있다.

바이오 데이터 패턴 분석을 위한 시스템 및 알고리즘 설계 (Design of the System and Algorithm for the Pattern Analysis of the Bio-Data)

  • 송영옥;김성영;장덕진
    • 한국콘텐츠학회논문지
    • /
    • 제10권8호
    • /
    • pp.104-110
    • /
    • 2010
  • 생명과학 분야에서 컴퓨터를 활용할 수 있는 대표적인 예로는 서열화, 서열화 분석, 비교, 진화, 돌연변이 추적, 약 설계를 위한 유사성 비교, 단백질 기능 예측, 그리고 세포 메커니즘과 질병 발생에서의 유전자 역할 예측 등 다양한 분야를 들 수 있다. 생명공학 연구자들에게는 이와 같은 작업을 위한 도구들이 요구되고 있다. 본 논문에서는 바이오 데이터 분석을 위한 기존 시스템의 문제점을 파악하고, 이를 개선할 수 있는 시스템 설계에 초점을 맞추었다. 또한 각각의 분석 작업을 개선할 수 있고 서로 독립적으로 진행되는 기존의 시스템을 통합할 수 있는 통합 분석 시스템을 설계하고자 한다.

B-ISDN UNI에서 폭주를 예방하기 위한 B-NT의 트래픽 흐름 제어 (Traffic Flow Control of B-NT for Prevention of Congestion in B-ISDN UNI)

  • 이숭희;최흥문
    • 한국통신학회논문지
    • /
    • 제19권6호
    • /
    • pp.1085-1094
    • /
    • 1994
  • 본 논문에서는 망 노드에서의 폭주를 B-ISDN UNI에서 예방하기 위해 B-NT에서 일시적인 셀 저장 및 선택적 셀 폐기를 수행하는 트래픽 흐름 제어를 제안하였다. 제안된 구조는 B-NT 시스템에서 T 접속을 향하는 출력 셀 흐름을 감소 또는 억제시키도록 구성하고, 인접 망 노드의 상태를 정상, 준폭주, 폭주의 세상태로 정의하였다. 준폭주 상태에서는 손실에 민감한 트래픽은 일시적으로 저장되어 출력 셀 흐름의 속도를 저하시키고, 폭주 상태에서는 손실에 민감한 트래픽의 셀 저장과 더불어 지연에 민감한 트래픽의 셀이 선택적으로 폐기되어 최대한 출력 트래픽 흐름을 억제시킨다. 입력 셀 흐름과 망 노드 상태의 변화를 IBP와 3 상태 마르코프 체인으로 모델링하여 B-NT 시스템에서 제안된 구조의 성능 분석을 위한 시뮬레이션을 수행하여 적당한 버퍼 사이즈를 구하고 망 노드의 상태에 따른 제안한 구조의 성능 변화를 조사한 결과 망 노드에서의 폭주 정도가 극심한 경우에는 제안한 방법으로 제어가 거의 불가능하지만, 그 외의 경우에는 2,000셀 이상의 버퍼 사이즈로 제어가 가능함을 알 수 있었다.

  • PDF