• 제목/요약/키워드: markov model

검색결과 1,628건 처리시간 0.025초

조선소 병렬 기계 공정에서의 납기 지연 및 셋업 변경 최소화를 위한 강화학습 기반의 생산라인 투입순서 결정 (Reinforcement Learning for Minimizing Tardiness and Set-Up Change in Parallel Machine Scheduling Problems for Profile Shops in Shipyard)

  • 남소현;조영인;우종훈
    • 대한조선학회논문집
    • /
    • 제60권3호
    • /
    • pp.202-211
    • /
    • 2023
  • The profile shops in shipyards produce section steels required for block production of ships. Due to the limitations of shipyard's production capacity, a considerable amount of work is already outsourced. In addition, the need to improve the productivity of the profile shops is growing because the production volume is expected to increase due to the recent boom in the shipbuilding industry. In this study, a scheduling optimization was conducted for a parallel welding line of the profile process, with the aim of minimizing tardiness and the number of set-up changes as objective functions to achieve productivity improvements. In particular, this study applied a dynamic scheduling method to determine the job sequence considering variability of processing time. A Markov decision process model was proposed for the job sequence problem, considering the trade-off relationship between two objective functions. Deep reinforcement learning was also used to learn the optimal scheduling policy. The developed algorithm was evaluated by comparing its performance with priority rules (SSPT, ATCS, MDD, COVERT rule) in test scenarios constructed by the sampling data. As a result, the proposed scheduling algorithms outperformed than the priority rules in terms of set-up ratio, tardiness, and makespan.

Optimal sensor placement for structural health monitoring based on deep reinforcement learning

  • Xianghao Meng;Haoyu Zhang;Kailiang Jia;Hui Li;Yong Huang
    • Smart Structures and Systems
    • /
    • 제31권3호
    • /
    • pp.247-257
    • /
    • 2023
  • In structural health monitoring of large-scale structures, optimal sensor placement plays an important role because of the high cost of sensors and their supporting instruments, as well as the burden of data transmission and storage. In this study, a vibration sensor placement algorithm based on deep reinforcement learning (DRL) is proposed, which can effectively solve non-convex, high-dimensional, and discrete combinatorial sensor placement optimization problems. An objective function is constructed to estimate the quality of a specific vibration sensor placement scheme according to the modal assurance criterion (MAC). Using this objective function, a DRL-based algorithm is presented to determine the optimal vibration sensor placement scheme. Subsequently, we transform the sensor optimal placement process into a Markov decision process and employ a DRL-based optimization algorithm to maximize the objective function for optimal sensor placement. To illustrate the applicability of the proposed method, two examples are presented: a 10-story braced frame and a sea-crossing bridge model. A comparison study is also performed with a genetic algorithm and particle swarm algorithm. The proposed DRL-based algorithm can effectively solve the discrete combinatorial optimization problem for vibration sensor placements and can produce superior performance compared with the other two existing methods.

점봉산(點鳳産) 일대 천연활엽수림(天然闊葉樹林)의 지형적(地形的) 위치(位置)에 따른 천이(遷移) 경향(傾向) 분석(分析) (The Analysis of Successional Trends by Topographic Positions in the Natural Deciduous Forest of Mt. Chumbong)

  • 이원섭;김지홍;김광택
    • 한국산림과학회지
    • /
    • 제89권5호
    • /
    • pp.655-665
    • /
    • 2000
  • 산림의 지형적 위치에 따라 수종 구성에 차이가 있을 것이라는 가정 하에, 점봉산 일대 천연활엽수림의 세가지 지형적 위치(계곡, 산복, 능선)에 대한 천이 경향을 비교 분석하였다. 계곡, 산복, 능선에서 각각 20개씩 총 60개의 $20m{\times}20m$ 표본구를 설정하여 현재 상층 임관을 형성하는 상층목들의 수종, 수고. DBH를 조사하고 상층목 밑에서 자라는 하층목의 수종을 조사했다. 시간이 지나면서 상층목이 그 밑에서 자라는 하층목에 의해서 대치되는 천이 경향을 Markov chain의 통계학적 이론을 응용한 추이행렬 모델을 사용하여 예측했다. 연구 결과, 계곡에서는 현재 우점 수종인 신갈나무와 물푸레나무가 각각 약 23%와 약 21%의 구성 비율에서 약 200년 후에 이르게될 안정상태에 가면 두 수종 모두 약 4% 정도로 현저히 감소할 것으로 추정되었다. 반면에, 전나무, 고로쇠나무, 피나무, 난티나무 동은 안정상태에서 증가할 것으로 예측되었다. 산복에서는 약 250년 후에 이르게될 안정상태가 되면, 현재 우점 수종인 가래나무, 음나무, 피나무가 현재의 구성 비율인 15%, 8%. 15%에서 각각 2%, 1%, 5%로 현저히 감소할 것이 괄목할 만한 결과였다. 능선에서는 현재의 절대 우점 수종인 신갈나무가 58%의 구성 비율에서 약 200년 후에 이르게될 안정상태에서는 8%로 상당히 감소하고, 고로쇠나무와 피나무가 현재의 4%와 3% 의 구성 비율이 각각 20%와 40%로 증가할 것으로 예측되었다. 전반적으로 연구대상 산림은 극상 군집이 아닌 천이가 진행 중인 상태이며, 입지 조건과 식생 발달 상황에서 여러 가지의 변수가 작용하겠지만, 상층 임관의 수종 구성 상 안정상태에 도달하려면 약 200년 이상의 기간이 소요될 것으로 추정되었다.

  • PDF

키워드검색광고 포트폴리오 구성을 위한 통계적 최적화 모델에 대한 실증분석 (An Empirical Study on Statistical Optimization Model for the Portfolio Construction of Sponsored Search Advertising(SSA))

  • 양홍규;홍준석;김우주
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.167-194
    • /
    • 2019
  • 본 논문은 키워드검색광고와 관련하여 의사결정자인 광고주의 입장에서 분석한 통계모델 기반 검색엔진최적화(Search Engine Optimization)논문이다. 일반적으로 키워드입찰은 노출순위를 대상으로 하는 입찰가액에 의해 이루어지고 있다. 그런데, 대부분 광고주는 수천 개 이상의 많은 키워드를 관리함에 있어, 매시간적으로 바뀌는 키워드별 입찰가액을 통해 입찰광고시스템을 관리하고 있는데, 사실상 시간과 인력자원측면에서 비효율적이다. 따라서, 본 논문에서는 기존의 입찰가액을 중심으로 하는 입찰시스템에 대해 의문점을 제기하고, 새로운 관점에서 노출순위를 의사결정변수로 하는 새로운 검색광고모델을 재정의하여 제시하였다. 새로운 검색광고모델에 대한 최적화실증분석을 위해 예측모델과 최적화모델을 제시하였다. 연구과정은 우선 키워드의 특성에 따라 키워드그룹을 원천 제조브랜드 유통브랜드의 범주화기준을 제시한 후, PC 와 모바일 매체별로 대표 키워드 선정한 후 노출순위와 클릭률이 비선형분포임을 보였고, 통계적 관계를 검토하였다. 클릭률예측 및 입찰가액예측을 위한 통계적 시나리오를 제시하였고, 적합성 분석을 통해 최적의 예측모델을 선정한 후, 선정된 예측모델을 기반으로 하여 클릭률과 기대이익(전환율)에 관한 최적화목적함수를 정의하고 실증분석을 진행하였다. 분석결과, 본 논문에서 제시한 검색광고모델은 클릭률 기반의 클릭수와 전환율 기반의 기대이익으로 표현되는 최적화모델 모두에서 개선효과가 있음을 확인하였다. 다만, 기대이익 최적화모델의 경우에는 핵심키워드임에도 불구하고 기대이익이 낮아 광고에서 배제되는 문제를 있음을 확인하고 대안을 제시했다. 마코브체인분석을 통해 핵심 경유키워드 개념을 도입하였고, 최적화목적함수에 대해 핵심경유키워드의 기회이익을 반영한 최적화수정모델을 제시하여 적용가능성을 확인하였다. 본 논문은 키워드입찰시스템의 의사결정변수를 노출순위의 관점으로 전환하는 새로운 모델을 제안하였고, 키워드 범주별 및 노출순위 기반의 통계적 예측을 제시하고, 포트폴리오 구성에서의 최적화실증분석을 통해 노출순위 기반 예측모델의 유효성을 확인함과 동시에, 키워드간의 확산효과를 포함하는 수정모델제시 등 전략적인 입찰을 제안한 점에 시사점이 있다.

공정한 MAC 프로토콜을 위해 순환서비스시스템을 적용한 평형 DQDB (Balanced DQDB Applying the System with Cyclic Service for a Fair MAC Procotol)

  • 류희삼;강준길
    • 한국통신학회논문지
    • /
    • 제18권12호
    • /
    • pp.1919-1927
    • /
    • 1993
  • 본 논문은 표준 DQDB에서 문제가 되고 있는 불공정성 문제를 경감한 새로운 MAC프로토콜을 제안하고 분석하였다. DQDB MAC프로토콜은 처리율, 메시지 지연 등에서 불공정한 면이 있으며, 대역폭은 슬롯재사용 혹은 파일의 긴 전송 동안 더욱 불균등하게 배분될 수 있다. 본 연구에서 제안한 새로운 프로토콜을 평형(Balanced) DQDB 프로토콜이라 부르기도 하며, 이 새로운 엑세스 프로토콜은 이중 비스 네트워크 프로토콜의 한 비트를 이용하여 대역폭 분할에 공정성 보장 및 DQDB의 모든 특징을 유지한다. 또한, 슬로의 순차적 균등 배분을 해석하기 위하여 Wen Jing 등이 제시한 DQDB분석 모델을 고려하였다. 즉 한 버스상에서 비지 비트의 발생 확률을 예측하고, 마코프 체인을 사용하여 제안한 프로토콜에서의 처리율과 전송 확율에 대하겨 연구하였다. 그리고 시뮬레이션을 통하여 각 노드에서 RQ나 CD계수기가 동적으로 변화하는 상태에서 평형 DQDB와 표준 DQDB, BWB 구조를 비교하였다. 그 결과, 평형 DQDB가 동상위 노드에서에서 처리율이 감소하지만, 전체 노드의 약 70~80% 정도가 처리율 0.9 이상으로 나타났으며, 이러한 특징들은 수치적 분석 모델과 유사한 결과를 나타냄을 확인하였다.

  • PDF

Mobile IPv6와 Hierarchical Mobile IPv6의 시그널링 부하 분석 (Analysis of Signaling Load of Mobile IPv6 and Hierarchical Mobile IPv6)

  • 공기식;송문배;황종선
    • 한국정보과학회논문지:정보통신
    • /
    • 제32권4호
    • /
    • pp.515-524
    • /
    • 2005
  • 네트워크 내의 이동 노드 (Mobile Node: MN)들의 수가 점차 증가함에 따라 IP 이동성 관리로 인한 시그널링 트래픽은 급증하게 될 것이며, 이러한 현상은 전반적인 네트워크의 성능을 크게 좌우할 수도 있을 것이다. 본 논문에서는 대표적인 IPv6 이동성 지원 프로토콜인 Mobile IPv6 (MIPv6)와 Hierarchical Mobile IPv6 (HMIPv6)의 시그널링 부하에 대한 분석을 위하여, 연속 시간 마코프 체인 모델과 계층적 네트워크 모델을 사용하는 새로운 분석적 접근 방법을 제안한다. 본 논문은 동일한 네트워크 구조 하에서 MIPv6와 HMIPv6가 각각 적용되었을 경우, MN의 평균 도메인 상주 시간 동안에 MN에 의해 발생되는 시그널링 비용들을 분석적 모델링에 기반하여 각각 유도해 낸다. 또한, MN의 이동성 및 트래픽과 관련된 다양한 파라미터들의 변화가 MIPv6와 HMIPv6 하에서 MN에 의해 발생되는 시그널링 비용에 어떠한 영향을 미치는지에 대하여도 살펴본다. 본 논문에서 제안된 분석적 모델링을 통하여, MN의 평균 이동 속도가 빠를수록, 바인딩 라이프타임이 큰 값으로 설정될수록, 그리고 평균 패킷 도착율이 적을수록, MN의 평균 도메인 상주 시간 동안에 HMIPv6 하에서 발생되는 총 시그널링 비용은 MIPv6 하에서 발생되는 총 시그널링 비용보다 상대적으로 더 적어지게 되며, 이와 반대되는 상황 하에서는 MIPv6 하에서의 총 시그널링 비용이 HMIPv6 하에서의 총 시그널링 비용보다 상대적으로 더 적어지게 됨을 알 수 있었다.

분절 특징 HMM을 이용한 영어 음소 인식 (English Phoneme Recognition using Segmental-Feature HMM)

  • 윤영선
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권3호
    • /
    • pp.167-179
    • /
    • 2002
  • 본 논문에서는 여러 프레임 특징으로 표현되는 분절 특징(segmental feature) 표현 방법을 제안하고, HMM 개념 위에서 음향학적 모델과 그 알고리즘을 개발하여 HMM의 약점으로 지적되는 독립관측 가정을 완화시키고자 한다. 제안된 특징 표현은 단일 프레임 특징이 음성 신호의 시간적 동적 특성 (temporal dynamics)을 제대로 표현하지 못하기 때문에, 여러 프레임을 이용하여 음성 특징을 표현하도록 한다. 분절 특징은 다항식의 회귀 함수(polynomial regression function)에 의하여 관측 벡터의 궤적으로 표현되고, 이 특징을 패턴 분류에 사용하기 위하여 음성 신호의 궤적을 효과적으로 표현하는 분절 HMM(segmental HMM)을 이용한다. SHMM은 상태에서의 관측 확률을 외적 분절 변이와 내적 분절 변이로 세분하며, 외적 분절 변이는 장기적인 변화를, 내적 분절 변이는 단기적인 변화를 나타낸다. 음향학적 모델에서 분절 특성을 고려하기 위하여 외적 분절 변이는 분절의 확률 분포로 표현하고, 내적 분절 변이는 궤적의 추정 오차로 표현하도록 SHMM을 수정한 분절 특징 HMM(SFHMM; segmental-feature HMM)을 제안한다. SFHMM에서는 분절의 관측 확률을 분절 우도와 궤적의 추정 오차의 관계로써 표현하며, 추정오차는 특정 상태에서의 분절의 우도에 대한 가중치로 고려될 수 있다. 제안된 방법의 유효성과 분절 특징의 특성을 살펴보기 위하여 TIMIT 자료를 이용하여 몇 가지 실험을 하였다. 이들 실험 결과에서, 제안된 방법이 기존의 HMM보다 매개 변수가 많더라도, 성능의 향상과 제안된 특징이 유연하고 정보를 많이 가진다는 점에서 의미가 있다고 하겠다.

MLP-VQ와 가중 DHMM을 이용한 연결 숫자음 인식에 관한 연구 (A study on the connected-digit recognition using MLP-VQ and Weighted DHMM)

  • 정광우;홍광석
    • 전자공학회논문지S
    • /
    • 제35S권8호
    • /
    • pp.96-105
    • /
    • 1998
  • 본 논문에서는 화자 독립 연속 숫자음 인식 시스템의 성능향상을 위하여 MLP-VQ (Multi-Layer Perceptron-Vector Quantizer)를 이용한 가중 DHMM(WDHMM : Weighted Discrete Hidden Markov Models)을 제안한다. MLP 신경망의 출력분포는 입력 패턴과 학습 패턴들간의 비선형 매핑을 통해 각 패턴들간의 유사도를 나타내는 확률분포를 갖는다. 본 논문에서는 MLP 신경망의 출력분포중 가장 높은 출력 값을 갖는 MLP 신경망의 출력 노드를 인덱스를 이용하여 코드워드를 생성하는 MLP-VQ를 제안하였다. 제안된 MLP-VQ는 기존의 VQ에 비해 현재 입력패턴과 학습된 각 class 패턴들간의 유사성 정도를 인식모델을 반영할 수 있는 특징을 갖는다. 또한 MLP 신경망의 출력분포를 DHMM의 심벌 발생 확률의 가중치로 이용하는 가중 DHMM보다는 음소 클래스간의 관계를 인식모델에 반영할 수 있기 때문에 적은 계산양의 증가로 인식기의 성능을 14.71%개선할 수 있었다. 실험결과에 의하면, MLP-VQ와 WDHMM에 의한 화자독립 연결 숫자음 인식율은 84.22%이다.

  • PDF

PCA와 HMM을 이용한 실시간 립리딩 시스템의 설계 및 구현 (Design and Implementation of a Real-Time Lipreading System Using PCA & HMM)

  • 이지근;이은숙;정성태;이상설
    • 한국멀티미디어학회논문지
    • /
    • 제7권11호
    • /
    • pp.1597-1609
    • /
    • 2004
  • 립리딩은 잡음 환경에서 저하되는 음성 인식률의 보상과 음성을 청취하기 어려운 상황에서의 음성인식보조 수단으로 많은 연구가 시도되고 있다. 기존 립리딩 시스템은 인위적인 조명 환경이나 얼굴과 입술 추출을 위하여 미리 정해진 제한된 조건에서 실험되어 왔다. 본 논문에서는 화자의 움직임이 허용되고 컬러나 조명과 같은 환경 변화에 제한조건을 완화한 영상을 이용하여 실시간 립리딩 시스템을 구현하였다. 본 논문의 시스템은 범용으로 사용되는 PC 카메라를 통해 입력받은 영상에서 얼굴과 입술 영역을 실시간으로 검출한 후, 립리딩에 필요한 영상정보를 추출하고 이 입술 영상 정보를 이용하여 실시간으로 발성 단어를 인식할 수 있다. 얼굴과 입술 영역 검출을 위하여 조명환경에 독립성을 갖는 색도 히스토그램 모델을 이용하였고 움직이는 화자의 얼굴 추적을 위하여 평균 이동 알고리즘을 이용하였다. 검출된 입술 영역에서 학습과 인식에 필요한 영상 정보를 추출하기 위하여 PCA(Principal Component Analysis)를 사용하였고, 인식 알고리즘으로는 HMM을 이용하였다. 실험 결과 화자종속일 경우 90%의 인식률을 보였으며 잡음이 있는 음성과 합병하여 인식률 실험을 해 본 결과, 음성 잡음비에 따라서 음성 인식률을 약 40~85%까지 향상시킬 수 있었다.

  • PDF

초음파 도플러를 이용한 음성 인식 (Automatic speech recognition using acoustic doppler signal)

  • 이기승
    • 한국음향학회지
    • /
    • 제35권1호
    • /
    • pp.74-82
    • /
    • 2016
  • 본 논문에서는 음성 신호 대신 초음파 도플러 신호를 이용하여 음성을 인식하는 새로운 음성 인식 방법을 제안하였다. 제안된 방법은 주변 잡음에 대한 강인성과 무 접촉식 센서 사용에 따른 사용자의 불편함 감소를 포함하는 기존의 음성/무음성 인식 방법에 비해 몇 가지 장점을 갖는다. 제안된 방법에서는 40 kHz의 주파수를 갖는 초음파 신호를 입 주변에 방사하여, 반사된 신호를 취득하고, 취득된 신호의 도플러 주파수 변화를 이용하여 음성 인식을 구현하였다. 단일 채널 초음파 신호를 사용하는 기존의 연구와 달리, 다양한 위치에서의 취득된 초음파 신호를 음성 인식에 사용하기 위해 다채널 취득 장치를 고안하였다. PCA(Principal Component Analysis)특징 변수를 사용한 음성 인식에는 좌-우 모델을 갖는 은닉 마코프 모델을 사용하였다. 제안된 방법의 검증을 위해 60개의 한국어 고립어에 대해 6명의 화자로부터 취득된 초음파 도플러 신호를 인식에 사용하였으며, 기존 음성기반 음성인식 기법과 비교할 만한 수준의 인식율을 얻을 수 있었다. 또한 실험 결과 제안된 방법은 기존의 단일 채널 음성 인식 방법과 비교하여 우수한 성능을 나타내었으며, 특히 잡음 환경에서도 90 % 이상의 인식율을 얻을 수 있었다.