• Title/Summary/Keyword: Stochastic optimization

Search Result 386, Processing Time 0.029 seconds

Ensemble variable selection using genetic algorithm

  • Seogyoung, Lee;Martin Seunghwan, Yang;Jongkyeong, Kang;Seung Jun, Shin
    • Communications for Statistical Applications and Methods
    • /
    • 제29권6호
    • /
    • pp.629-640
    • /
    • 2022
  • Variable selection is one of the most crucial tasks in supervised learning, such as regression and classification. The best subset selection is straightforward and optimal but not practically applicable unless the number of predictors is small. In this article, we propose directly solving the best subset selection via the genetic algorithm (GA), a popular stochastic optimization algorithm based on the principle of Darwinian evolution. To further improve the variable selection performance, we propose to run multiple GA to solve the best subset selection and then synthesize the results, which we call ensemble GA (EGA). The EGA significantly improves variable selection performance. In addition, the proposed method is essentially the best subset selection and hence applicable to a variety of models with different selection criteria. We compare the proposed EGA to existing variable selection methods under various models, including linear regression, Poisson regression, and Cox regression for survival data. Both simulation and real data analysis demonstrate the promising performance of the proposed method.

ASO-TDMA기반 다중-홉 VHF 대역 데이터 통신 시스템의 주파수 재사용을 고려한 채널간 부하 균형을 위한 자원 할당 최적화 (Optimization of Resource Allocation for Inter-Channel Load Balancing with Frequency Reuse in ASO-TDMA-Based VHF-Band Multi-Hop Data Communication System)

  • 조구민;이준만;윤창호;임용곤;강충구
    • 한국통신학회논문지
    • /
    • 제40권7호
    • /
    • pp.1457-1467
    • /
    • 2015
  • 해양 통신을 위한 VHF 대역 데이터 통신 시스템(VHF Data Exchange System: VDES)은 송수신단의 종류에 따라 서로 다른 주파수 대역을 사용하도록 설계되어 있으며, 육상국으로부터 멀리 떨어진 선박국에게 육상국과 연결성을 보장하기 위해 제안된 ASO-TDMA (Ad-hoc Self-Organizing TDMA) MAC 프로토콜을 이용하여 다중-홉 통신을 수행하는 경우에 주파수 채널간 부하 불균형 문제가 발생한다. 본 논문에서는 이러한 주파수 채널간 부하 불균형 문제를 해결하기 위해 통계적 기하(stochastic geometry) 모델링을 도입한다. 이를 기반으로 동일 홉 영역에서의 공간적 자원 재사용률을 분석하고, 각 홉 영역 별로 최적의 자원 할당을 통해 채널간의 부하 불균형 문제를 해결하여 자원 활용도를 극대화하는 것을 보인다.

OFDMA 시스템에서 Elastic 서비스를 위한 Opportunistic 스케줄링 기법 (Opportunistic Scheduling Schemes for Elastic Services in OFDMA Systems)

  • 권정안;이장원
    • 한국통신학회논문지
    • /
    • 제34권1A호
    • /
    • pp.76-83
    • /
    • 2009
  • 본 논문에서는 OFDMA를 이용하는 시스템에서의 elastic 서비스를 위한 공평성을 고려한 opportunistic 스케줄링 기법에 대하여 연구한다. 본 논문에서는 각 유저의 만족도를 유틸리티로 정의한 후 네트워크 유틸리티 극대화 기법을 이용한다. 이러한 유틸리티는 각 유저가 이용하는 서비스에 따라 서로 다르게 정의할 수 있으며 elastic 서비스의 경우에는 평균 전송률이 높을수록 유저의 만족도가 높아지게 된다. 이를 반영하기 위하여 각 유저의 유틸리티를 평균 전송률에 대한 함수로 정의한다. 또한 각 유저 사이의 공평한 자원 배분을 위한 조건을 유저들의 유틸리티를 이용하여 정의하고 이를 만족하는 동시에 각 유저의 유틸리티의 합으로 정의되는 네트워크 유틸리티를 극대화 하기위한 opportunistic 스케줄링 기법을 연구한다. 본 논문에서는 각각의 공평성 조건에 대한 opportunistic 스케줄링 문제를 최적화 문제로 정의하고 이를 dual 기법과 stochastic sub-gradient 기법으로 풀어 스케줄링 기법을 구현하도록 한다.

신경망를 이용한 무선망에서의 채널 관리 기법 (A Channel Management Technique using Neural Networks in Wireless Networks)

  • 노철우;김경민;이광의;김광백
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2006년도 춘계종합학술대회
    • /
    • pp.115-119
    • /
    • 2006
  • 채널은 무선망에 있어서 한정된 주요 자원 중의 하나이다. 다양한 채널 관리 기법들이 제시되어 왔으며, 최근 들어 가드채널의 최적화 문제가 부각되고 있다. 본 논문에서는 신경망을 이용한 지능적인 채널 관리 기법을 제안한다. 신경망의 학습 데이터 생성과 성능분석을 위하여 SRN(Stochastic Reward Net) 채널 할당 모델이 개발된다. 제안된 기법에서 신경망은 지도학습 방법인 역전파 알고리즘을 이용하여 최적의 가드채널 값 g를 계산하도록 학습한다. 학습된 신경망을 이용하여 최적의 g를 계산하고, 이를 SRN모델에서 구해진 결과와 비교한다. 실험결과는 신경망에서 구한 가드채널 수와 SRN 모델로부터 구한 가드채널 수의 상대적 차이가 없음을 보여준다.

  • PDF

운용중 모드해석 방법과 신경망을 이용한 온라인 유한요소모델 업데이트 (On-line Finite Element Model Updating Using Operational Modal Analysis and Neural Networks)

  • 박원석
    • 한국전산구조공학회논문집
    • /
    • 제34권1호
    • /
    • pp.35-42
    • /
    • 2021
  • 이 논문에서는 공용중인 구조물의 상시 계측 자료를 사용한 온라인 유한요소 모델 업데이트 방법을 제안한다. 일반적인 최적화 방법에 기반한 기존의 방법은 최적해를 찾기까지 반복적으로 고유치 해석을 수행해야 하므로 상시 업데이트에 사용하기에는 효과적이지 못하다. 제안하는 방법은 별도의 오프라인 작업이나 사용자의 개입이 없이 자동화된 과정으로 계측과 동시에 온라인 유한요소모델 업데이트를 수행할 수 있는 새로운 방법이다. 자동화된 Cov-SSI 알고리즘을 통해 구조물의 진동 계측 신호로부터 고유진동수 및 모드 형상을 식별하고, 이를 다시 역 고유치 신경망에 입력하여 최종적으로 업데이트된 유한요소 모델의 파라미터를 추정한다. 풍하중을 받는 20층 전단 빌딩 구조 모형에 대한 수치예제를 통해 제시한 방법이 자동으로 연속적인 유한요소모델 업데이트를 할 수 있었음을 확인하였다. 또한, 계측 도중 구조물의 특성이 변화하는 시나리오에 대한 예제에서 구조물의 변화가 일어나는 시점과 변화 후 변동된 구조 모델 파라미터 값을 성공적으로 추정할 수 있음을 확인하였다.

멀티 파티 시스템에서 딥러닝을 위한 프라이버시 보존 기술 (Privacy Preserving Techniques for Deep Learning in Multi-Party System)

  • 고혜경
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.647-654
    • /
    • 2023
  • 딥러닝은 이미지, 텍스트와 같이 복잡한 데이터를 분류 및 인식하는데 유용한 방법으로 딥러닝 기법의 정확도는 딥러닝이 인터넷상의 AI 기반의 서비스를 유용하게 하는데 기초가 되었다. 그러나 딥러닝에서 훈련에 사용되는 방대한 양의 사용자 데이터는 사생활 침해 문제를 야기하였고 사진이나 보이스와 같이 사용자이 개인적이고 민감한 데이터를 수집한 기업들이 데이터들을 무기한으로 소유한다. 사용자들은 자신의 데이터를 삭제할 수 없고 사용되는 목적도 제한할 수 없다. 예를 들면, 환자 진료기록에 대한 딥러닝 기술을 적용하기 원하는 의료기관들과 같은 데이터소유자들은 사생활과 기밀유지 문제로 환자의 데이터를 공유할 수 없고 딥러닝 기술의 혜택을 받기 어렵다. 우리는 멀티 파티 시스템에서 다수의 작업자들이 입력 데이터집합을 공유하지 않고 신경망 모델을 공동으로 사용할 수 있는 프라이버시 보존 기술을 적용한 딥러닝 방법을 설계한다. 변형된 확률적 경사 하강에 기초한 최적화 알고리즘을 이용하여 하위 집합을 선택적으로 공유할 수 있는 방법을 이용하였고 결과적으로 개인정보를 보호하면서 학습 정확도를 증가시킨 학습을 할 수 있도록 하였다.

사건 발생 확률 변화를 고려한 에이전트-타깃 감지 문제 (Agent-target Detection Problem Considering Change in Probability of Event Occurrence)

  • 김광
    • 한국산업정보학회논문지
    • /
    • 제29권4호
    • /
    • pp.67-76
    • /
    • 2024
  • 본 연구에서는 다중 에이전트를 이용한 타깃 감지 문제를 다루는데, 특히 이동식 에이전트를 활용한 감지 문제는 경로 계획에 대한 전략이 추가로 필요하다. 문제의 목표는 특정 기간 내 감지 프로세스를 통해 총 효용을 극대화할 수 있는 각 에이전트의 경로를 찾는 것인데, 시간에 따라 타깃의 사건 발생 확률이 변하도록 하는 포아송 프로세스(Poisson process) 기반의 확률적 프로세스(stochastic process)를 고려하여 현실적인 효용 값을 반영한다. 본 감지 문제의 목적함수는 비선형(non-linearity)이고, NP-난해(NP-hard) 문제로 표현된다. 효율적인 계산 시간 내에 효과적인 해를 찾기 위해, 본 연구에서는 하위모듈성(submodularity)의 특성을 갖는 목적함수임을 증명하고, 이를 활용해 비교적 낮은 계산 시간으로 합리적인 전략을 얻기 위한 휴리스틱 알고리즘을 제안한다. 제안한 알고리즘은 해의 성능과 적절한 계산 시간 내에 해를 도출할 수 있다는 측면에서 우수한 알고리즘임을 이론 및 실험적으로 제시한다.

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성 (Korean Sentence Generation Using Phoneme-Level LSTM Language Model)

  • 안성만;정여진;이재준;양지헌
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.71-88
    • /
    • 2017
  • 언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

추계학적 계획모형을 이용한 하천수질관리 (Stochastic Programming Model for River Water Quality Management)

  • 조재현
    • 대한토목학회논문집
    • /
    • 제14권1호
    • /
    • pp.231-243
    • /
    • 1994
  • 본 연구에서는 하천본류의 유량과 수질, 하수처리장 유입수량과 유입수질을 확률변수로 두고, 취수 문제와 수중보에 의한 재포기현상을 포함하는 추계학적 하천수질관리모형을 개발하였다. Streeter-Phelps식을 이용해서 각 구간 하천수질의 기대값과 분산을 계산하는 확률모형을 만들고, 최적화문제의 확률적 제약식은 chance constrained 방법을 이용해서 확정적 제약식으로 변환한다. 목적함수는 지역내 하수처리장의 년간처리비용으로 두었다. 건설비용함수와 유지관리비함수는 처리효율과 처리용량의 함수인 비선형의 단일식으로 유도되었다. 최적화문제는 비선형계획법으로 해를 구하였다. 본 모형을 한강하류부에 적용한 결과 서울시내 4개 하수처리장에서 2차처리를 하고, 지천유입수의 BOD부하량이 현재와 같을 때, 1996년 DO수질기준을 만족하는 신뢰도는 50% 정도였다. 그리고 탄천, 중량천, 안양천의 BOD부하량을 현재보다 50% 감소시켰을 때 1996년 DO수질기준을 만족하는 신뢰도는 60% 이상이었다. 따라서 한강하류부의 수질보전을 위해서는 유입지천의 수질개선과 2차처리 이상의 하수처리가 요구된다.

  • PDF

Bi-level program에서 Cournot-Nash게임과 Stackelberg게임의 비교연구 (Comparison between Cournot-Nash and Stackelberg Game in Bi-level Program)

  • 임용택;임강원
    • 대한교통학회지
    • /
    • 제22권7호
    • /
    • pp.99-106
    • /
    • 2004
  • 본 연구에서는 바이레벨 문제를 풀기 위한 2가지 접근법, 즉 Cournot-Nash 게임과 Stackelbgerg 게임을 서로 비교하기 위한 것으로, 하위문제가 결정적인 통행배정문제(deterministic traffic assignment)인 경우와 확률적 통행배정문제(stochastic traffic assignment)인 경우로 구분하여 분석한다. 바이레벨 프로그램(bi-level program)은 상위문제(upper level program)과 하위 문제(lower level program)로 구성된 수리적인 문제로 상위문제는 목적하는 특정함수를 최적화시키는 형태이며, 하위문제는 통행자의 행태를 반영하는 형태로 구축된다. 기존에 제시된 알고리듬중 바이레벨문제의 대표적인 풀이 알고리듬인 IOA(Iterative Optimization Assignment) 알고리듬과 기종점 통행행렬추정(OD matrix estimation)에 주로 사용되는 IEA(Iterative Estimation Assignment)은 상위문제와 하위문제가 서로 독립적으로 존재하면서 설계변수와 통행량을 서로 주고받는 형태를 갖고 있어 Cournot-Nash 게임형태이다. 이에 반해, 최근에 제시된 민감도분석(Sensitivity analysis)을 기초로 한 알고리듬들은 상위문제에서 결정된 설계변수 변화에 대해 하위문제의 통행량변화를 민감도를 통해 고려하기 때문에 Stackelbeg게임이라고 볼 수 있다. 본 연구에서는 이들 알고리듬들을 비교하는 데 연구의 목적이 있으며, 기존에 제시된 기법과는 다른 좀 더 효율적인 접근법을 제시한다. 예제 교통망을 이용하여 제시된 모형들을 비교해본 결과, 결정적인 통행배정모형을 하위문제로 설정한 경우에는 두가지 접근법 모두 동일한 상위목적함수 값을 보여 우위를 판단할 수 없었지만, 확정적 통행배정모형으로 설정한 경우, Stackelberg게임 접근법이 Cournot-Nash게임 접근법 보다 더 우수함을 확인할 수 있었다.