• 제목/요약/키워드: Q-Learning

검색결과 432건 처리시간 0.03초

MEC 환경에서 심층 강화학습을 이용한 오프로딩 기법의 성능비교 (Performance Comparison of Deep Reinforcement Learning based Computation Offloading in MEC)

  • 문성원;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.52-55
    • /
    • 2022
  • 5G 시대에 스마트 모바일 기기가 기하급수적으로 증가하면서 멀티 액세스 엣지 컴퓨팅(MEC)이 유망한 기술로 부상했다. 낮은 지연시간 안에 계산 집약적인 서비스를 제공하기 위해 MEC 서버로 오프로딩하는 특히, 태스크 도착률과 무선 채널의 상태가 확률적인 MEC 시스템 환경에서의 오프로딩 연구가 주목받고 있다. 본 논문에서는 차량의 전력과 지연시간을 최소화하기 위해 로컬 실행을 위한 연산 자원과 오프로딩을 위한 전송 전력을 할당하는 심층 강화학습 기반의 오프로딩 기법을 제안하였다. Deep Deterministic Policy Gradient (DDPG) 기반 기법과 Deep Q-network (DQN) 기반 기법을 차량의 전력 소비량과 큐잉 지연시간 측면에서 성능을 비교 분석하였다.

얼굴인식 알고리즘을 활용한 잠금해제 및 자율주행 약제배송로봇 개발 (Development of An Autonomous Medicine Delivery Robot Using Facial Recognition for Unlocking Mechanisms)

  • 김유경;김예린
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.874-875
    • /
    • 2023
  • 본 논문은 COVID-19와 같은 전염병 확산 방지를 위해 비대면 약제배송로봇을 제안한다. 제안한 로봇은 OpenCV와 Q-Learning기반의 모델을 사용하여 실시간 영상처리로 사람의 얼굴을 식별한다. 환자의 얼굴, 나이, 전달 약제 등을 환자 데이터베이스에 등록한다. 카메라로 인식된 환자의 얼굴과 데이터베이스 내 환자의 얼굴이 일치할 경우 잠금장치를 해제시켜 환자의 약제 수령을 허용한다. 또한 어플리케이션을 통해 약제가 올바르게 전달되었는지 2차적으로 확인한다. 따라서 본 논문에서 제안한 로봇은 비대면으로 환자에게 약을 전달함으로써 입원병동에서 발생할 수 있는 전염병 확상의 방지에 효과적으로 기여할 수 있을 것이다.

Novel Reward Function for Autonomous Drone Navigating in Indoor Environment

  • Khuong G. T. Diep;Viet-Tuan Le;Tae-Seok Kim;Anh H. Vo;Yong-Guk Kim
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.624-627
    • /
    • 2023
  • Unmanned aerial vehicles are gaining in popularity with the development of science and technology, and are being used for a wide range of purposes, including surveillance, rescue, delivery of goods, and data collection. In particular, the ability to avoid obstacles during navigation without human oversight is one of the essential capabilities that a drone must possess. Many works currently have solved this problem by implementing deep reinforcement learning (DRL) model. The essential core of a DRL model is reward function. Therefore, this paper proposes a new reward function with appropriate action space and employs dueling double deep Q-Networks to train a drone to navigate in indoor environment without collision.

신경망을 이용한 사용자 질의 전자 메일 분류 (Classification of Query E-Mail Using Neural Network)

  • 변영철;홍영보
    • 한국멀티미디어학회논문지
    • /
    • 제7권3호
    • /
    • pp.438-449
    • /
    • 2004
  • 인터넷 사용 증가와 함께 질의 메일의 사용이 증가함에 따라 인터넷 사이트 운영자는 이용자가 질문을 하기 전에 먼저 FAQ나 Q&A를 먼저 확인하기를 바라고 있으나 사용자는 간단히 질의 메일을 보냄으로써 답을 손쉽게 얻으려고 한다. 이에 따라 질의 메일 증가는 상담자에게 많은 시간과 비용을 투자하도록 하고 있다. 본 연구는 질의 메일을 자동으로 분류함으로써 담당자가 메일을 효과적으로 처리하도록 하기 위한 방법에 관한 연구이다. 본 연구의 타당성을 검증하기 위하여 현재 한국통신(주) 코넷에서 받은 질의 메일을 실험 데이터로 사용하였다. 14개의 질의 메일 부류에 대해 210개의 학습 데이터와 280개의 테스트 데이터 등 모두 490개의 데이터를 이용하여 실험을 수행한 결과 신속한 답장을 바라는 사용자의 요구에 부응함을 알 수 있었다.

  • PDF

이진 삼차 재귀 신경망과 유전자 알고리즘을 이용한 문맥-자유 문법의 추론 (Inference of Context-Free Grammars using Binary Third-order Recurrent Neural Networks with Genetic Algorithm)

  • 정순호
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권3호
    • /
    • pp.11-25
    • /
    • 2012
  • 이 논문은 이진 삼차 재귀 신경망(Binary Third-order Recurrent Neural Networks: BTRNN)에 유전자 알고리즘을 적용하여 문맥-자유 문법을 추론하는 방법을 제안한다. BTRNN은 각 입력심볼에 대응되는 재귀 신경망들의 다층적 구조이고 외부의 스택과 결합된다. BTRNN의 매개변수들은 모두 이진수로 표현되며 상태 전이와 동시에 스택의 한 동작이 실행된다. 염색체로 표현된 BTRNN들에 유전자 알고리즘을 적용하여 긍정과 부정의 입력 패턴들의 문맥-자유 문법을 추론하는 최적의 BTRNN를 얻는다. 이 방법은 기존의 신경망 이용방법보다 적은 학습량과 적은 학습회수로 작거나 같은 상태 수를 갖는 BTRNN을 추론한다. 또한 문법 표현의 염색체 이용방법보다 parsing과정에서 결정적인 상태전이와 스택동작이 실행되므로 입력 패턴에 대한 인식처리 시간복잡도가 우수하다. 문맥-자유 문법의 비단말 심볼의 개수 p, 단말 심볼의 개수 q, 그리고 길이가 k인 문자열이 입력이 될 때, BTRNN의 최대 상태수가 m이라고 하면, BTRNN의 인식처리 병렬처리 시간은 O(k)이고 순차처리 시간은 O(km)이다.

다중 AFLC를 이용한 SynRM 드라이브의 효율 최적화 제어 (Efficiency Optimization Control of SynRM Drive using Multi-AFLC)

  • 최정식;고재섭;장미금;정동화
    • 조명전기설비학회논문지
    • /
    • 제24권5호
    • /
    • pp.44-54
    • /
    • 2010
  • SynRM 효율최적화 제어는 다른 교류전동기에 비해 SynRM의 효율이 낮기 때문에 에너지 절약과 환경보존의 관점에서 매우 중요하다. 본 논문에서는 다중 AFLC를 이용하여 철손을 고려한 SynRM의 새로운 효율 최적화 제어를 제안하였다. 최대효율에서 SynRM을 구동하기 위해 토크전류와 여자전류사이의 최적전류비를 분석하여 구한다. 본 논문에서는 동손과 철손을 최소로 하는 SynRM의 효율 최적화 제어를 제안하였다. 특정한 모터토크를 제공하는 d축과 q축 전류의 다양한 조합이 존재한다. 효율 최적화의 목적은 정상상태에서 최소 손실을 제공하는 d축과 q축 전류의 조합을 찾는 것이며, 제안된 제어기의 제어 성능은 다양한 동작조건의 분석을 통해 평가되었다. 분석된 결과는 제안된 알고리즘의 타당성을 입증한다.

CAB: Classifying Arrhythmias based on Imbalanced Sensor Data

  • Wang, Yilin;Sun, Le;Subramani, Sudha
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권7호
    • /
    • pp.2304-2320
    • /
    • 2021
  • Intelligently detecting anomalies in health sensor data streams (e.g., Electrocardiogram, ECG) can improve the development of E-health industry. The physiological signals of patients are collected through sensors. Timely diagnosis and treatment save medical resources, promote physical health, and reduce complications. However, it is difficult to automatically classify the ECG data, as the features of ECGs are difficult to extract. And the volume of labeled ECG data is limited, which affects the classification performance. In this paper, we propose a Generative Adversarial Network (GAN)-based deep learning framework (called CAB) for heart arrhythmia classification. CAB focuses on improving the detection accuracy based on a small number of labeled samples. It is trained based on the class-imbalance ECG data. Augmenting ECG data by a GAN model eliminates the impact of data scarcity. After data augmentation, CAB classifies the ECG data by using a Bidirectional Long Short Term Memory Recurrent Neural Network (Bi-LSTM). Experiment results show a better performance of CAB compared with state-of-the-art methods. The overall classification accuracy of CAB is 99.71%. The F1-scores of classifying Normal beats (N), Supraventricular ectopic beats (S), Ventricular ectopic beats (V), Fusion beats (F) and Unclassifiable beats (Q) heartbeats are 99.86%, 97.66%, 99.05%, 98.57% and 99.88%, respectively. Unclassifiable beats (Q) heartbeats are 99.86%, 97.66%, 99.05%, 98.57% and 99.88%, respectively.

Nuclear Magnetic Resonance (NMR)-Based Quantification on Flavor-Active and Bioactive Compounds and Application for Distinguishment of Chicken Breeds

  • Kim, Hyun Cheol;Yim, Dong-Gyun;Kim, Ji Won;Lee, Dongheon;Jo, Cheorun
    • 한국축산식품학회지
    • /
    • 제41권2호
    • /
    • pp.312-323
    • /
    • 2021
  • The purpose of this study was to use 1H nuclear magnetic resonance (1H NMR) to quantify taste-active and bioactive compounds in chicken breasts and thighs from Korean native chicken (KNC) [newly developed KNCs (KNC-A, -C, and -D) and commercial KNC-H] and white-semi broiler (WSB) used in Samgye. Further, each breed was differentiated using multivariate analyses, including a machine learning algorithm designed to use metabolic information from each type of chicken obtained using 1H-13C heteronuclear single quantum coherence (2D NMR). Breast meat from KNC-D chickens were superior to those of conventional KNC-H and WSB chickens in terms of both taste-active and bioactive compounds. In the multivariate analysis, meat portions (breast and thigh) and chicken breeds (KNCs and WSB) could be clearly distinguished based on the outcomes of the principal component analysis and partial least square-discriminant analysis (R2=0.945; Q2=0.901). Based on this, we determined the receiver operating characteristic (ROC) curve for each of these components. AUC analysis identified 10 features which could be consistently applied to distinguish between all KNCs and WSB chickens in both breast (0.988) and thigh (1.000) meat without error. Here, both 1H NMR and 2D NMR could successfully quantify various target metabolites which could be used to distinguish between different chicken breeds based on their metabolic profile.

심근 세포의 전기생리학적 특징을 이용한 인공 신경망 기반 약물의 심장독성 평가 (An Artificial Neural Network-Based Drug Proarrhythmia Assessment Using Electrophysiological Characteristics of Cardiomyocytes)

  • 유예담;정다운;;임기무
    • 대한의용생체공학회:의공학회지
    • /
    • 제42권6호
    • /
    • pp.287-294
    • /
    • 2021
  • Cardiotoxicity assessment of all drugs has been performed according to the ICH guidelines since 2005. Non-clinical evaluation S7B has focused on the hERG assay, which has a low specificity problem. The comprehensive in vitro proarrhythmia assay (CiPA) project was initiated to correct this problem, which presented a model for classifying the Torsade de pointes (TdP)-induced risk of drugs as biomarkers calculated through an in silico ventricular model. In this study, we propose a TdP-induced risk group classifier of artificial neural network (ANN)-based. The model was trained with 12 drugs and tested with 16 drugs. The ANN model was performed according to nine features, seven features, five features as an individual ANN model input, and the model with the highest performance was selected and compared with the classification performance of the qNet input logistic regression model. When the five features model was used, the results were AUC 0.93 in the high-risk group, AUC 0.73 in the intermediate-risk group, and 0.92 in the low-risk group. The model's performance using qNet was lower than the ANN model in the high-risk group by 17.6% and in the low-risk group by 29.5%. This study was able to express performance in the three risk groups, and it is a model that solved the problem of low specificity, which is the problem of hERG assay.

생성형 인공지능 기반 수업 경험 및 활용 방안에 대한 연구 - 프로그래밍 수업을 중심으로 (A Study on the Experience and Utilization of Generative AI-Based Classes - Focusing on Programming Classes)

  • 박중오
    • 실천공학교육논문지
    • /
    • 제16권1_spc호
    • /
    • pp.33-39
    • /
    • 2024
  • 본 연구는 최근 생성형 AI로 인한 새로운 교육 트렌드 변화에 학습자들의 수업 경험에 대한 긍정/부정 인식의 변화와 실제 활용 형태를 살펴본다. 공학 계열 대학생 6학급을 대상으로 2학기 동안 AI 챗봇을 웹 프로그래밍 수업에 활용하였고, 학기 초부터 설문 조사를 시작으로 중간/기말 고사 보고서 제출 기간까지 학습자의 경험과 활용에 대한 변화를 분석했다. 연구 분석 결과, Q/A 피드백과 실습 문제 해결 등 학습 개선에 도움이 되었고, 수업 적용 이후 중간부터 기말범위까지 챗봇에 대한 인식이 긍정적으로 변화하였다. 이외 수업 내에 커뮤니티 단절(개인화) 문제와 교육 S/W로써 활용 방안에 대한 유의미한 결론을 도출했다. 본 연구는 앞으로 생성형 AI 기반 소프트웨어 개발을 위한 기초 연구로써 의의가 있다.