• 제목/요약/키워드: Q-Learning

검색결과 432건 처리시간 0.027초

농촌개발사업 참여 주체의 역량 강화 방안 (Strategies and measures for capacity building in rural development project)

  • 김정섭;권인혜
    • 농촌지도와개발
    • /
    • 제17권3호
    • /
    • pp.385-418
    • /
    • 2010
  • This study aimed to find the way to help participants build capacity in rural development projects, through some case studies and Q-methodology. Decentralization and diffusion of bottom-up approach in rural development projects are the main contextual factors in this study. With the ethos of bottom-up approach in rural development, the human and financial inputs for capacity building increased drastically in the area of rural development policy. Four types of capacity building methods were identified in this study; training, consulting, learning organization, and forum. Theses methods were used more at planning step than implementation step in rural development projects. The government's effort to strengthen leadership in rural areas should be continued. The existing government's training program for capacity building had better include more diverse clients. Actions for capacity building should be centered on the needs of the participants in fields. Especially, organizing learning units is very important. Governments' rural development policy should establish the proper process which can help local actors plan their projects with enough time span.

The Roles and Characteristics of R&D Investment in the IT Firms: IT Hardware Firms vs. IT Software Firms

  • Lee, Myunggun;Park, Jongpil;Park, Woojin
    • Asia pacific journal of information systems
    • /
    • 제25권1호
    • /
    • pp.61-81
    • /
    • 2015
  • Investment in research and development (R&D) is critical in the information technology (IT) firms, where newer and better technology is a quintessential goal that directly affects innovation and competitive advantage. This study investigates how R&D investment influences firm performance and value, and how the effect of R&D investment differs between IT hardware and software firms. We also analyze the relationship between firm age and R&D investment in order to identify learning effects on continuous R&D investment. The empirical investigation in this study, based on longitudinal archival data from 2001 to 2010, found a significant effect of R&D investment on firm performance in IT firms. Further, this study demonstrates causal relationship between firm age, and verifies that learning effects are present in R&D investment. Moreover, the results are found to differ between IT hardware and IT software firms.

A Reinforcement learning-based for Multi-user Task Offloading and Resource Allocation in MEC

  • Xiang, Tiange;Joe, Inwhee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.45-47
    • /
    • 2022
  • Mobile edge computing (MEC), which enables mobile terminals to offload computational tasks to a server located at the user's edge, is considered an effective way to reduce the heavy computational burden and achieve efficient computational offloading. In this paper, we study a multi-user MEC system in which multiple user devices (UEs) can offload computation to the MEC server via a wireless channel. To solve the resource allocation and task offloading problem, we take the total cost of latency and energy consumption of all UEs as our optimization objective. To minimize the total cost of the considered MEC system, we propose an DRL-based method to solve the resource allocation problem in wireless MEC. Specifically, we propose a Asynchronous Advantage Actor-Critic (A3C)-based scheme. Asynchronous Advantage Actor-Critic (A3C) is applied to this framework and compared with DQN, and Double Q-Learning simulation results show that this scheme significantly reduces the total cost compared to other resource allocation schemes

차량 환경에서 엣지 커버리지 오버랩을 고려한 강화학습 기반의 엣지 캐싱 (Edge Caching Based on Reinforcement Learning Considering Edge Coverage Overlap in Vehicle Environment)

  • 최윤정;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.110-113
    • /
    • 2022
  • 인터넷을 통해 주위 사물과 연결된 차량은 사용자에게 편리성을 제공하기 위해 다양한 콘텐츠를 요구하는데 클라우드로부터 가져오는 시간이 비교적 오래 걸리기 때문에 차량과 물리적으로 가까운 위치에 캐싱하는 기법들이 등장하고 있다. 본 논문에서는 기반 시설이 밀집하게 설치된 도시 환경에서 maximum distance separable(MDS) 코딩을 사용해 road side unit(RSU)에 캐싱하는 방법에 대해 연구하였다. RSU의 중복된 서비스 커버리지 지역을 고려하여 차량의 콘텐츠 요구에 대한 RSU hit ratio를 높이기 위해 deep Q-learning(DQN)를 사용하였다. 실험 결과 비교 알고리즘보다 hit raito 측면에서 더 높은 성능을 보이는 것을 증명하였다.

차량 엣지 컴퓨팅에서 로드 밸런싱을 고려한 강화학습 기반의 마이그레이션 (Migration with Load Balancing Based on Reinforcement Learning in Vehicular Edge Computing)

  • 문성원;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.66-69
    • /
    • 2021
  • 최근 실시간 응답 및 처리에 민감한 서비스들이 급증하면서 멀티액세스 엣지 컴퓨팅(MEC)이 차세대 기술로 주목받고 있다. 사용자들의 잦은 이동성 때문에 MEC 서버들 사이에서의 마이그레이션은 중요한 문제로 다뤄진다. 본 논문에서는 이동성이 많은 차량 엣지 컴퓨팅 환경을 고려하였으며, 강화학습 기법인 Q-learning 을 사용하여 마이그레이션 여부 및 대상을 결정하는 기법을 제안하였다. 제안 기법의 목적은 지연 제약조건을 만족시키면서 차량 엣지 컴퓨팅 서버(VECS) 사이의 로드 밸런싱을 최적화하는 것이다. 제안 기법의 성능 비교를 통하여 다른 기법들보다 로드 밸런싱 측면에서 약 22-30%, 지연 제약조건 만족도 측면에서 약 20-31%로 더 좋은 성능을 보임을 확인하였다.

Deep Reinforcement Learning-Based Edge Caching in Heterogeneous Networks

  • Yoonjeong, Choi; Yujin, Lim
    • Journal of Information Processing Systems
    • /
    • 제18권6호
    • /
    • pp.803-812
    • /
    • 2022
  • With the increasing number of mobile device users worldwide, utilizing mobile edge computing (MEC) devices close to users for content caching can reduce transmission latency than receiving content from a server or cloud. However, because MEC has limited storage capacity, it is necessary to determine the content types and sizes to be cached. In this study, we investigate a caching strategy that increases the hit ratio from small base stations (SBSs) for mobile users in a heterogeneous network consisting of one macro base station (MBS) and multiple SBSs. If there are several SBSs that users can access, the hit ratio can be improved by reducing duplicate content and increasing the diversity of content in SBSs. We propose a Deep Q-Network (DQN)-based caching strategy that considers time-varying content popularity and content redundancy in multiple SBSs. Content is stored in the SBS in a divided form using maximum distance separable (MDS) codes to enhance the diversity of the content. Experiments in various environments show that the proposed caching strategy outperforms the other methods in terms of hit ratio.

UAV 지원 MEC 시스템의 로드 밸런싱과 에너지 효율성을 고려한 강화학습 기반 태스크 마이그레이션 (Task Migration for Load Balancing and Energy Efficiency based on Reinforcement Learning in UAV-Enabled MEC System)

  • 신아영;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.74-77
    • /
    • 2022
  • 최근 사물 인터넷(IoT)의 발전으로 계산 집약적이거나 지연시간에 민감한 태스크가 증가하면서, 모바일 엣지 컴퓨팅 기술이 주목받고 있지만 지상에 고정되어 있는 MEC 서버는 사용자의 요구사항 변화에 따라 서버의 위치를 변경하거나 유연하게 대처할 수 없다. 이 문제를 해결하기 위해 UAV(Unmanned Aerial Vehicle)를 추가로 이용해 엣지 서비스를 제공하는 기법이 연구되고 있다. 그러나 UAV는 지상 MEC와는 달리 배터리 용량이 제한되어 있어 태스크 마이그레이션을 통해 에너지 사용량을 최소화하는 것이 필요하다. 본 논문에서는 MEC 서버들 사이의 로드 밸런싱과 UAV MEC 서버의 에너지 효율성을 최적화하기 위해 강화학습 기법인 Q-learning을 이용한 태스크 마이그레이션 기법을 제안한다. 제안 시스템의 성능을 평가하기 위해 UAV의 개수에 따라 실험을 진행하여 잔여 에너지와 로드 밸런싱 측면에서 성능을 분석한다.

교사교육을 위한 프로젝트 기반 가상학습커뮤니티 구축 (The Development of a Project-Based Cyber Learning Community for Teacher Education)

  • 조미헌;이옥화
    • 정보교육학회논문지
    • /
    • 제9권2호
    • /
    • pp.243-254
    • /
    • 2005
  • 지식정보사회의 변화와 정보통신기술의 발달과 대중화에 따른 교육의 개혁에 대한 요구가 증대되고 있으며, 그 요구에 부응하고자 최근 가상교육에 대한 관심이 고조되고 있다. 가상교육은 '정보 전달 모델'을 지양하고, '지식 구성 모델'을 채택해야 한다. 이에 가상교육 환경에서 학습자가 다양한 상호작용을 통하여 지식을 재구성하거나 생성할 수 있는 기회를 제공하고 지원할 수 있는 방안으로서 '프로젝트기반학습' 방법의 도입과 더불어서 '가상학습커뮤니티'의 구성과 운영이 필요하다. 본 연구는 교사교육에 초점을 두고, 프로젝트기반학습 방법의 활용 방안과 가상학습커뮤니티의 구성 및 운영 방안을 체계화하고, 실제 운영이 가능한 프로젝트 기반 가상학습커뮤니티 운영 시스템을 구축하였다. 시스템은 5가지 큰 메뉴와 세부 메뉴로 이루어지는데, Home(커뮤니티운영취지, 알림방, 프로젝트목록, 요구함), 프로젝트학습센터(학습활동 준비실, 모둠학습실, 발표회장), 만남의 광장(모둠별 멘터링 신청, 생각 나눔터, 전문가와의 만남, 설문조사참여, 포럼참여, 작품전시회), 자료창고(프로젝트학습사례, 프로젝트학습자료, 교사교육자료, 기타자료), 관리기능(프로젝트 관리, 프로젝트 사례, 아이디어뱅크, 파트너찾기, 교수자대화방, 자료나누기, 경험나누기, 설문조사관리, 포럼관리) 등으로 구성된다.

  • PDF

단층 코어넷 다단입력 인공신경망회로의 함수에 관한 구현가능 연구 (The Implementable Functions of the CoreNet of a Multi-Valued Single Neuron Network)

  • 박종준
    • 전기전자학회논문지
    • /
    • 제18권4호
    • /
    • pp.593-602
    • /
    • 2014
  • 인공신경망회로 목표 중의 하나는 최소한의 회로구성으로 구현가능함수를 가능한 많게 하는데 있다. 본 논문은 인공신경망회로의 가장 기본이 되는 하나의 입력노드와 하나의 출력노드, 그리고 입출력에 다단(multi-level)값을 갖는 단층(입출력 2 layer) 다단 코어넷(CoreNet)을 제안하고 그 처리 용량을 구하였고, 무게값 공간에서 구현 가능한 함수와 각 무게값 좌표(${\omega}$,${\theta}$)를 계산으로 구하여 한 함수의 구현 가능 여부를 알 수 있게 하였다. 또 입력 단계(level)값 설정 방법으로 cot(${\sqrt{x}}$)을 제안하였다. 제안된 p단 입력과 q단 출력을 갖는 코어넷의 처리용량(구현 가능한 함수의 수)은 $a_{p,q}={\frac{1}{2}}p(p-1)q^2-{\frac{1}{2}}(p-2)(3p-1)q+(p-1)(p-2)$임을 유도 증명하였다. 시뮬레이션으로 5단(level) 입력 값과, 6단 출력 값을 갖는 1(5)-1(6) 모델을 분석한 결과, cot(${\sqrt{x}}$) 입력 레벨링법에서 총 246가지의 함수가 구현가능 함을 보였다. 이 모델의 시뮬레이션 결과에서는 최대 219개의 함수가 수렴(구현 가능)하였고, 구현가능 함수 중에서 나머지 수렴되지 않은 27개의 함수는 무게값 공간에서 무게값 좌표를 계산하여 구현 가능함을 보였다. 이는 앞에서 제시된 코어넷 처리용량 $a_{5,6}(=246)$에 의한 계산 값과 일치하였다. 무게값 공간에서, 구현 가능한 함수가 차지하는 영역의 함수번호 매김 방법도 제시하여 구현 가능함수의 번호도 알 수 있도록 하였다.

웹에서 문제 해결 기반 및 자기 주도적학습 시스템의 설계와 구현 (Design and Implementation of an Problem-Solving Based and Self-Directed Learning System on Web)

  • 김경덕;이상운
    • 한국멀티미디어학회논문지
    • /
    • 제7권7호
    • /
    • pp.944-955
    • /
    • 2004
  • 현대 사회는 고도의 정보화 사회로서 평생 교육을 강조하며, 학교 현장에서는 학습자의 창의적 학습의 강조와 더불어 다양한 교수-학습 방법을 요구한다. 이러한 요구사항을 만족시키는 학습중의 하나가 웹을 활용한 자기 주도적 교수-학습 방법이다. 그러나 현재까지 개발된 대부분의 학습 자료는 단순 학습을 위한 웹 기반 교수-학습 자료이거나 단순한 문제 은행 시스템이 개발되어 있으며, 이러한 기존 학습 시스템들은 문제 해결 학습을 자기 주도적으로 수행할 수 있는 학습을 지원하기는 미흡하다. 그러므로 본 논문에서는 웹에서 문제 해결 학습과 자기 주도적 학습을 함께 활용하는 학습 시스템을 제안한다. 제안한 학습 시스템을 이용하여 학습자는 교과의 기본 개념과 원리를 학습한 후, 문제를 기반으로 하여 학습자의 사고력을 배양하고 스스로 학습 수준의 조정을 통하여 효율적인 학습을 수행한다. 제안한 학습 시스템은 중등학교 수학 교육에 적용을 보였으며, 학습자 스스로 문제 은행으로부터 선택한 문제를 이용하여 시험과 학력 수준의 파악 및 교수자와 온라인 게시판을 통하여 의문점 해결을 지원한다. 또한 자료실과 묻고 답하기를 이용한 학습자와 학습자, 교수자와 학습자간의 상호 정보를 공유함으로써 학습의 효율성을 높일 수 있는 것으로 확인하였다.

  • PDF