• Title/Summary/Keyword: Q-Learning

검색결과 430건 처리시간 0.026초

Middleware for Context-Aware Ubiquitous Computing

  • Hung Q.;Sungyoung
    • 정보처리학회지
    • /
    • 제11권6호
    • /
    • pp.56-75
    • /
    • 2004
  • In this article we address some system characteristics and challenging issues in developing Context-aware Middleware for Ubiquitous Computing. The functionalities of a Context-aware Middleware includes gathering context data from hardware/software sensors, reasoning and inferring high-level context data, and disseminating/delivering appropriate context data to interested applications/services. The Middleware should facilitate the query, aggregation, and discovery for the contexts, as well as facilities to specify their privacy policy. Following a formal context model using ontology would enable syntactic and semantic interoperability, and knowledge sharing between different domains. Moddleware should also provide different kinds of context classification mechanical as pluggable modules, including rules written in different types of logic (first order logic, description logic, temporal/spatial logic, fuzzy logic, etc.) as well as machine-learning mechanical (supervised and unsupervised classifiers). Different mechanisms have different power, expressiveness and decidability properties, and system developers can choose the appropriate mechanism that best meets the reasoning requirements of each context. And finally, to promote the context-trigger actions in application level, it is important to provide a uniform and platform-independent interface for applications to express their need for different context data without knowing how that data is acquired. The action could involve adapting to the new environment, notifying the user, communicating with another device to exchange information, or performing any other task.

  • PDF

뉴로피드백을 이용한 주의력결핍 과잉행동장애의 치료 3례 (A Clinical Study on 3 Cases of ADHD Children Treated with Neurofeedback)

  • 황영준;김기봉;민상연;김장현
    • 대한한방소아과학회지
    • /
    • 제21권3호
    • /
    • pp.85-95
    • /
    • 2007
  • Objectives Attention Deficit Hyperactivity Disorder(ADHD) is a type of psychiatric disorder characterized with the primary symptoms of inattention and/or impulsivity and hyperactivity. The purpose of this study is to examine ADHD children who were treated with neurofeedback therapy. Methods We analyzed clinical report of 3 ADHD children who treated with neurofeedback therapy from January 2006 to June 2006. Results 1. All 3 children were diagnosed with predominantly inattention type of ADHD. 2. After treatment, cognitive strength, response, concentration, workload, left / right brain activity score were all different from each children. 3. After treatment, left and right brain activities were balanced. 4. After treatment, learning ability level was increased. 5. After treatment, the childrenwere in a better state referred to conner's scale and H.S.Q. score. Conclusions Further studies will be needed to get more clinical cases about the benefits of neurofeedback therapy with herbal medicine and acupuncture treatment.

  • PDF

국내 로봇 교육 연구 현황 분석 (Analysis of the Status of the Robot Education Researches)

  • 최정원;서영민;이영준
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제44차 하계학술발표논문집 19권2호
    • /
    • pp.397-400
    • /
    • 2011
  • 본 논문은 로봇 교육에 대한 연구의 동향 파악을 목적으로 학술연구정보서비스(RISS)를 활용하여 2000년부터 2011년까지 발간된 로봇 교육관련 국내학술지논문 119개를 분석하였다. 구체적인 조사 영역은 활용된 로봇의 종류, 연도별 논문 발행 수, 주제, 연구 대상, 적용교과, 연구방법으로 나누고 가장 많이 다루어지고 있는 연구 부분을 파악하였다. 주로 각 논문의 초록을 면밀히 분석하였으며 모호하다고 생각이 들 경우에는 논문 내용을 확인하였다. 연구 결과 로봇 교육 관련 연구는 해가 갈수록 증가하는 추세에 있으며 연구 방법으로는 양적 연구가 주를 이루지만 2007년 이후 질적 연구와 통합 연구 또한 증가하고 있었고, 로봇은 21가지 중에 주로 사용되는 것이 NXT와 피코 크리켓, iRobiQ였다. 연구 주제는 고차원적인 사고와 정서적인 측면을 측정하는 로봇 활용 교육이 다수를 차지하였고, 대상은 주로 초등학생에 집중되어 있었다. 연구에 적용된 교과를 살펴보면 주로 정보교과와 재량활동이나 방과후 활동, 통합교육 순이었다.

  • PDF

머신러닝 기법을 이용한 미계측지역에 적용가능한 지역화 Low-flow indices 산정 (Estimation of regional Low-flow Indices Applicable to Unmetered Areas Using Machine Learning Technique)

  • 정세진;강동호;김병식
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.39-39
    • /
    • 2020
  • Low-flow 하천에서의 최저수위를 나타내는 지표이다. 일반적으로 유황곡선의 갈수량(Q355)를 대표적으로 사용한다. Low-flow는 물 공급 관리 및 계획, 관개용수, 생태계등 다양한 분야에 영향을 미친다. 이러한 Low-flow를 산정하기 위해서는 충분한 기간의 유량자료가 필요하다. 하지만 국토의 70%가 산지지형으로 구성되어 있는 우리나라의 경우 국가하천과 1급하천을 제외한 산지유역은 수위관측소가 부재하거나 결측으로 인해 자료가 충분하지 않아 Low-flow분석에 한계가 있다. 이에 과거에는 미계측지역의 갈수량을 예측하기 위해서 다중회귀분석, ARIMA 모형 등 다양한 기법을 사용하였지만, 최근들어 머신러닝 모형의 수요가 증가하고 있다. 이에 본 연구에서는 새로운 패러다임에 맞는 머신러닝 기법인 DNN기법을 사용하고자 한다. DNN기법은 ANN기법의 단점인 학습과정에서 최적 매개변수값을 찾기 어렵고, 학습시간이 느린 단점을 보완한 방법이다. 따라서 본연구에서는 머신러닝 기법인 DNN기법을 통해 미계측지역에 적용 가능한 지역화 Low-flow indices를 산정하고자 한다. 먼저, Low-flow에 영향을 미치는 인자들을 수집하고 인자들간의 상관분석, 다중공선성 분석을 통해 통계적으로 유의한 변수를 선정하여, 머신러닝 모형에 입력자료를 구축하였다. 또한 기존의 갈수량 예측기법인 다중회귀분석 결과와 비교하여 머신러닝 기법의 효용성을 검토하였다.

  • PDF

AI World Cup 환경을 이용한 멀티 에이전트 기반 지능형 가상 축구 에이전트 구현 (Developing artificial football agents based upon multi-agent techniques in the AI world cup)

  • 이은후;성현아;정민지;이혜인;정진우;이의철;이지항
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.819-822
    • /
    • 2021
  • AI World Cup 환경은 다수 가상 에이전트들이 팀을 이뤄서 서로 상호작용하며 대전이 가능한 가상 축구 환경이다. 본 논문에서는 AI World Cup 환경에서 멀티 에이전트기반 학습/추론 기술을 사용하여 다양한 전략과 전술을 구사하는 가상 축구 에이전트 구현과 시뮬레이션 결과를 소개한다. 먼저, 역할을 바탕으로 협동하여 상대방과 대전할 수 있는 논리 기반 추론형 멀티 에이전트 기술이 적용된 Dynamic planning 축구 에이전트 9 세트를 구현하였다. 이후, 강화학습 에이전트 기반, 단일 에이전트를 조합한 Independent Q-Learning 방식의 학습형 축구 에이전트를 구현한 후, 이를 멀티 에이전트 강화학습으로 확장하여 역할 기반 전략 학습이 가능한 가상 축구 에이전트를 구현하고 시뮬레이션 하였다. 구현된 가상 축구 에이전트들 간 대전을 통해 승률을 확인하고, 전략의 우수성을 분석하였다. 시뮬레이션 예제는 다음에서 확인할 수 있다 (https://github.com/I-hate-Soccer/Simulation).

뉴로모픽 감각 인지 기술 동향 - 촉각, 후각을 중심으로 (Neuromorphic Sensory Cognition-Focused on Touch and Smell)

  • 박강호;이형근;강유성;김도엽;임정욱;제창한;윤조호;김정연;이성규
    • 전자통신동향분석
    • /
    • 제38권6호
    • /
    • pp.62-74
    • /
    • 2023
  • In response to diverse external stimuli, sensory receptors generate spiking nerve signals. These generated signals are transmitted to the brain along the neural pathway to advance to the stage of recognition or perception, and then they reach the area of discrimination or judgment for remembering, assessing, and processing incoming information. We review research trends in neuromorphic sensory perception technology inspired by biological sensory perception functions. Among the various senses, we consider sensory nerve decoding technology based on sensory nerve pathways focusing on touch and smell, neuromorphic synapse elements that mimic biological neurons and synapses, and neuromorphic processors. Neuromorphic sensory devices, neuromorphic synapses, and artificial sensory memory devices that integrate storage components are being actively studied. However, various problems remain to be solved, such as learning methods to implement cognitive functions beyond simple detection. Considering applications such as virtual reality, medical welfare, neuroscience, and cranial nerve interfaces, neuromorphic sensory recognition technology is expected to be actively developed based on new technologies, including combinatorial neurocognitive cell technology.

A DQN-based Two-Stage Scheduling Method for Real-Time Large-Scale EVs Charging Service

  • Tianyang Li;Yingnan Han;Xiaolong Li
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권3호
    • /
    • pp.551-569
    • /
    • 2024
  • With the rapid development of electric vehicles (EVs) industry, EV charging service becomes more and more important. Especially, in the case of suddenly drop of air temperature or open holidays that large-scale EVs seeking for charging devices (CDs) in a short time. In such scenario, inefficient EV charging scheduling algorithm might lead to a bad service quality, for example, long queueing times for EVs and unreasonable idling time for charging devices. To deal with this issue, this paper propose a Deep-Q-Network (DQN) based two-stage scheduling method for the large-scale EVs charging service. Fine-grained states with two delicate neural networks are proposed to optimize the sequencing of EVs and charging station (CS) arrangement. Two efficient algorithms are presented to obtain the optimal EVs charging scheduling scheme for large-scale EVs charging demand. Three case studies show the superiority of our proposal, in terms of a high service quality (minimized average queuing time of EVs and maximized charging performance at both EV and CS sides) and achieve greater scheduling efficiency. The code and data are available at THE CODE AND DATA.

대형할인점 확산에 대한 공간적 영향 (Spatial effect on the diffusion of discount stores)

  • 주영진;김미애
    • 한국유통학회지:유통연구
    • /
    • 제15권4호
    • /
    • pp.61-85
    • /
    • 2010
  • 본 연구에서는 국내 대형할인점의 확산을 효과적으로 설명하기 위해 기업의 정보와 구매자의 구전으로 확산을 설명하는 Bass모형에 제3의 요소로 공간적 영향력을 고려하였다. 국내 대형할인점의 확산은 확산중심지인 서울경인지역에서 저차중심지인 4개 지역권역으로 확산되는 형태를 보임에 따라 공간적 영향이 중요하게 작용할 것으로 기대된다. 본 연구에서 공간적으로 구분된 시장 A(확산중심지)가 시장 B(저차중심지)에 미치는 영향이 완전히 통제되지 못하는 상황에서 시장 A가 시장 B에 미치는 공간적 영향을 다국가확산모형(multinational diffusion model)을 확장한 공간확산모형(spatial diffusion model)을 이용하여 정의하였다. Bass모형과 공간확산모형의 모수추정을 통해 두 가지 정보전달경로와 관련된 혁신계수와 모방계수로 확산을 설명하는 Bass모형보다 공간확산모형이 국내 대형할인점 확산을 더욱 효과적으로 설명하는 것으로 나타났다. 또한 혁신중심지인 서울경인과 4개 지역권역의 소매환경을 나타내는 개념적 거리에 따라 공간확산모형에서 공간적요인의 영향력이 달라질 것이 기대되어 공간확산계수와 소매환경변수간의 상관관계를 살펴보았고, 연구결과 확산중심지에서 저차중심지에 대한 공간적 영향력은 저차중심지의 소매환경이 확산중심지의 소매환경과 유사할수록 크다는 것을 밝혀내었다.

  • PDF

A Vector-Controlled PMSM Drive with a Continually On-Line Learning Hybrid Neural-Network Model-Following Speed Controller

  • EI-Sousy Fayez F. M.
    • Journal of Power Electronics
    • /
    • 제5권2호
    • /
    • pp.129-141
    • /
    • 2005
  • A high-performance robust hybrid speed controller for a permanent-magnet synchronous motor (PMSM) drive with an on-line trained neural-network model-following controller (NNMFC) is proposed. The robust hybrid controller is a two-degrees-of-freedom (2DOF) integral plus proportional & rate feedback (I-PD) with neural-network model-following (NNMF) speed controller (2DOF I-PD NNMFC). The robust controller combines the merits of the 2DOF I-PD controller and the NNMF controller to regulate the speed of a PMSM drive. First, a systematic mathematical procedure is derived to calculate the parameters of the synchronous d-q axes PI current controllers and the 2DOF I-PD speed controller according to the required specifications for the PMSM drive system. Then, the resulting closed loop transfer function of the PMSM drive system including the current control loop is used as the reference model. In addition to the 200F I-PD controller, a neural-network model-following controller whose weights are trained on-line is designed to realize high dynamic performance in disturbance rejection and tracking characteristics. According to the model-following error between the outputs of the reference model and the PMSM drive system, the NNMFC generates an adaptive control signal which is added to the 2DOF I-PD speed controller output to attain robust model-following characteristics under different operating conditions regardless of parameter variations and load disturbances. A computer simulation is developed to demonstrate the effectiveness of the proposed 200F I-PD NNMF controller. The results confirm that the proposed 2DOF I-PO NNMF speed controller produces rapid, robust performance and accurate response to the reference model regardless of load disturbances or PMSM parameter variations.

의료기기 QI 활동 개선방안에 대한 연구 (A Study on Quality Improvement of Medical Equipments)

  • 강훈희;주라형;김종순;김서확;허수진
    • 한국의료질향상학회지
    • /
    • 제5권2호
    • /
    • pp.190-201
    • /
    • 1998
  • Background : Medical equipments take a very important role in diagnosis and treatment of disease in modern medicine and effective maintenance of the equipments is a necessary to provide a good health care to the public. After developing a new QC program for effective maintenance of medical equipments and practicing it for a year, we report the results of the new program. Methods : The maintenance data of 9 equipments in 8 categories including a CT Scanner were analyzed with regard to the parts responsible for most frequent failure and cause of the failure. After learning the most frequent failure part and cause of the failure, we developed a new QC program that emphasizes preventive maintenance of the most frequent failure part. We compared the number of failure per year and active rate of each equipment before and after the adoption of the new QC program. Results : The average number of failure per year per equipment was 20.7 before and it decreased by 43% to 11.9 after adoption of the new QC program. The average active rate of the equipments was 92.6% before and it increased by 3.2% to 95.8% after adoption of the new program. Conclusions : The practice of the new QC program appears very useful as it decreased the failure rate and increased the active rate of the equipments.

  • PDF