• Title/Summary/Keyword: 확률신경망

Search Result 261, Processing Time 0.026 seconds

Alzheimer's Diagnosis and Generation-Based Chatbot Using Hierarchical Attention and Transformer (계층적 어탠션 구조와 트랜스포머를 활용한 알츠하이머 진단과 생성 기반 챗봇)

  • Park, Jun Yeong;Choi, Chang Hwan;Shin, Su Jong;Lee, Jung Jae;Choi, Sang-il
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.07a
    • /
    • pp.333-335
    • /
    • 2022
  • 본 논문에서는 기존에 두 가지 모델이 필요했던 작업을 하나의 모델로 처리할 수 있는 자연어 처리 아키텍처를 제안한다. 단일 모델로 알츠하이머 환자의 언어패턴과 대화맥락을 분석하고 두 가지 결과인 환자분류와 챗봇의 대답을 도출한다. 일상생활에서 챗봇으로 환자의 언어특징을 파악한다면 의사는 조기진단을 위해 더 정밀한 진단과 치료를 계획할 수 있다. 제안된 모델은 전문가가 필요했던 질문지법을 대체하는 챗봇 개발에 활용된다. 모델이 수행하는 자연어 처리 작업은 두 가지이다. 첫 번째는 환자가 병을 가졌는지 여부를 확률로 표시하는 '자연어 분류'이고 두 번째는 환자의 대답에 대한 챗봇의 다음 '대답을 생성'하는 것이다. 전반부에서는 셀프어탠션 신경망을 통해 환자 발화 특징인 맥락벡터(context vector)를 추출한다. 이 맥락벡터와 챗봇(전문가, 진행자)의 질문을 함께 인코더에 입력해 질문자와 환자 사이 상호작용 특징을 담은 행렬을 얻는다. 벡터화된 행렬은 환자분류를 위한 확률값이 된다. 행렬을 챗봇(진행자)의 다음 대답과 함께 디코더에 입력해 다음 발화를 생성한다. 이 구조를 DementiaBank의 쿠키도둑묘사 말뭉치로 학습한 결과 인코더와 디코더의 손실함수 값이 유의미하게 줄어들며 수렴하는 양상을 확인할 수 있었다. 이는 알츠하이머병 환자의 발화 언어패턴을 포착하는 것이 향후 해당 병의 조기진단과 종단연구에 기여할 수 있음을 보여준다.

  • PDF

Development of an On-line Intelligent Embedded System for Detection the Leakage of Pipeline (실시간 누수 감지 가능한 매립형 지능형 배관 진단 시스템)

  • Lee, Changgil;Kim, Tae-Heon;Chang, Hajoo;Park, Seunghee
    • 한국방재학회:학술대회논문집
    • /
    • 2011.02a
    • /
    • pp.94-94
    • /
    • 2011
  • 배관 구조물에서는 내부 미세 균열에서부터 국부 좌굴, 볼트 풀림, 피로 균열 등과 같이 다양한 형태의 손상이 복합적으로 발생 가능하다. 이러한 복합 손상은 배관 구조물의 누수, 누유 등의 사고를 야기할 수 있다. 하지만 기존의 단일 스케일 계측 시스템으로부터 복합 손상에 의한 실시간 누수를 진단하기는 매우 어렵다. 본 연구 단계에서는 누수를 야기하는 복합 손상을 효율적으로 진단하기 위하여 선행 연구에서 제안된 압전센서를 이용한 자가 계측 회로 기반의 다중 스케일 계측 시스템을 구조물의 복합 손상 진단에 적용하였다. 자가 계측 회로 기반 다중 스케일 계측 시스템은 크게 두 가지 형태의 신호를 계측한다. 첫 번째 스케일은 임피던스 계측으로부터 특정 주파수 대역폭에 대한 구조 응답을 계측하며, 두 번째 스케일은 유도 초음파 계측으로부터 단일 중심 주파수에 해당하는 구조물의 응답을 계측한다. 복합 손상을 손상 유형별로 분류하기 위하여 E/M 임피던스(Electro-mechanical impedance)및 유도 초음파(Guided wave) 계측으로부터 추출한 특성을 이용하여 2차원 손상지수를 계산하고 이를 지도학습 기반 패턴인식 기법(Supervised learning based pattern recognition) 중 확률론적 신경망 기법(Probabilistic Neural Network, PNN)에 적용한다. 제안된 기법의 적용성 검토를 위하여 파이프 구조물에 인위적으로 다중 손상을 생성시켜 시험을 수행하였다. 본 연구에서 제안된 기법이 실제 배관 구조물에 성공적으로 적용된다면 손상 부재의 거동 및 구조물 성능의 손상에 대한 영향을 효율적으로 진단하고 평가함으로써 배관 구조물의 효과적인 유지관리가 가능할 것으로 예상된다.

  • PDF

Location Based Reminder on the Wireless LAN Environment (무선 LAN 환경에서의 위치기반 알리미)

  • Hong, In-Pyo;Park, Se-Jin;Kim, Min-Koo
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02a
    • /
    • pp.808-815
    • /
    • 2007
  • 유비쿼터스 컴퓨팅에 대한 관심이 높아지면서, 위치인식기술의 중요성이 대두 되고 있다. 기존에 많이 이용되어 왔던 위치인식기술에는 인공위성을 이용한 GPS, 초음파를 이용한 Cricket, 적외선을 이용한 Active Badge, RF를 이용한 RFDAR등이 있다. 하지만 이러한 기술들은 시스템을 위해 기반 시설을 전제 조건으로 하기 때문에 이용에 어려움이 따른다. 기존의 위치인식기술의 단점을 보안하기 위한 방법으로 제시된 것이 GSM과 무선 LAN을 이용한 위치인식기술들이다. 현재는 차량용 네비게이션, 물류시스템의 상품 운반 현황 추적 등 위치인식기술을 바탕으로 한 다양한 서비스들이 상용화되어 가고 있다. 상용화된 서비스들의 특성에 따라 개인화된 위치 정보를 필요로 하는 것들이 많아 지고 있으며, 개인화된 정보를 획득하고 이를 서비스에 적용하려는 시도가 여러 곳에서 진행 중이다. 개인화된 정보를 얻기 위해서는 사람이 이해하고 사용할 수 있는 장소라는 개념을 확보해야 하며, 인공지능적인 기술들을 필요로 하게 된다. 본 논문에서는 기반시설(AP: Access Point)이 충분한 무선 LAN을 이용하여 위치인식 기술애 대해 연구하였다. 기존의 무선 LAN 장비를 통하여 얻어진 위치 데이터를 가공하여 검색 기술의 고전적인 방법인 벡터 유사도와 확률 기반 유사도를 적용하여 인식률의 추이를 실험해 보고, 인식률 증가를 위한 방법들을 모색해 보겠다. 또 위치기반 알리미를 통하여 개인화 정보에 대한 적용 방향에 대해 연구해 보고자 한다.

  • PDF

Guassian pdfs Clustering Using a Divergence Measure-based Neural Network (발산거리 기반의 신경망에 의한 가우시안 확률 밀도 함수의 군집화)

  • 박동철;권오현
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.29 no.5C
    • /
    • pp.627-631
    • /
    • 2004
  • An efficient algorithm for clustering of GPDFs(Gaussian Probability Density Functions) in a speech recognition model is proposed in this paper. The proposed algorithm is based on CNN with the divergence as its distance measure and is applied to a speech recognition. The algorithm is compared with conventional Dk-means(Divergence-based k-means) algorithm in CDHMM(Continuous Density Hidden Markov Model). The results show that it can reduce about 31.3% of GPDFs over Dk-means algorithm without suffering any recognition performance. When compared with the case that no clustering is employed and full GPDFs are used, the proposed algorithm can save about 61.8% of GPDFs while preserving the recognition performance.

Improving the Training Performance of Multilayer Neural Network by Using Stochastic Approximation and Backpropagation Algorithm (확률적 근사법과 후형질과 알고리즘을 이용한 다층 신경망의 학습성능 개선)

  • 조용현;최흥문
    • Journal of the Korean Institute of Telematics and Electronics B
    • /
    • v.31B no.4
    • /
    • pp.145-154
    • /
    • 1994
  • This paper proposes an efficient method for improving the training performance of the neural network by using a hybrid of a stochastic approximation and a backpropagation algorithm. The proposed method improves the performance of the training by appliying a global optimization method which is a hybrid of a stochastic approximation and a backpropagation algorithm. The approximate initial point for a stochastic approximation and a backpropagation algorihtm. The approximate initial point for fast global optimization is estimated first by applying the stochastic approximation, and then the backpropagation algorithm, which is the fast gradient descent method, is applied for a high speed global optimization. And further speed-up of training is made possible by adjusting the training parameters of each of the output and the hidden layer adaptively to the standard deviation of the neuron output of each layer. The proposed method has been applied to the parity checking and the pattern classification, and the simulation results show that the performance of the proposed method is superior to that of the backpropagation, the Baba's MROM, and the Sun's method with randomized initial point settings. The results of adaptive adjusting of the training parameters show that the proposed method further improves the convergence speed about 20% in training.

  • PDF

Personalized Recommendation based on Item Dependency Map (Item Dependency Map을 기반으로 한 개인화된 추천기법)

  • Youm, Sun-Hee;Cho, Dong-Sub
    • Proceedings of the KIEE Conference
    • /
    • 2001.07d
    • /
    • pp.2789-2791
    • /
    • 2001
  • 데이터 마이닝을 통해 우리는 숨겨진 지식, 예상되지 않았던 경향 그리고 새로운 법칙들을 방대한 데이터에서 이끌어내고자 한다. 본 논문에서 우리는 사용자의 구매 패턴을 발견하여 사용자가 원하는 상품을 미리 예측하여 추천하는 알고리즘을 소개하고자 한다. 제안하고 있는 item dependency map은 구매된 상품간의 관계를 수식화 하여 행렬의 형태로 표현한 것이다. Item dependency map의 값은 사용자가 A라는 상품을 구매한 후 B상품을 살 확률이다. 이런 정보를 가지고 있는 item dependency map은 홉필드 네트윅(Hopfield network)에서 연상을 위한 패턴 값으로 적용된다. 홉필드 네트웍은 각 노드사이의 연결가중치에 기억하고자 하는 것들을 연상시킨 뒤 어떤 입력을 통해서 전체 네트워크가 어떤 평형상태에 도달하는 방식으로 작동되는 신경망 중의 하나이다. 홉필드 네트웍의 특징 중의 하나는 부분 정보로부터 전체 정보를 추출할 수 있는 것이다. 이러한 특징을 가지고 사용자들의 일반적인 구매패턴을 일부 정보만 가지고 예측할 수 있다. Item dependency map은 홉필드 네트윅에서 사용자들의 그룹별 패턴을 학습하는데 사용된다. 따라서 item dependency map이 얼마나 사용자 구매패턴에 대한 정보를 가지고 있는지에 따라 그 결과가 결정되는 것이다. 본 논문은 정확한 item dependency map을 계산해 내는 알고리즘을 주로 논의하겠다.

  • PDF

Prediction of KBO playoff Using the Deep Neural Network (DNN을 활용한 'KBO' 플레이오프진출 팀 예측)

  • Ju-Hyeok Park;Yang-Jae Lee;Hee-Chang Han;Yoo-Lim Jun;Yoo-Jin Moon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.01a
    • /
    • pp.315-316
    • /
    • 2023
  • 본 논문에서는 딥러닝을 활용하여 KBO (Korea Baseball Organization)의 다음 시즌 플레이오프 진출 확률을 예측하는 Deep Neural Network (DNN) 시스템을 설계하고 구현하는 방법을 제안한다. 연구 방법으로 KBO 각 시즌별 데이터를 1999년도 데이터부터 수집하여 분석한 결과, 각 시즌 데이터 중 경기당 평균 득점, 타자 OPS, 투수 WHIP 등이 시즌 결과에 유의미한 영향을 끼치는 것을 확인하였다. 모델 설계는 linear, softmax 함수를 사용하는 것보다 relu, tanh, sigmoid 함수를 사용했을 때 더 높은 정확도를 얻을 수 있었다. 실제 2022 시즌 결과를 예측한 결과 88%의 정확도를 도출했다. 폭투의 수, 피홈런 등 가중치가 높은 변수의 값이 우수할 경우 시즌 결과가 좋게 나온다는 것이 증명되었다. 본 논문에서 설계한 이 시스템은 KBO 구단만이 아닌 모든 야구단에서 선수단을 구성하는데 활용 가능하다고 사료된다.

  • PDF

Distance Estimation Based on RSSI and RBF Neural Network for Location-Based Service (위치 서비스를 위한 RBF 신경회로망과 RSSI 기반의 거리추정)

  • Byeong-Ro Lee;Ju-Won Lee
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.16 no.5
    • /
    • pp.265-271
    • /
    • 2023
  • Recently, location information services are gradually expanding due to the development of information and communication technology. RSSI is widely used to extract indoor and outdoor locations. The indoor and outdoor location estimation methods using RSSI are less accurate due to the influence of radio wave paths, interference, and surrounding wireless devices. In order to improve this problem, a distance estimation method that takes into account the wireless propagation environment is necessary. Therefore, in this study, we propose a distance estimation algorithm that takes into account the radio wave environment. The proposed method estimates the distance by learning RSSI input and output considering the RBF neural network and the propagation environment. To evaluate the performance of the proposed method, the performance of estimating the location of the receiver within a range of up to 55[m] using a BLE beacon transmitter and receiver was compared with the average filter and Kalman filter. As a result, the distance estimation accuracy of the proposed method was 6.7 times higher than that of the average filter and Kalman filter. As shown in the results of this performance evaluation, if the method of this study is applied to location services, more accurate location estimation will be possible.

Corporate Credit Rating based on Bankruptcy Probability Using AdaBoost Algorithm-based Support Vector Machine (AdaBoost 알고리즘기반 SVM을 이용한 부실 확률분포 기반의 기업신용평가)

  • Shin, Taek-Soo;Hong, Tae-Ho
    • Journal of Intelligence and Information Systems
    • /
    • v.17 no.3
    • /
    • pp.25-41
    • /
    • 2011
  • Recently, support vector machines (SVMs) are being recognized as competitive tools as compared with other data mining techniques for solving pattern recognition or classification decision problems. Furthermore, many researches, in particular, have proved them more powerful than traditional artificial neural networks (ANNs) (Amendolia et al., 2003; Huang et al., 2004, Huang et al., 2005; Tay and Cao, 2001; Min and Lee, 2005; Shin et al., 2005; Kim, 2003).The classification decision, such as a binary or multi-class decision problem, used by any classifier, i.e. data mining techniques is so cost-sensitive particularly in financial classification problems such as the credit ratings that if the credit ratings are misclassified, a terrible economic loss for investors or financial decision makers may happen. Therefore, it is necessary to convert the outputs of the classifier into wellcalibrated posterior probabilities-based multiclass credit ratings according to the bankruptcy probabilities. However, SVMs basically do not provide such probabilities. So it required to use any method to create the probabilities (Platt, 1999; Drish, 2001). This paper applied AdaBoost algorithm-based support vector machines (SVMs) into a bankruptcy prediction as a binary classification problem for the IT companies in Korea and then performed the multi-class credit ratings of the companies by making a normal distribution shape of posterior bankruptcy probabilities from the loss functions extracted from the SVMs. Our proposed approach also showed that their methods can minimize the misclassification problems by adjusting the credit grade interval ranges on condition that each credit grade for credit loan borrowers has its own credit risk, i.e. bankruptcy probability.

Forecasting the Precipitation of the Next Day Using Deep Learning (딥러닝 기법을 이용한 내일강수 예측)

  • Ha, Ji-Hun;Lee, Yong Hee;Kim, Yong-Hyuk
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.26 no.2
    • /
    • pp.93-98
    • /
    • 2016
  • For accurate precipitation forecasts the choice of weather factors and prediction method is very important. Recently, machine learning has been widely used for forecasting precipitation, and artificial neural network, one of machine learning techniques, showed good performance. In this paper, we suggest a new method for forecasting precipitation using DBN, one of deep learning techniques. DBN has an advantage that initial weights are set by unsupervised learning, so this compensates for the defects of artificial neural networks. We used past precipitation, temperature, and the parameters of the sun and moon's motion as features for forecasting precipitation. The dataset consists of observation data which had been measured for 40 years from AWS in Seoul. Experiments were based on 8-fold cross validation. As a result of estimation, we got probabilities of test dataset, so threshold was used for the decision of precipitation. CSI and Bias were used for indicating the precision of precipitation. Our experimental results showed that DBN performed better than MLP.