• 제목/요약/키워드: Machine Learning & Training

검색결과 796건 처리시간 0.028초

A Gaussian process-based response surface method for structural reliability analysis

  • Su, Guoshao;Jiang, Jianqing;Yu, Bo;Xiao, Yilong
    • Structural Engineering and Mechanics
    • /
    • 제56권4호
    • /
    • pp.549-567
    • /
    • 2015
  • A first-order moment method (FORM) reliability analysis is commonly used for structural stability analysis. It requires the values and partial derivatives of the performance to function with respect to the random variables for the design. These calculations can be cumbersome when the performance functions are implicit. A Gaussian process (GP)-based response surface is adopted in this study to approximate the limit state function. By using a trained GP model, a large number of values and partial derivatives of the performance functions can be obtained for conventional reliability analysis with a FORM, thereby reducing the number of stability analysis calculations. This dynamic renewed knowledge source can provide great assistance in improving the predictive capacity of GP during the iterative process, particularly from the view of machine learning. An iterative algorithm is therefore proposed to improve the precision of GP approximation around the design point by constantly adding new design points to the initial training set. Examples are provided to illustrate the GP-based response surface for both structural and non-structural reliability analyses. The results show that the proposed approach is applicable to structural reliability analyses that involve implicit performance functions and structural response evaluations that entail time-consuming finite element analyses.

폐 결절 검출을 위한 합성곱 신경망의 성능 개선 (Performance Improvement of Convolutional Neural Network for Pulmonary Nodule Detection)

  • 김한웅;김병남;이지은;장원석;유선국
    • 대한의용생체공학회:의공학회지
    • /
    • 제38권5호
    • /
    • pp.237-241
    • /
    • 2017
  • Early detection of the pulmonary nodule is important for diagnosis and treatment of lung cancer. Recently, CT has been used as a screening tool for lung nodule detection. And, it has been reported that computer aided detection(CAD) systems can improve the accuracy of the radiologist in detection nodules on CT scan. The previous study has been proposed a method using Convolutional Neural Network(CNN) in Lung CAD system. But the proposed model has a limitation in accuracy due to its sparse layer structure. Therefore, we propose a Deep Convolutional Neural Network to overcome this limitation. The model proposed in this work is consist of 14 layers including 8 convolutional layers and 4 fully connected layers. The CNN model is trained and tested with 61,404 regions-of-interest (ROIs) patches of lung image including 39,760 nodules and 21,644 non-nodules extracted from the Lung Image Database Consortium(LIDC) dataset. We could obtain the classification accuracy of 91.79% with the CNN model presented in this work. To prevent overfitting, we trained the model with Augmented Dataset and regularization term in the cost function. With L1, L2 regularization at Training process, we obtained 92.39%, 92.52% of accuracy respectively. And we obtained 93.52% with data augmentation. In conclusion, we could obtain the accuracy of 93.75% with L2 Regularization and Data Augmentation.

Volumetric-Modulated Arc Radiotherapy Using Knowledge-Based Planning: Application to Spine Stereotactic Body Radiotherapy

  • Jeong, Chiyoung;Park, Jae Won;Kwak, Jungwon;Song, Si Yeol;Cho, Byungchul
    • 한국의학물리학회지:의학물리
    • /
    • 제30권4호
    • /
    • pp.94-103
    • /
    • 2019
  • Purpose: To evaluate the clinical feasibility of knowledge-based planning (KBP) for volumetric-modulated arc radiotherapy (VMAT) in spine stereotactic body radiotherapy (SBRT). Methods: Forty-eight VMAT plans for spine SBRT was studied. Two planning target volumes (PTVs) were defined for simultaneous integrated boost: PTV for boost (PTV-B: 27 Gy/3fractions) and PTV elective (PTV-E: 24 Gy/3fractions). The expert VMAT plans were manually generated by experienced planners. Twenty-six plans were used to train the KBP model using Varian RapidPlan. With the trained KBP model each KBP plan was automatically generated by an individual with little experience and compared with the expert plan (closed-loop validation). Twenty-two plans that had not been used for KBP model training were also compared with the KBP results (open-loop validation). Results: Although the minimal dose of PTV-B and PTV-E was lower and the maximal dose was higher than those of the expert plan, the difference was no larger than 0.7 Gy. In the closed-loop validation, D1.2cc, D0.35cc, and Dmean of the spinal cord was decreased by 0.9 Gy, 0.6 Gy, and 0.9 Gy, respectively, in the KBP plans (P<0.05). In the open-loop validation, only Dmean of the spinal cord was significantly decreased, by 0.5 Gy (P<0.05). Conclusions: The dose coverage and uniformity for PTV was slightly worse in the KBP for spine SBRT while the dose to the spinal cord was reduced, but the differences were small. Thus, inexperienced planners could easily generate a clinically feasible plan for spine SBRT by using KBP.

객체검출을 위한 빠르고 효율적인 Haar-Like 피쳐 선택 알고리즘 (A Fast and Efficient Haar-Like Feature Selection Algorithm for Object Detection)

  • 정병우;박기영;황선영
    • 한국통신학회논문지
    • /
    • 제38A권6호
    • /
    • pp.486-491
    • /
    • 2013
  • 본 논문은 객체검출(object detection)에 사용되는 분류기의 학습을 위한 빠르고 효율적인 Haar-like feature 선택 알고리듬을 제안한다. 기존 AdaBoost를 이용한 Haar-like feature 선택 알고리듬은 학습 샘플들에 대한 피쳐의 에러만을 고려하여 형태적으로 유사하거나 중복되는 피쳐가 선택되는 경우가 많았다. 제안하는 알고리듬은 피쳐의 형태와 피쳐간의 거리로부터 피쳐의 유사도를 계산하고 이미 선택된 피쳐와 유사도가 큰 피쳐들을 피쳐 세트에서 제거하여 빠르고 효율적인 피쳐 선택이 이루어지도록 하였다. FERET 얼굴 데이터베이스를 사용하여 제안된 알고리듬을 사용하여 학습시킨 분류기와 기존 알고리듬을 사용한 분류기의 성능을 비교하였다. 실험 결과 제안한 피쳐 선택 방법을 사용하여 학습시킨 분류기가 기존 방법을 사용한 분류기보다 향상된 성능을 보였으며, 동일한 성능을 갖도록 학습시켰을 경우 분류기의 피쳐 수가 20% 감소하였다.

하이브리드 드롭아웃 (Hybrid dropout)

  • 박종선;이명규
    • 응용통계연구
    • /
    • 제32권6호
    • /
    • pp.899-908
    • /
    • 2019
  • 수 많은 모수들을 가지고 있는 방대한 심층신경망은 매우 강력한 기계학습 방법이지만 모형의 과도한 융통성으로 인하여 과적합문제를 내포하고 있다. 드롭아웃 방법은 크기가 큰 신경망의 과적합 문제를 해결하는 다양한 방법들 중 하나이며 매우 효과적인 방법으로 알려져 있다. 드롭아웃 방법은 훈련과정에서 각각의 표본에 다른 모형을 적용하는데 이들 모형은 입력과 은닉층의 노드들을 무작위로 제거한 모형들 중에 임의로 선택된다. 본 연구에서는 임의로 선택된 모형에 둘 이상의 표본을 적용하여 모형의 가중치들에 대한 추정치의 안정성을 높이는 하이브리드 드롭아웃 방법을 제시하였다. 실제 자료를 이용한 시뮬레이션 결과 노드의 선택확률과 모형의 적합에 사용되는 표본의 수를 적절하게 선택하여 기존의 방법에 비하여 추정치의 변동성이 감소시킬 수 있었으며 동시에 검증자료에 대한 최저오차도 줄일 수 있음을 보였다.

질의응답 시스템에서 처음 보는 단어의 역문헌빈도 기반 단어 임베딩 기법 (Inverse Document Frequency-Based Word Embedding of Unseen Words for Question Answering Systems)

  • 이우인;송광호;심규석
    • 정보과학회 논문지
    • /
    • 제43권8호
    • /
    • pp.902-909
    • /
    • 2016
  • 질의응답 시스템은 사용자의 질문에 대한 답을 찾아주는 시스템으로, 기존의 검색엔진이 사용자의 질의에 대해 관련된 문서의 링크만을 찾아주는 반면 질문에 대한 최종적인 답을 찾아준다는 차이점이 있다. 특정 분야에 국한되지 않고 다양한 질문을 처리해주는 오픈 도메인 질의응답 시스템에 필요한 연구들이 최근 자연어 처리, 인공지능, 데이터 마이닝 등 학계의 다양한 분야들에서 뜨거운 관심을 받고 있다. 하지만 관련 연구에서는 학습 데이터에는 없었던 단어들이 질문에 대한 정확한 답과 유사한 오답을 구별해내는데 결정적인 역할을 할 수 있음에도, 이러한 처음 보는 단어들을 모두 단일 토큰으로 치환해버리는 문제가 있다. 본 논문에서는 문맥 정보를 통해 이러한 모르는 단어에 대한 벡터를 계산하는 방법을 제안한다. 그리고 역문헌빈도 가중치를 활용하여 문맥정보를 더 효율적으로 처리하는 모델을 제안한다. 또한 풍부한 실험을 통해 질의응답 시스템의 모델 학습 속도 및 정확성이 기존 연구에 비해 향상됨을 확인하였다.

의학문서 질의응답을 위한 정답 스닛핏 검색 (Answer Snippet Retrieval for Question Answering of Medical Documents)

  • 이현구;김민경;김학수
    • 정보과학회 논문지
    • /
    • 제43권8호
    • /
    • pp.927-932
    • /
    • 2016
  • 온라인 의학 문서의 폭발적 증가와 함께 질의응답 시스템에 대한 필요성이 늘어나고 있다. 최근에는 기계학습에 기반 한 질의응답 모델들이 다양한 영역에서 좋은 결과를 보여 왔다. 그러나 의학 영역에서 질의응답 모델들은 학습 데이터의 부족으로 인해 여전히 정보 검색 기술에 기반을 두고 있다. 본 논문에서는 다양한 정보검색 기술에 기반 한 의학문서 질의응답용 정답 스닛핏 검색 모델을 제안한다. 제안 모델은 먼저 클러스터 기반 검색 기술을 이용하여 의학 문서로부터 많은 정답 후보 문장을 검색한다. 그리고 다양한 문장 검색 기술들에 기반 한 정답 후보 문장 재순위화 모델을 사용하여 신뢰성 있는 정답 스닛핏을 생성한다. BioASQ 4b 데이터를 이용한 실험에서 제안 모델은 기존 모델보다 좋은 성능(MAP 0.0604)을 보였다.

정보 유사성 기반 입자화 중심 RBF NN의 진화론적 설계 (Genetic Design of Granular-oriented Radial Basis Function Neural Network Based on Information Proximity)

  • 박호성;오성권;김현기
    • 전기학회논문지
    • /
    • 제59권2호
    • /
    • pp.436-444
    • /
    • 2010
  • In this study, we introduce and discuss a concept of a granular-oriented radial basis function neural networks (GRBF NNs). In contrast to the typical architectures encountered in radial basis function neural networks(RBF NNs), our main objective is to develop a design strategy of GRBF NNs as follows : (a) The architecture of the network is fully reflective of the structure encountered in the training data which are granulated with the aid of clustering techniques. More specifically, the output space is granulated with use of K-Means clustering while the information granules in the multidimensional input space are formed by using a so-called context-based Fuzzy C-Means which takes into account the structure being already formed in the output space, (b) The innovative development facet of the network involves a dynamic reduction of dimensionality of the input space in which the information granules are formed in the subspace of the overall input space which is formed by selecting a suitable subset of input variables so that the this subspace retains the structure of the entire space. As this search is of combinatorial character, we use the technique of genetic optimization to determine the optimal input subspaces. A series of numeric studies exploiting some nonlinear process data and a dataset coming from the machine learning repository provide a detailed insight into the nature of the algorithm and its parameters as well as offer some comparative analysis.

상황에 민감한 베이지안 분류기를 이용한 얼굴 표정 기반의 감정 인식 (Emotion Recognition Based on Facial Expression by using Context-Sensitive Bayesian Classifier)

  • 김진옥
    • 정보처리학회논문지B
    • /
    • 제13B권7호
    • /
    • pp.653-662
    • /
    • 2006
  • 사용자의 상황에 따라 적절한 서비스를 제공하는 컴퓨팅 환경을 구현하려는 유비쿼터스 컴퓨팅에서 사람과 기계간의 효과적인 상호작용과 사용자의 상황 인식을 위해 사용자의 얼굴 표정 기반의 감정 인식이 HCI의 중요한 수단으로 이용되고 있다. 본 연구는 새로운 베이지안 분류기를 이용하여 상황에 민감한 얼굴 표정에서 기본 감정을 강건하게 인식하는 문제를 다룬다. 표정에 기반한 감정 인식은 두 단계로 나뉘는데 본 연구에서는 얼굴 특징 추출 단계는 색상 히스토그램 방법을 기반으로 하고 표정을 이용한 감정 분류 단계에서는 학습과 테스트를 효과적으로 실행하는 새로운 베이지안 학습 알고리즘인 EADF(Extended Assumed-Density Filtering)을 이용한다. 상황에 민감한 베이지안 학습 알고리즘은 사용자 상황이 달라지면 복잡도가 다른 분류기를 적용할 수 있어 더 정확한 감정 인식이 가능하도록 제안되었다. 실험 결과는 표정 분류 정확도가 91% 이상이며 상황이 드러나지 않게 얼굴 표정 데이터를 모델링한 결과 10.8%의 실험 오류율을 보였다.

조건부 랜덤 필드를 이용한 특허 문서의 개체명 인식 (Named Entity Recognition for Patent Documents Based on Conditional Random Fields)

  • 이태석;신수미;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권9호
    • /
    • pp.419-424
    • /
    • 2016
  • 특허 정보검색에서는 검색 정확도를 높이거나 유사 특허들을 검색하기 위한 목적으로 청구항 등 특허 기술 문서의 내용을 대표하는 개체명 인식이 필요하다. 본 연구에서는 특허 개체명을 자동으로 인식하기 위하여 기계 학습 기법에서 태깅 문제 해결에 매우 우수한 성능을 보이는 조건부 랜덤 필드 기법을 이용하는 특허 개체명 인식 방법을 제안하였다. 개체명 태깅이 되어 있는 특허 문서 말뭉치에서 66만 어절을 학습용 데이터로 사용하여 특허 개체명 시스템을 구축하고, 7만 어절을 평가용 데이터로 사용하여 성능 평가를 하였다. 실험 결과에 의하면 개체명 인식 정확도는 93.6%이고, 개체명 인식 성능을 수작업 태깅 결과와 비교하여 일치도를 평가했을 때 카파 계수는 0.67로 나타났다. 이 카파 계수값은 두 사람의 수작업 태깅 결과에 대한 카파 계수 0.6 보다 높은 것으로 특허 개체명 인식 시스템이 수작업 태깅을 대신하여 실용적으로 활용될 수 있음을 확인하였다.