• 제목/요약/키워드: Multi-level Learning

검색결과 203건 처리시간 0.023초

A Novel Fundus Image Reading Tool for Efficient Generation of a Multi-dimensional Categorical Image Database for Machine Learning Algorithm Training

  • Park, Sang Jun;Shin, Joo Young;Kim, Sangkeun;Son, Jaemin;Jung, Kyu-Hwan;Park, Kyu Hyung
    • Journal of Korean Medical Science
    • /
    • 제33권43호
    • /
    • pp.239.1-239.12
    • /
    • 2018
  • Background: We described a novel multi-step retinal fundus image reading system for providing high-quality large data for machine learning algorithms, and assessed the grader variability in the large-scale dataset generated with this system. Methods: A 5-step retinal fundus image reading tool was developed that rates image quality, presence of abnormality, findings with location information, diagnoses, and clinical significance. Each image was evaluated by 3 different graders. Agreements among graders for each decision were evaluated. Results: The 234,242 readings of 79,458 images were collected from 55 licensed ophthalmologists during 6 months. The 34,364 images were graded as abnormal by at-least one rater. Of these, all three raters agreed in 46.6% in abnormality, while 69.9% of the images were rated as abnormal by two or more raters. Agreement rate of at-least two raters on a certain finding was 26.7%-65.2%, and complete agreement rate of all-three raters was 5.7%-43.3%. As for diagnoses, agreement of at-least two raters was 35.6%-65.6%, and complete agreement rate was 11.0%-40.0%. Agreement of findings and diagnoses were higher when restricted to images with prior complete agreement on abnormality. Retinal/glaucoma specialists showed higher agreements on findings and diagnoses of their corresponding subspecialties. Conclusion: This novel reading tool for retinal fundus images generated a large-scale dataset with high level of information, which can be utilized in future development of machine learning-based algorithms for automated identification of abnormal conditions and clinical decision supporting system. These results emphasize the importance of addressing grader variability in algorithm developments.

Hybrid Multi-layer Perceptron with Fuzzy Set-based PNs with the Aid of Symbolic Coding Genetic Algorithms

  • Roh, Seok-Beom;Oh, Sung-Kwun;Ahn, Tae-Chon
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2005년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.155-157
    • /
    • 2005
  • We propose a new category of hybrid multi-layer neural networks with hetero nodes such as Fuzzy Set based Polynomial Neurons (FSPNs) and Polynomial Neurons (PNs). These networks are based on a genetically optimized multi-layer perceptron. We develop a comprehensive design methodology involving mechanisms of genetic optimization and genetic algorithms, in particular. The augmented genetically optimized HFPNN (namely gHFPNN) results in a structurally optimized structure and comes with a higher level of flexibility in comparison to the one we encounter in the conventional HFPNN. The GA-based design procedure being applied at each layer of HFPNN leads to the selection of preferred nodes (FPNs or PNs) available within the HFPNN. In the sequel, two general optimization mechanisms are explored. First, the structural optimization is realized via GAs whereas the ensuing detailed parametric optimization is carried out in the setting of a standard least square method-based learning. The performance of the gHFPNNs quantified through experimentation where we use a number of modeling benchmarks-synthetic and experimental data already experimented with in fuzzy or neurofuzzy modeling.

  • PDF

Multi-focus Image Fusion using Fully Convolutional Two-stream Network for Visual Sensors

  • Xu, Kaiping;Qin, Zheng;Wang, Guolong;Zhang, Huidi;Huang, Kai;Ye, Shuxiong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권5호
    • /
    • pp.2253-2272
    • /
    • 2018
  • We propose a deep learning method for multi-focus image fusion. Unlike most existing pixel-level fusion methods, either in spatial domain or in transform domain, our method directly learns an end-to-end fully convolutional two-stream network. The framework maps a pair of different focus images to a clean version, with a chain of convolutional layers, fusion layer and deconvolutional layers. Our deep fusion model has advantages of efficiency and robustness, yet demonstrates state-of-art fusion quality. We explore different parameter settings to achieve trade-offs between performance and speed. Moreover, the experiment results on our training dataset show that our network can achieve good performance with subjective visual perception and objective assessment metrics.

Recurrent Neural Network with Multiple Hidden Layers for Water Level Forecasting near UNESCO World Heritage Site "Hahoe Village"

  • Oh, Sang-Hoon
    • International Journal of Contents
    • /
    • 제14권4호
    • /
    • pp.57-64
    • /
    • 2018
  • Among many UNESCO world heritage sites in Korea, "Historic Village: Hahoe" is adjacent to Nakdong River and it is imperative to monitor the water level near the village in a bid to forecast floods and prevent disasters resulting from floods.. In this paper, we propose a recurrent neural network with multiple hidden layers to predict the water level near the village. For training purposes on the proposed model, we adopt the sixth-order error function to improve learning for rare events as well as to prevent overspecialization to abundant events. Multiple hidden layers with recurrent and crosstalk links are helpful in acquiring the time dynamics of the relationship between rainfalls and water levels. In addition, we chose hidden nodes with linear rectifier activation functions for training on multiple hidden layers. Through simulations, we verified that the proposed model precisely predicts the water level with high peaks during the rainy season and attains better performance than the conventional multi-layer perceptron.

딥러닝 기반 이산웨이블릿변환 네트워크 (Discrete Wavelet Transform Network based on Deep Learning)

  • 이주원;박찬승;윤영재;김동욱
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.347-350
    • /
    • 2020
  • 본 논문에서는 영상 변환 기술인 이산웨이블릿변환(Discrete Wavelet Transform, DWT)를 딥러닝 기반의 네트워크로 구현한다. 딥러닝 기술 중에도 CNN 기반으로 네트워크를 설계하였으며, 본 DWT 네트워크는 해상도에 의존적이지 않은 계층들로만 구성된다. 데이터세트를 구성할 때 파이썬의 라이브러리를 사용하여 레이블 데이터세트를 구성한다. 128×128크기의 gray-scale 영상을 입력으로 사용하고 이에 대응하는 레이블 데이터세트를 구성하여 1-level DWT를 수행하는 네트워크의 학습을 진행한다. 역방향 변환도 네트워크 설계 후 데이터세트를 구성하여 학습을 진행한다. 학습이 완료된 1-level DWT 네트워크를 반복적으로 사용하여 Multi-level DWT 네트워크를 구성한다. 또한 양자화에 의한 간단한 영상압축 실험을 진행하여 DWT 네트워크의 성능과 압축 등의 응용분야에 활용할 수 있음을 보인다. 설계한 DWT 네트워크의 1-level 순방향 변환 성능은 42.18dB의 PSNR을 보였고, 1-level 역방향 변환 성능은 50.13dB의 PSNR을 보였다.

  • PDF

지하수위 예측을 위한 경사하강법과 화음탐색법의 결합을 이용한 다층퍼셉트론 성능향상 (Improvement of multi layer perceptron performance using combination of gradient descent and harmony search for prediction of ground water level)

  • 이원진;이의훈
    • 한국수자원학회논문집
    • /
    • 제55권11호
    • /
    • pp.903-911
    • /
    • 2022
  • 물을 공급하기 위한 자원 중 하나인 지하수는 다양한 자연적 요인에 의해 수위의 변동이 발생한다. 최근, 인공신경망을 이용하여 지하수위의 변동을 예측하는 연구가 진행되었다. 기존에는 인공신경망 연산자 중 학습에 영향을 미치는 Optimizer로 경사하강법(Gradient Descent, GD) 기반 Optimizer를 사용하였다. GD 기반 Optimizer는 초기 상관관계 의존성과 해의 비교 및 저장 구조 부재의 단점이 존재한다. 본 연구는 GD 기반 Optimizer의 단점을 개선하기 위해 GD와 화음탐색법(Harmony Search, HS)를 결합한 새로운 Optimizer인 Gradient Descent combined with Harmony Search(GDHS)를 개발하였다. GDHS의 성능을 평가하기 위해 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용하여 이천율현 관측소의 지하수위를 학습 및 예측하였다. GD 및 GDHS를 사용한 MLP의 성능을 비교하기 위해 Mean Squared Error(MSE) 및 Mean Absolute Error(MAE)를 사용하였다. 학습결과를 비교하면, GDHS는 GD보다 MSE의 최대값, 최소값, 평균값 및 표준편차가 작았다. 예측결과를 비교하면, GDHS는 GD보다 모든 평가지표에서 오차가 작은 것으로 평가되었다.

Radionuclide identification based on energy-weighted algorithm and machine learning applied to a multi-array plastic scintillator

  • Hyun Cheol Lee ;Bon Tack Koo ;Ju Young Jeon ;Bo-Wi Cheon ;Do Hyeon Yoo ;Heejun Chung;Chul Hee Min
    • Nuclear Engineering and Technology
    • /
    • 제55권10호
    • /
    • pp.3907-3912
    • /
    • 2023
  • Radiation portal monitors (RPMs) installed at airports and harbors to prevent illicit trafficking of radioactive materials generally use large plastic scintillators. However, their energy resolution is poor and radionuclide identification is nearly unfeasible. In this study, to improve isotope identification, a RPM system based on a multi-array plastic scintillator and convolutional neural network (CNN) was evaluated by measuring the spectra of radioactive sources. A multi-array plastic scintillator comprising an assembly of 14 hexagonal scintillators was fabricated within an area of 50 × 100 cm2. The energy spectra of 137Cs, 60Co, 226Ra, and 4K (KCl) were measured at speeds of 10-30 km/h, respectively, and an energy-weighted algorithm was applied. For the CNN, 700 and 300 spectral images were used as training and testing images, respectively. Compared to the conventional plastic scintillator, the multi-arrayed detector showed a high collection probability of the optical photons generated inside. A Compton maximum peak was observed for four moving radiation sources, and the CNN-based classification results showed that at least 70% was discriminated. Under the speed condition, the spectral fluctuations were higher than those under dwelling condition. However, the machine learning results demonstrated that a considerably high level of nuclide discrimination was possible under source movement conditions.

이공계 대학 학부생을 위한 MTP(Muti-grade Tutoring Project) e포트폴리오 평가 모형 개발 (A development of MTP e-portfolio evaluation model for the college students of science and engineering school)

  • 최영미;주문원;한영신
    • 정보교육학회논문지
    • /
    • 제10권3호
    • /
    • pp.413-422
    • /
    • 2006
  • MTP(Muti-grade Tutoring Project)는 공학계열 학생들이 완성도 높은 프로젝트 수행에 필요한 팀워크와 전공기술을 함양하기 위하여 개발된 이공계 교과과목 개발 모델이다. 학습자는 3년간 1,2,3학년으로 구성된 1년 단위 다학년 팀프로젝트에서 튜터와 튜티의 역할을 수행한다. 이러한 과정을 통하여 자신의 비젼을 스스로 설정하고, 선후배간의 커뮤니케이션 채널을 활성화함으로써 인적 네트워크를 형성하여 졸업 후 취업에 지원을 받을 수 있으며 현장에 적응도를 높일 수 있고, 졸업학년도에는 보다 완성도 높은 졸업 프로젝트를 수행할 수 있다. 본 연구에서는 이러한 MTP 교과목을 통하여 경험하는 학습 성장과정을 스스로 관리 개발할 수 있는 MTP e포트폴리오 평가 모형을 제시하였다. 특히 참여자, 학습상의 변화, 과정의 3 차원으로 기술한 평가절차 모형구조는 다학년 학생이 수행하는 프로젝트에 협동교수가 보조하는 과정에서 수업이 역동적이고 활성화 되어질 수 있는 도구로써 활용될 것이다.

  • PDF

우리나라, 싱가포르, 핀란드의 PISA 2012 수학에서의 성차에 대한 교육맥락변인 영향력 비교 분석 (Analysis of Educational Context Variable Effects on Gender Differences Observed in PISA 2012 Mathematics in Korea, Singapore, and Finland)

  • 임해미;한정아
    • 대한수학교육학회지:수학교육학연구
    • /
    • 제26권2호
    • /
    • pp.189-204
    • /
    • 2016
  • 본 연구에서는 PISA 2012 수학 영역에서 나타난 성차가 PISA 2009와 비교하여 여학생의 점수는 유지된 반면, 남학생의 점수가 급격히 상승했으며, 그 원인이 상위수준의 남녀 비율의 차이에서 비롯되었다고 보고 남녀의 상위수준 성취에 영향을 준 교육맥락 변인을 분석하였다. 특히 PISA 2012의 상위국 가운데 여학생의 성취가 높은 싱가포르와 핀란드에 대해서도 동일 변수에 대해 분석하여 상위권 여학생의 성취에 영향을 주는 요인을 살펴보았다. 이때 PISA의 위계적 자료구조의 특성을 고려하고, 국가별 수학 상위수준(5수준 이상)과 최상위수준(6수준) 집단별 교육맥락변인 특성을 비교하기 위해 이항로짓 다층분석을 실시하여 상위수준 및 최상위수준 집단에 포함될 확률에 유의한 영향을 준 변수를 분석하였다. 분석 결과, 방과 후 과외 및 학원에서의 학습시간은 세 국가의 남녀 학생 모두에 유의한 영향이 없었으며, 방과 후 학교에서 내어준 숙제를 하는 시간은 우리나라와 싱가포르의 남녀 학생이 상위수준 및 최상위 수준에 포함될 확률에 유의한 영향을 주었다. 특히 우리나라의 여학생이 상위수준 또는 최상위수준 집단에 포함되는데 공통으로 영향을 준 변수는 '방과 후 숙제 시간', '학습활동 태도', '학교평균 ESCS', '교사와 학생 관계'였으며, '가정 문화적 자산'은 우리나라, 싱가포르, 핀란드의 여학생이 최상위집단 포함되는데 주요한 영향을 주었다.

다중 공간정보 데이터의 점진적 조합에 의한 의미적 분류 딥러닝 모델 학습 성능 분석 (Training Performance Analysis of Semantic Segmentation Deep Learning Model by Progressive Combining Multi-modal Spatial Information Datasets)

  • 이대건;신영하;이동천
    • 한국측량학회지
    • /
    • 제40권2호
    • /
    • pp.91-108
    • /
    • 2022
  • 대부분의 경우 광학 RGB 영상을 딥러닝(DL: Deep learning)의 학습 데이터로 사용하여 객체탐지, 인식, 식별, 분류, 의미적 분할 및 객체 분할 등을 수행하지만, 실세계의 3차원 객체들을 2차원 영상으로 완전하게 파악하는 것은 한계가 있다. 그러므로 대표적인 3차원 지형 공간정보인 수치표면모델(DSM: Digital Surface Model)과 더불어 DSM에 내재된 특성정보를 이용하여 3차원 지형지물을 분석하는 것이 효과적이다. 건물과 같이 기하학적으로 정형화된 형태의 인공구조물은 3차원 공간데이터로부터 얻을 수 있는 기하학적 요소와 특성을 이용하여 객체의 분류와 형상 묘사가 가능하다. 이 연구는 고차원 시각정보(high-level visual information) 시스템에서 중요한 역할을 하는 내재된 고유의 특성정보(intrinsic information)를 기반으로 하며, 이를 위하여 객체의 기하학적 요소인 경사와 주향을 DSM으로부터 도출하고, 다방향에서 생성한 음영기복영상(SRI: Shaded Relief Image)과 함께 DL 모델의 학습 수행에 사용하였다. 실험은 ISPRS (International Society for Photogrammetry and Remote Sensing)에서 제공하는 데이터 셋 중에서 DSM과 레이블 데이터를 객체의 의미적 분류를 위해 개발된 합성곱 기반의 SegNet 학습에 사용하였다. 지형지물을 분류하고 분류 결과를 이용하여 건물을 추출하였다. 특히 DL 모델의 학습 성능 향상을 위해 학습 데이터의 여러 조합에 따른 시너지 효과를 분석하는 것에 핵심이다. 제안한 방법은 건물 분류와 추출에 효과적임을 보여주고 있다.