• 제목/요약/키워드: Information Distillation

검색결과 55건 처리시간 0.029초

Influence of HMDS additive on the properties of YAG:Ce nanophosphor

  • 최규만;김여환;임해진;윤상옥
    • 한국정보전자통신기술학회논문지
    • /
    • 제4권1호
    • /
    • pp.61-67
    • /
    • 2011
  • YAG:Ce 형광제 제조에 있어서 공침(co-precipitation) 후 n-butanol 공비증류(azeotropic distillation)시 HMDS(hexadimethyldisilazane)를 첨가하였을 때, 형광체가 광학특성에 미치는 영향에 관하여 연구하였다. 물과 유기용제에 의한 공비증류 시 유기용제의 분자량이 크면 표면의 수소결합이 유기용제로 치환됨으로서 표면장력을 감소시켜 분체의 원형화(conglobation)와 응집(agglomerate)을 감소시키므로 유기용제로 n-butanol보다 분자량이 큰 HMDS을 첨가하였다. N-butanol 만을 사용한 형광체가 HMDS를 첨가한 것 보다 응집(agglomerate)되는 현상이 감소하였으며 우수한 광학적 특성을 나타내었다.

HYSYS를 이용한 열복합 증류식 가스 농축공정의 설계 (Design of Gas Concentration Process with Thermally Coupled Distillation Column Using HYSYS Simulation)

  • 이주영;김영한;황규석
    • 제어로봇시스템학회논문지
    • /
    • 제8권10호
    • /
    • pp.842-846
    • /
    • 2002
  • Design of gas concentration process using a fully thermally coupled distillation is conducted with the commercial design software HYSYS. Detailed procedure of the design is explained, and the performance of the process is compared with that of a conventional system A structural design is exercised for the design convenience. The design outcome indicates that the procedure is simple and efficient. The structural information yielded from equilibrium distillation gives an easy formulation of distillation system which is the initial input required from the setup of the distillation system The performance of the new process indicates that an energy saving of 17.6 % is obtained compared with the conventional process while total number of trays maintains at the same.

PCB 부품 검출을 위한 Knowledge Distillation 기반 Continual Learning (Knowledge Distillation Based Continual Learning for PCB Part Detection)

  • 강수명;정대원;이준재
    • 한국멀티미디어학회논문지
    • /
    • 제24권7호
    • /
    • pp.868-879
    • /
    • 2021
  • PCB (Printed Circuit Board) inspection using a deep learning model requires a large amount of data and storage. When the amount of stored data increases, problems such as learning time and insufficient storage space occur. In this study, the existing object detection model is changed to a continual learning model to enable the recognition and classification of PCB components that are constantly increasing. By changing the structure of the object detection model to a knowledge distillation model, we propose a method that allows knowledge distillation of information on existing classified parts while simultaneously learning information on new components. In classification scenario, the transfer learning model result is 75.9%, and the continual learning model proposed in this study shows 90.7%.

Crowd Counting 경량화를 위한 Knowledge Distillation 적용 연구 (Research on apply to Knowledge Distillation for Crowd Counting Model Lightweight)

  • 홍연주;전혜령;김유연;강현우;박민균;이경준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.918-919
    • /
    • 2023
  • 딥러닝 기술이 발전함에 따라 모델의 복잡성 역시 증가하고 있다. 본 연구에서는 모델 경량화를 위해 Knowledge Distillation 기법을 Crowd Counting Model에 적용했다. M-SFANet을 Teacher 모델로, 파라미터수가 적은 MCNN 모델을 Student 모델로 채택해 Knowledge Distillation을 적용한 결과, 기존의 MCNN 모델보다 성능을 향상했다. 이는 정확도와 메모리 효율성 측면에서 많은 개선을 이루어 컴퓨팅 리소스가 부족한 기기에서도 본 모델을 실행할 수 있어 많은 활용이 가능할 것이다.

Self-Distillation을 활용한 Few-Shot 학습 개선 (Improving Few-Shot Learning through Self-Distillation)

  • 김태훈;주재걸
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.617-620
    • /
    • 2018
  • 딥러닝 기술에 있어서 대량의 학습 데이터가 필요하다는 한계점을 극복하기 위한 시도로서, 적은 데이터 만으로도 좋은 성능을 낼 수 있는 few-shot 학습 모델이 꾸준히 발전하고 있다. 하지만 few-shot 학습 모델의 가장 큰 단점인 적은 데이터로 인한 과적합 문제는 여전히 어려운 숙제로 남아있다. 본 논문에서는 모델 압축에 사용되는 distillation 기법을 사용하여 few-shot 학습 모델의 학습 문제를 개선하고자 한다. 이를 위해 대표적인 few-shot 모델인 Siamese Networks, Prototypical Networks, Matching Networks에 각각 distillation을 적용하였다. 본 논문의 실험결과로써 단순히 결과값에 대한 참/거짓 뿐만 아니라, 참/거짓에 대한 신뢰도까지 같이 학습함으로써 few-shot 모델의 학습 문제 개선에 도움이 된다는 것을 실험적으로 증명하였다.

증류탑 성능평가에 적합한 소형 증류탑 개발 (Development of Small Distillation Column for Performance Evaluation of Distillation Column)

  • 김병철;조태제;김영한
    • Korean Chemical Engineering Research
    • /
    • 제48권5호
    • /
    • pp.668-671
    • /
    • 2010
  • 증류시스템 검증용 소형 다단 증류 장치에 활용할 수 있는 소형 충전물을 사용하여 실험실 규모의 증류실험을 실시하였다. 직경 6.7 mm의 실린더형 스테인레스 스틸 충전물을 이용하여 충분한 겉보기 표면적을 얻었고, 액의 체류량과 체류 속도도 양호한 결과를 얻었다. HYSYS를 이용한 이론단수의 계산치와 증류실험치를 비교하여 27 cm 충전층에 대해서는 7 cm이고, 45 cm 충전층에 대해서는 8 cm의 충전층이 이론단 1 단에 해당함을 알았다. 상업용 일정구조 배열의 충전탑에서 8 cm의 충전층이 이론단 1 단에 해당함과 비교하면 유사한 증류효율을 얻을 수 있음을 보여 주었다. 이러한 결과는 증류관의 보온이 완벽할 때 가능하였으며, 실험실에서의 증류 실험에서는 보온이 중요함을 입증하였다. 본 실험 결과로부터 실험실에서도 실제 현장에서 사용하는 증류탑과 유사한 증류 시스템의 시험이 가능함을 보여 준다.

딥 residual network를 이용한 선생-학생 프레임워크에서 힌트-KD 학습 성능 분석 (Performance Analysis of Hint-KD Training Approach for the Teacher-Student Framework Using Deep Residual Networks)

  • 배지훈;임준호;유재학;김귀훈;김준모
    • 전자공학회논문지
    • /
    • 제54권5호
    • /
    • pp.35-41
    • /
    • 2017
  • 본 논문에서는 지식추출(knowledge distillation) 및 지식전달(knowledge transfer)을 위하여 최근에 소개된 선생-학생 프레임워크 기반의 힌트(Hint)-knowledge distillation(KD) 학습기법에 대한 성능을 분석한다. 본 논문에서 고려하는 선생-학생 프레임워크는 현재 최신 딥러닝 모델로 각광받고 있는 딥 residual 네트워크를 이용한다. 따라서, 전 세계적으로 널리 사용되고 있는 오픈 딥러닝 프레임워크인 Caffe를 이용하여 학생모델의 인식 정확도 관점에서 힌트-KD 학습 시 선생모델의 완화상수기반의 KD 정보 비중에 대한 영향을 살펴본다. 본 논문의 연구결과에 따르면 KD 정보 비중을 단조감소하는 경우보다 초기에 설정된 고정된 값으로 유지하는 것이 학생모델의 인식 정확도가 더 향상된다는 것을 알 수 있었다.

Knowledge Distillation based-on Internal/External Correlation Learning

  • Hun-Beom Bak;Seung-Hwan Bae
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권4호
    • /
    • pp.31-39
    • /
    • 2023
  • 본 논문에서는 이종 모델의 특징맵 간 상관관계인 외부적 상관관계와 동종 모델 내부 특징맵 간 상관관계인 내부적 상관관계를 활용하여 교사 모델로부터 학생 모델로 지식을 전이하는 Internal/External Knowledge Distillation (IEKD)를 제안한다. 두 상관관계를 모두 활용하기 위하여 특징맵을 시퀀스 형태로 변환하고, 트랜스포머를 통해 내부적/외부적 상관관계를 고려하여 지식 증류에 적합한 새로운 특징맵을 추출한다. 추출된 특징맵을 증류함으로써 내부적 상관관계와 외부적 상관관계를 함께 학습할 수 있다. 또한 추출된 특징맵을 활용하여 feature matching을 수행함으로써 학생 모델의 정확도 향상을 도모한다. 제안한 지식 증류 방법의 효과를 증명하기 위해, CIFAR-100 데이터 셋에서 "ResNet-32×4/VGG-8" 교사/학생 모델 조합으로 최신 지식 증류 방법보다 향상된 76.23% Top-1 이미지 분류 정확도를 달성하였다.

압축과 캐싱 기능을 향상한 무선 인터넷 프록시 서버 클러스터 (A Wireless Internet Proxy Server Cluster with Enhanced Distillation and Cashing Functions)

  • 곽후근;황재훈;정규식
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2004년도 하계종합학술대회 논문집(1)
    • /
    • pp.103-106
    • /
    • 2004
  • A wireless Internet proxy server cluster has to Distillation and Caching functions in order that a user on wireless internet can use existing wired internet service. Distillation function works to distill HTML documents and included images according to the defined preference by a user. When a user requests repeatedly, Caching function decreases response time by reusing original and distilled images or HTML documents. In this paper, we proposed enhanced distillation and caching functions. We performed experiments using 16 PCs and experimental results show the effectiveness of the proposed system compared to the existing system.

  • PDF

Lightweight Single Image Super-Resolution Convolution Neural Network in Portable Device

  • Wang, Jin;Wu, Yiming;He, Shiming;Sharma, Pradip Kumar;Yu, Xiaofeng;Alfarraj, Osama;Tolba, Amr
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권11호
    • /
    • pp.4065-4083
    • /
    • 2021
  • Super-resolution can improve the clarity of low-resolution (LR) images, which can increase the accuracy of high-level compute vision tasks. Portable devices have low computing power and storage performance. Large-scale neural network super-resolution methods are not suitable for portable devices. In order to save the computational cost and the number of parameters, Lightweight image processing method can improve the processing speed of portable devices. Therefore, we propose the Enhanced Information Multiple Distillation Network (EIMDN) to adapt lower delay and cost. The EIMDN takes feedback mechanism as the framework and obtains low level features through high level features. Further, we replace the feature extraction convolution operation in Information Multiple Distillation Block (IMDB), with Ghost module, and propose the Enhanced Information Multiple Distillation Block (EIMDB) to reduce the amount of calculation and the number of parameters. Finally, coordinate attention (CA) is used at the end of IMDB and EIMDB to enhance the important information extraction from Spaces and channels. Experimental results show that our proposed can achieve convergence faster with fewer parameters and computation, compared with other lightweight super-resolution methods. Under the condition of higher peak signal-to-noise ratio (PSNR) and higher structural similarity (SSIM), the performance of network reconstruction image texture and target contour is significantly improved.