• KSBB Journal
• /
• v.26 no.5
• /
• pp.417-421
• /
• 2011

Because beverage waste contains a lot of sugar, it can be used as a valuable resource for energy. But beverage waste is discharged through the water treatment. To prevent the waste of the energy resource, we produced bioethanol by using beverage waste in this study. In order to produce bioethanol, we added distillers stillage and NaOH for fermentation condition (nutrients and pH adjustment). As a results, ethanol concentration was 5.92 vol%. In contrast, ethanol concentration of blank (not added nutrients) was low and fermentation rate was very slow. Because components of the distillers stillage help the yeast growth, fermentation yield and rate was improved. Finally, we operated distillation and dehydration process by using fermented mash and produced fuel bioethanol (more than 99.5 wt%). We think that this results may provide useful information with application of commercial ethanol production using beverage waste.

• Journal of Digital Policy
• /
• v.2 no.3
• /
• pp.1-7
• /
• 2023

In this paper, I proposes a method for performing single image super resolution by separating texture-spatial domains and then classifying features based on detailed information. In CNN (Convolutional Neural Network) based super resolution, the complex procedures and generation of redundant feature information in feature estimation process for enhancing details can lead to quality degradation in super resolution. The proposed method reduced procedural complexity and minimizes generation of redundant feature information by splitting input image into two channels: texture and spatial. In texture channel, a feature refinement process with step-wise skip connections is applied for detail restoration, while in spatial channel, a method is introduced to preserve the structural features of the image. Experimental results using proposed method demonstrate improved performance in terms of PSNR and SSIM evaluations compared to existing super resolution methods, confirmed the enhancement in quality.

• Journal of the Korea Society of Computer and Information
• /
• v.29 no.7
• /
• pp.11-20
• /
• 2024

In this paper, we propose the BAG (Bit-width Aware Generator) and the Intermediate Layer Knowledge Distillation using Channel-wise Attention to reduce the knowledge gap between a quantized network, a full-precision network, and a generator in GDFQ (Generative Data-Free Quantization). Since the generator in GDFQ is only trained by the feedback from the full-precision network, the gap resulting in decreased capability due to low bit-width of the quantized network has no effect on training the generator. To alleviate this problem, BAG is quantized with same bit-width of the quantized network, and it can generate synthetic images, which are effectively used for training the quantized network. Typically, the knowledge gap between the quantized network and the full-precision network is also important. To resolve this, we compute channel-wise attention of outputs of convolutional layers, and minimize the loss function as the distance of them. As the result, the quantized network can learn which channels to focus on more from mimicking the full-precision network. To prove the efficiency of proposed methods, we quantize the network trained on CIFAR-100 with 3 bit-width weights and activations, and train it and the generator with our method. As the result, we achieve 56.14% Top-1 Accuracy and increase 3.4% higher accuracy compared to our baseline AdaDFQ.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.5
• /
• pp.17-28
• /
• 2023

Potholes that occur on paved roads can have fatal consequences for vehicles traveling at high speeds and may even lead to fatalities. While manual detection of potholes using human labor is commonly used to prevent pothole-related accidents, it is economically and temporally inefficient due to the exposure of workers on the road and the difficulty in predicting potholes in certain categories. Therefore, completely preventing potholes is nearly impossible, and even preventing their formation is limited due to the influence of ground conditions closely related to road environments. Additionally, labeling work guided by experts is required for dataset construction. Thus, in this paper, we utilized the Mean Teacher technique, one of the semi-supervised learning-based knowledge distillation methods, to achieve robust performance in pothole image classification even with limited labeled data. We demonstrated this using performance metrics and GradCAM, showing that when using semi-supervised learning, 15 pre-trained CNN models achieved an average accuracy of 90.41%, with a minimum of 2% and a maximum of 9% performance difference compared to supervised learning.

• Journal of the Korea Society of Computer and Information
• /
• v.29 no.1
• /
• pp.11-19
• /
• 2024

Multi-agent systems can be utilized in various real-world cooperative environments such as battlefield engagements and unmanned transport vehicles. In the context of battlefield engagements, where dense reward design faces challenges due to limited domain knowledge, it is crucial to consider situations that are learned through explicit sparse rewards. This paper explores the collaborative potential among allied agents in a battlefield scenario. Utilizing the Multi-Robot Warehouse Environment(RWARE) as a sparse reward environment, we define analogous problems and establish evaluation criteria. Constructing a learning environment with the QMIX algorithm from the reinforcement learning library Ray RLlib, we enhance the Agent Network of QMIX and integrate Random Network Distillation(RND). This enables the extraction of patterns and temporal features from partial observations of agents, confirming the potential for improving the acquisition of sparse reward experiences through intrinsic rewards.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.666-669
• /
• 2024

연합학습은 원본 데이터를 공유하지 않고 모델을 학습할 수 있는 각광받는 프라이버시를 위한 학습방법론이다. 이를 위해 참여자의 데이터를 수집하는 대신, 데이터를 인공지능 모델 학습의 요소들(가중치, 기울기 등)로 변환한 뒤, 이를 공유한다. 이러한 강점에 더해 기존 연합학습을 개선하는 방법론들이 추가적으로 연구되고 있다. 기존 연합학습은 모델 가중치를 평균내는 것으로 참여자 간에 동일한 모델 구조를 강요하기 때문에, 참여자 별로 자신의 환경에 알맞은 모델 구조를 사용하기 어렵다. 이를 해결하기 위해 지식 증류 기반의 연합학습 방법(Knowledge Distillation-based Federated Learning)으로 서로 다른 모델 구조를 가질 수 있도록(Model Heterogenousity) 하는 방법이 제시되고 있다. 연합학습은 여러 참여자가 연합하기 때문에 일부 악의적인 참여자로 인한 모델 포이즈닝 공격에 취약하다. 수많은 연구들이 기존 가중치를 기반으로한 연합학습에서의 위협을 연구하였지만, 지식 증류 기반의 연합학습에서는 이러한 위협에 대한 조사가 부족하다. 본 연구에서는 최초로 지식 증류 기반의 연합학습에서의 모델 성능 하락 공격에 대한 위협을 실체화하고자 한다. 이를 위해 우리는 GMA(Gaussian-based Model Poisoning Attack)과 SMA(Sign-Flip based Model Poisoning Attack)을 제안한다. 결과적으로 우리가 제안한 공격 방법은 실험에서 최신 학습 기법에 대해 평균적으로 모델 정확도를 83.43%에서 무작위 추론에 가깝게 떨어뜨리는 것으로 공격 성능을 입증하였다. 우리는 지식 증류 기반의 연합학습의 강건성을 평가하기 위해, 새로운 공격 방법을 제안하였고, 이를통해 현재 지식 증류 기반의 연합학습이 악의적인 공격자에 의한 모델 성능 하락 공격에 취약한 것을 보였다. 우리는 방대한 실험을 통해 제안하는 방법의 성능을 입증하고, 결과적으로 강건성을 높이기 위한 많은 방어 연구가 필요함을 시사한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.695-697
• /
• 2023

최근 몇 년 간 딥러닝 기반 모델의 규모와 복잡성이 증가하면서 강력하고, 높은 정확도가 확보되지만 많은 양의 계산 자원과 메모리가 필요하기 때문에 모바일 장치나 임베디드 시스템과 같은 리소스가 제한된 환경에서의 배포에 제약사항이 생긴다. 복잡한 딥러닝 모델의 배포 및 운영 시 요구되는 고성능 컴퓨터 자원의 문제점을 해결하고자 사전 학습된 대규모 모델로부터 가벼운 모델을 학습시키는 지식증류 기법이 제안되었다. 하지만 현대 딥러닝 기반 모델은 높은 정확도 대비 훈련 데이터에 과적합 되는 과잉 확신(overconfidence) 문제에 대한 대책이 필요하다. 본 논문은 효율적인 경량화를 위한 미리 학습된 모델의 과잉 확신을 방지하고자 초점 손실(focal loss)을 이용한 모델 보정 기법을 언급하며, 다양한 손실 함수 변형에 따라서 지식증류의 성능이 어떻게 변화하는지에 대해 탐구하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.421-423
• /
• 2006

본 논문에서는 무선 인터넷 프록시 서버 클러스터를 사용하여 무선 인터넷의 문제와 요구들을 캐싱(Caching), 압축(Distillation) 및 클러스터(Clustering)를 통하여 해결하려고 한다. 무선 인터넷 프록시 서버 클러스터에서 고려되어야 하는 것은 시스템적인 확장성, 단순한 구조, 캐시간 협동성(Cooperative Caching), Hot Spot에 대한 처리 등이다. 본 연구자들은 기존 연구에서 시스템적인 확장성과 단순한 구조물 가지는 CD-A라는 구조를 제안하였으나 캐시간 협동성이 없다는 단점을 가진다. 이의 개선된 구조로 해쉬를 이용하여 사용자의 요청을 처리하는(캐시간 협동성을 가지는) 구조를 생각해 볼 수 있으나 이 역시 Hot Spot을 처리할 수 없다는 단정을 가진다. 이에 본 논문에서는 시스템적인 확장성, 단순한 구조, 캐시간 협동성, Hot Spot을 처리할 수 있는 공유 스토리지 기반의 무선 인터넷 프록시 서버 클러스터를 제안한다. 제안된 방법은 하나의 캐시 디렉토리를 공유하는 방법으로 기존구조의 장점과 캐시간 협동성 및 Hot Spot을 처리할 수 있다는 장점을 가진다. 16대의 컴퓨터를 사용하여 실험을 수행하였고 실험 결과 Hot Spot 상황에서 제안된 방법이 높은 성능 향상을 가짐을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10c
• /
• pp.76-78
• /
• 2003

기존 유선 인터넷과 달리 무선 인터넷은 낮은 대역폭. 빈번하게 접속이 끊기는 현상, 단말기내의 낮은 컴퓨팅 파워 및 작은 화면, 사용자의 이동성 등의 특성에 따른 많은 제약점들을 갖고 있다. 또한 무선 인터넷 서버는 급증하는 사용자에 따른 대용량 트래픽을 처리할 수 있도록 확장성이 있어야 한다. 이에 위의 문제를 캐싱(Caching)과 압축(Transcoding, Distillation)으로 해결하는 방법으로 무선 프록시 서버를 사용한다. TranSend는 클러스터링 기반의 무선 프록시 서버로 제안된 것이나 시스템적인(Systematic) 방법으로 확장성을 보장하지 못하는 단점을 가진다. 이에 본 논문에서는 시스템적인 방법으로 확장성을 보장하는 클러스터링 기반의 무선 인터넷 프록시 서버를 제안한다. 16대의 컴퓨터를 사용하여 실험을 수행하였고 실험 결과 TranSend 시스템에 비해 32.17%의 성능 향상을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.05a
• /
• pp.356-358
• /
• 2022

추천 시스템에서 사용되는 피드백은 단일 클래스와 다중 클래스 피드백으로 구분할 수 있다. 추천 시스템을 위한 지식 증류 기법들은 단일 클래스 환경에서 주로 연구되어 왔다. 우리는 다중 클래스 환경에서 또한 추천 시스템을 위한 최신 지식 증류 기법들이 효과적인지에 대해 알아보고자 하며, 해당 방법들 간의 추천 정확도를 비교해보고자 한다. 추천 시스템에서 보편적으로 사용되는 데이터 셋들을 기반으로 한 실험들을 통해 추천 시스템을 위한 지식 증류 기법들은 같은 조건의 기본적인 추천 시스템에 비해 정확도가 최대 193%까지 개선되는 것을 확인했다.