• ETRI Journal
• /
• 제46권1호
• /
• pp.59-70
• /
• 2024

We introduce a high-performance named entity recognition (NER) model for written and spoken language. To overcome challenges related to labeled data scarcity and domain shifts, we use transfer learning to leverage our previously developed KorBERT as the base model. We also adopt a meta-pseudo-label method using a teacher/student framework with labeled and unlabeled data. Our model presents two modifications. First, the student model is updated with an average loss from both human- and pseudo-labeled data. Second, the influence of noisy pseudo-labeled data is mitigated by considering feedback scores and updating the teacher model only when below a threshold (0.0005). We achieve the target NER performance in the spoken language domain and improve that in the written language domain by proposing a straightforward rollback method that reverts to the best model based on scarce human-labeled data. Further improvement is achieved by adjusting the label vector weights in the named entity dictionary.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제18권3호
• /
• pp.738-754
• /
• 2024

Side-channel analysis (SCA) is a cryptanalytic technique that exploits physical leakages, such as power consumption or electromagnetic emanations, from cryptographic devices to extract secret keys used in cryptographic algorithms. Recent studies have shown that training SCA models with semi-supervised learning can effectively overcome the problem of few labeled power traces. However, the process of training SCA models using semi-supervised learning generates many pseudo-labels. The performance of the SCA model can be reduced by some of these pseudo-labels. To solve this issue, we propose the HWFilter method to improve semi-supervised SCA. This method uses a Hamming Weight Pseudo-label Filter (HWPF) to filter the pseudo-labels generated by the semi-supervised SCA model, which enhances the model's performance. Furthermore, we introduce a normal distribution method for constructing the HWPF. In the normal distribution method, the Hamming weights (HWs) of power traces can be obtained from the normal distribution of power points. These HWs are filtered and combined into a HWPF. The HWFilter was tested using the ASCADv1 database and the AES_HD dataset. The experimental results demonstrate that the HWFilter method can significantly enhance the performance of semi-supervised SCA models. In the ASCADv1 database, the model with HWFilter requires only 33 power traces to recover the key. In the AES_HD dataset, the model with HWFilter outperforms the current best semi-supervised SCA model by 12%.

• 제어로봇시스템학회논문지
• /
• 제18권1호
• /
• pp.35-41
• /
• 2012

This paper proposes a moving object detection algorithm for active camera system that can be applied to mobile robot and intelligent surveillance system. Most of moving object detection algorithms based on a stationary camera system. These algorithms used fixed surveillance system that does not consider the motion of the background or robot tracking system that track pre-learned object. Unlike the stationary camera system, the active camera system has a problem that is difficult to extract the moving object due to the error occurred by the movement of camera. In order to overcome this problem, the motion of the camera was compensated by using SURF and Pseudo Perspective model, and then the moving object is extracted efficiently using stochastic Label Cluster transport model. This method is possible to detect moving object because that minimizes effect of the background movement. Our approach proves robust and effective in terms of moving object detection in active camera system.

• 구강회복응용과학지
• /
• 제38권4호
• /
• pp.196-203
• /
• 2022

목적: 본 연구는 79종의 치과 임플란트에 대해 딥러닝을 이용한 식별 모델의 정확도와 임상적 유용성을 평가하는 것을 목적으로 하였다. 연구 재료 및 방법: 2001년부터 2020년까지 30개 치과에서 임플란트 치료를 받은 환자들의 파노라마 방사선 사진에서 총 45396개의 임플란트 고정체 이미지를 수집했다. 수집된 임플란트 이미지는 18개 제조사의 79개 유형이었다. 모델 학습을 위해 EfficientNet 및 Meta Pseudo Labels 알고리즘이 사용되었다. EfficientNet은 EfficientNet-B0 및 EfficientNet-B4가 하위 모델로 사용되었으며, Meta Pseudo Labels는 확장 계수에 따라 두 가지 모델을 적용했다. EfficientNet에 대해 Top 1 정확도를 측정하고 Meta Pseudo Labels에 대해 Top 1 및 Top 5 정확도를 측정하였다. 결과: EfficientNet-B0 및 EfficientNet-B4는 89.4의 Top 1 정확도를 보였다. Meta Pseudo Labels 1은 87.96의 Top 1 정확도를 보였고, 확장 계수가 증가한 Meta Pseudo Labels 2는 88.35를 나타냈다. Top 5 정확도에서 Meta Pseudo Labels 1의 점수는 97.90으로 Meta Pseudo Labels 2의 97.79보다 0.11% 높았다. 결론: 본 연구에서 임플란트 식별에 사용된 4가지 딥러닝 알고리즘은 모두 90%에 가까운 정확도를 보였다. 임플란트 식별을 위한 딥러닝의 임상적 적용 가능성을 높이려면 더 많은 데이터를 수집하고 임플란트에 적합한 미세 조정 알고리즘의 개발이 필요하다.

• 한국정보통신학회논문지
• /
• 제24권10호
• /
• pp.1271-1279
• /
• 2020

문자 영역 검출이란 수기 혹은 인쇄된 문서에서 문자의 영역을 검출하는 기술이다. 검출된 문자 영역들은 인식 단계를 거쳐 디지털화되며 이는 활용 목적에 따라 다양한 곳에서 활용된다. 하지만 문자 단위의 검출 결과는 대용량 문서를 인식해야 하는 산업 현장의 문자 인식 단계에는 적합하지 않다. 또한, 문서 내 존재하는 표는 문자 영역 검출 단계에서 오검출을 야기하며 이는 문자 인식 단계에서 악영향을 끼친다. 이를 해결하기 위해 본 논문에서는 표의 테두리 정보를 활용한 문자 영역 검출 방법을 제안한다. 표의 테두리 정보를 활용하기 위하여 제안하는 방법은 2개 디코더를 추가하고 간접적인 학습을 유도하기 위하여 각 디코드의 흐름을 조절하였다. 실험을 통해 표의 테두리 유사 라벨을 이용한 약지도 학습 방법이 성능 향상에 도움이 됨을 보였다.

• 한국정보통신학회논문지
• /
• 제7권3호
• /
• pp.532-543
• /
• 2003

본 논문은 저작권보호를 위해 디지털영상의 라벨링을 위한 reversible DTCNN(discrete-time cellular neural network) 구조를 제안한다. 이러한 저작권보호 라벨링을 위해서 2차원 이진 pseudo 랜덤 영상열에 사용할 수 있는 새로운 reversible DTCNN의 구조와 개념을 설명하고 이에 대한 복잡행위를 보여주기 위해 reversible DTCNN의 서로 다른 방법들의 예시를 들어 설명한다. 또한 서로 다른 2진영상인 원영상과 복사된 영상은 서로 다른 2진 랜덤 영상키를 사용한다. 이 영상키는 원영상을 스크램블하는데 사용된다. 따라서 reversible DTCNN를 다시 역변환시켜서 저작권보호가 라벨링된 영상으로부터 복사된 영상임을 찾아낼 수 있다. 그러나 이러한 동영상을 처리하는 데는 S/W에서는 많은 시간이 소요되므로 고속 DTCNN 칩을 사용하여 실시간에서 동영상이나 비디오영상을 저작권보호를 위한 라벨링에 사용할 수 있으며, 이러한 결과를 컴퓨터에서 시뮬레이션됨을 보인다.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.83-88
• /
• 2024

본 연구에서는 Railroad surface 데이터를 활용하여 Semi-Supervised learning방식으로 railroad surface의 defect를 검출해내는 방안을 제안한다. Resnet50에 ImageNet으로 pretrained된 모델을 이용한다. Label이 없는 데이터에서 무작위로 데이터를 선정, 선정한 데이터에 label을 부여한 뒤 이 데이터로 모델을 학습시킨다. 학습된 모델을 이용하여 나머지 데이터의 결과값을 예측한 후, 그 예측값이 일정한 threshold보다 큰 것을 골라내고, threshold보다 큰 값들을 값이 큰 순서대로 정렬하여, 일정한 크기만큼 training data에 추가한다. 이 때, 각 class에 속할 확률이 높은 쪽으로 pseudo-labeling을 수행한다. 초기에 label이 부여된 데이터 개수에 따른 전체적인 class 분류 성능을 확인하는 실험 또한 진행하였고, 전체 training data대비 10% 미만의 labeled data로 최대 98%의 정확도를 얻는 성능을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.607-610
• /
• 2021

지도학습에서 모델을 학습함에 있어 입력 데이터와 해당 데이터의 라벨이 필요하다. 하지만 신뢰성 있는 라벨링은 비용과 시간적인 면에서 많이 소요되며 이를 자동화할 경우 라벨이 언제나 맞는다는 보장이 없어 노이즈가 들어가게 된다. 이러한 라벨 노이즈 환경에서 지도학습을 진행할 경우 모델은 학습 초기에는 정확도가 올라가지만, 어느 정도 학습 후 정확도가 크게 감소되는 경향을 보인다. 라벨 노이즈 문제를 해결하기 위해 다양한 방법이 있지만, 대다수의 경우 모델이 예측한 확률을 수도라벨로 사용해 이용하는 경우가 많다. 여기에 대해서 우리는 모델이 예측한 확률을 정제하여 좀 더 빠르게 참 라벨을 예측하는 방법을 제시한다. 기존의 논문 중 모델이 예측한 확률을 사용하는 방법에 우리가 제안하는 방법을 적용하여 같은 환경, 데이터셋에 대해 실험을 진행한 결과 성능개선과 더 빠르게 수렴하는 것을 확인할 수 있었다. 이를 통해 기존 연구들 중 모델이 예측하는 확률분포를 사용하는 방법들에 적용할 수 있고 같은 환경에서도 더 빠르게 수렴시킬 수 있기에 학습 소요시간을 줄일 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.510-512
• /
• 2023

In order to enhance a model's capability for detecting facial expressions, this research suggests a pipeline that makes use of the GradCAM component. The patching module and the pseudo-labeling module make up the pipeline. The patching component takes the original face image and divides it into four equal parts. These parts are then each input into a 2Dconvolutional layer to produce a feature vector. Each picture segment is assigned a weight token using GradCAM in the pseudo-labeling module, and this token is then merged with the feature vector using principal component analysis. A convolutional neural network based on transfer learning technique is then utilized to extract the deep features. This technique applied on a public dataset MMI and achieved a validation accuracy of 96.06% which is showing the effectiveness of our method.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.628-629
• /
• 2022

딥러닝의 높은 예측 정확도를 위해서는 많은 양의 학습 데이터가 필요하다. 그러나 실세계에서 많은 양의 레이블이 붙은 데이터를 구하는 것은 어렵고 많은 비용이 든다. 때문에 레이블이 없이도 양질의 표현 학습이 가능한 자기지도학습이 각광을 받고 있다. 와서스타인 거리는 생성모델에도 쓰이지만 의사 레이블 (pseudo label) 을 만들어 레이블이 없는 데이터들을 분류 하는데도 좋은 성능을 보이고 있다. 따라서. 본 연구는 와서스타인 거리를 자기지도학습에 접목시키는 방법을 제안한다. 실험을 통해 연구의 가능성을 보인다.