• 한국정보통신학회논문지
• /
• 제26권12호
• /
• pp.1769-1776
• /
• 2022

긴 문장으로 이루어진 글을 자동으로 요약하는 것은 중요한 기술이다. BART 모델은 이러한 요약 문제에서 좋은 성능을 보여주고 널리 사용되고 있는 모델 중 하나이다. 일반적으로 특정 도메인의 요약 모델을 생성하기 위해서는 큰 데이터세트를 학습한 언어 모델을 그 도메인에 맞게 다시 학습하는 미세조정 작업을 수행한다. 이러한 미세조정은 일반적으로 마지막 전 연결 계층의 노드 수를 변경하는 방식으로 진행된다. 하지만 본 논문에서는 최근 다양한 모델에 적용되어 좋은 성능을 보여주고 있는 어텐션 계층을 추가하는 방법으로 미세조정하는 방법을 제안한다. 제안하는 방법의 성능을 평가하기 위해 미세조정 과정에서 층을 더 깊게 쌓기, 스킵 연결 없는 미세조정 등 다양한 실험을 진행하였다. BART 언어 모델에 스킵 연결을 가진 2개의 어텐션 계층을 추가하였을 때 가장 좋은 성능을 보였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.251-258
• /
• 2003

Support Vector Machine(SVM)은 이론상으로 좋은 일반화 성능을 보이지만, 실제적으로 구현된 SVM은 이론적인 성능에 미치지 못한다. 주 된 이유는 시간, 공간상의 높은 복잡도로 인해 근사화된 알고리듬으로 구현하기 때문이다. 본 논문은 SVM의 분류성능을 향상시키기 위해 Bagging(Bootstrap aggregating)과 Boosting을 이용한 SVM 앙상블 구조의 구성을 제안한다. SVM 앙상블의 학습에서 Bagging은 각각의 SVM의 학습데이타는 전체 데이타 집합에서 임의적으로 일부 추출되며, Boosting은 SVM 분류기의 에러와 연관된 확률분포에 따라 학습데이타를 추출한다. 학습단계를 마치면 다수결 (Majority voting), 최소자승추정법(LSE:Least Square estimation), 2단계 계층적 SVM등의 기법에 개개의 SVM들의 출력 값들이 통합되어진다. IRIS 분류, 필기체 숫자인식, 얼굴/비얼굴 분류와 같은 여러 실험들의 결과들은 제안된 SVM 앙상블의 분류성능이 단일 SVM보다 뛰어남을 보여준다.

• 대한기계학회논문집A
• /
• 제23권11호
• /
• pp.1929-1939
• /
• 1999

This paper presents a neural network approach, which was named PRONET, to 3D object recognition and pose calculation. 3D objects are represented using a set of centroidal profile patterns that describe the boundary of the 2D views taken from evenly distributed view points. PRONET consists of the training stage and the execution stage. In the training stage, a three-layer feed-forward neural network is trained with the centroidal profile patterns using an error back-propagation method. In the execution stage, by matching a centroidal profile pattern of the given image with the best fitting centroidal profile pattern using the neural network, the identity and approximate orientation of the real object, such as a workpiece in arbitrary pose, are obtained. In the matching procedure, line-to-line correspondence between image features and 3D CAD features are also obtained. An iterative model posing method then calculates the more exact pose of the object based on initial orientation and correspondence.

• International Journal of Automotive Technology
• /
• 제6권2호
• /
• pp.95-105
• /
• 2005

Diesel engines have low specific fuel consumption, but high particulate emissions, mainly soot. Diesel soot is suspected to have significant effects on the health of living beings and might also affect global warming. Hence stringent measures have been put in place in a number of countries and will be even stronger in the near future. Diesel engines require either advanced integrated exhaust after treatment systems or modified engine models to meet the statutory norms. Experimental analysis to study the emission characteristics is a time consuming affair. In such situations, the real picture of engine control can be obtained by the modeling of trend prediction. In this article, an effort has been made to predict emissions smoke and NO$_{x}$ using cylinder combustion derived parameters and diesel particulate filter data, with artificial neural network techniques in MATLAB environment. The model is based on three layer neural network with a back propagation learning algorithm. The training and test data of emissions were collected from experimental set up in the laboratory for different loads. The network is trained to predict the values of emission with training values. Regression analysis between test and predicted value from neural network shows least error. This approach helps in the reduction of the experimentation required to determine the smoke and NO$_{x}$ for the catalyst coated filters.

• Journal of information and communication convergence engineering
• /
• 제22권2호
• /
• pp.165-171
• /
• 2024

In this study, we present a novel approach for enhancing chest X-ray image classification (normal, Covid-19, edema, mass nodules, and pneumothorax) by combining contrastive learning and machine learning algorithms. A vast amount of unlabeled data was leveraged to learn representations so that data efficiency is improved as a means of addressing the limited availability of labeled data in X-ray images. Our approach involves training classification algorithms using the extracted features from a linear fine-tuned Momentum Contrast (MoCo) model. The MoCo architecture with a Resnet34, Resnet50, or Resnet101 backbone is trained to learn features from unlabeled data. Instead of only fine-tuning the linear classifier layer on the MoCopretrained model, we propose training nonlinear classifiers as substitutes for softmax in deep networks. The empirical results show that while the linear fine-tuned ImageNet-pretrained models achieved the highest accuracy of only 82.9% and the linear fine-tuned MoCo-pretrained models an increased highest accuracy of 84.8%, our proposed method offered a significant improvement and achieved the highest accuracy of 87.9%.

• 정보보호학회논문지
• /
• 제30권6호
• /
• pp.1291-1300
• /
• 2020

최근 딥러닝 기반 비프로파일링 부채널 분석이 제안됐다. 딥러닝 기반 비프로파일링 분석은 신경망 모델을 모든 추측키에 대해 학습시킨 뒤, 학습된 정도의 차이를 통해 올바른 비밀키를 찾아내는 기법이다. 이때, 신경망 학습모델 설계에 따라 비프로파일링 분석성능이 크게 달라지기 때문에 올바른 모델 설계의 기준이 필요하다. 본 논문은 학습모델 설계에 사용 가능한 2가지 loss 함수와 8가지 label 기법을 설명하고, 비프로파일링 분석과 소비전력모델 관점에서 각 label 기법의 분석성능을 예측했다. 해밍웨이트 소비전력모델을 가정했을 때의 비프로파일링 분석 특징을 고려해서 One-hot 인코딩을 적용하지 않은 HW(Hamming Weight) label과 CO(Correlation Optimization) loss를 적용한 학습모델이 가장 좋은 분석성능을 가질 것으로 예측했다. 그리고 AES-128 1라운드 Subbytes 연산 부분 데이터 집합 3가지에 대해 실제 분석을 수행했다. 제시한 각 label 기법과 loss 함수를 적용한 총 16가지 MLP(Multi-Layer Perceptron)기반 학습모델로 두 데이터 집합을 비프로파일링 분석하여 예측에 대해 검증했다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1319-1323
• /
• 2004

In this paper, a problem of Thai sign language recognition using a neural network is considered. The paper addresses the problem in classifying certain signs conveying quantitative meaning, e.g., large or small. By treating those signs corresponding to different quantities as derived from different classes, the recognition error rate of the standard multi-layer Perceptron increases if the precision in recognizing different quantities is increased. This is due the fact that, to increase the quantitative recognition precision of those signs, the number of (increasingly similar) classes must also be increased. This leads to an increase in false classification. The problem is due to misinterpreting the amount of quantity the quantitative signs convey. In this paper, instead of treating those signs conveying quantitative attribute of the same quantity type (such as 'size' or 'amount') as derived from different classes, here they are considered instances of the same class. Those signs of the same quantity type are then further divided into different subclasses according to the level of quantity each sign is associated with. By using this two-level classification, false classification among main gesture classes is made independent to the level of precision needed in recognizing different quantitative levels. Moreover, precision of quantitative level classification can be made higher during the recognition phase, as compared to that used in the training phase. A standard multi-layer Perceptron with a back propagation learning algorithm was adapted in the study to implement this two-level classification of quantitative gesture signs. Experimental results obtained using an electronic glove measurement of hand postures are included.

• 한국융합학회논문지
• /
• 제6권3호
• /
• pp.103-109
• /
• 2015

기존 이러닝 시스템의 실감형 교육 및 교육적 체감문제를 해결하기 위하여 투명 디스플레이 기반 디바이스에 증강현실 기술을 적용한 실감형 에듀테인먼트 시스템이 연구되었다. 그러나 투명디스플레이를 이용한 에듀테인먼트 시스템의 경우 다중 마커 배열 및 회전 마커 배열의 미검출에 대한 문제점과 투명디스플레이를 투영한 현실 공간과 가상 객체간의 조명환경 차로 인한 부조화 현상에 대한 문제점과 다양한 디바이스를 통해 서비스를 제공받지 못하는 문제점을 가지고 있다. 따라서 본 논문에서는 회전 마커 검출이 가능한 향상된 마커 검출 기법을 통해 다수의 마커 배열과 회전 마커 배열을 인식하고 중첩 블록 레이어를 통해 현실 공간과 가상공간의 조명 환경을 통일하여 현실감 있는 융합형 에듀테인먼트 콘텐츠를 제공하는 시스템을 설계하였다.

• 한국음향학회지
• /
• 제22권2호
• /
• pp.135-144
• /
• 2003

본 논문에서는 문-음성 합성기에서 사용되는 대용량 데이터 베이스의 구성을 목적으로 하는 음성 신호의 자동 분할기법을 기술하였다. 주된 내용은 은닉 마코프 모델에 기반을 둔 음소 분할과 여기서 얻어진 결과를 초기 음소 경계로 사용하여 이를 자동으로 수정하는 방법으로 구성되어 있다. 다층 퍼셉트론이 음성 경계의 검출기로 사용되었으며, 음소 분할의 성능을 증가시키기 위해, 음소의 천이 패턴에 따라 다층 퍼셉트론을 개별적으로 학습시키는 방법이 제안되었다. 음소 천이 패턴은 수작업에 의해 생성된 레이블 정보를 기준 음소 경계로 사용하여, 기준 음소 경계와 추정된 음소 경계간의 전체 오차를 최소화하는 관점에서 분할되도록 하였다. 단일 화자를 대상으로 하는 실험에서 제안된 기법을 통해 생성된 음소 경계는 기준 경계와 비교하여 95%의 음소가 20 msec 이내의 경계 오차를 갖는 것으로 나타났으며, 평균 자승 제곱근 오차면에서 수정 작업을 통해 25% 향상된 결과를 나타내었다.

• 방송공학회논문지
• /
• 제20권6호
• /
• pp.938-949
• /
• 2015

본 논문에서는 외부압력에 의한 외형 손상이나 빛의 방향에 따른 색상 대비변화 등에 견고한 영상기반 속도 제한 표지판 인식 시스템 설계를 제안한다. 속도 제한 표지판 인식을 위해서 최근 패턴 인식 분야에서 뛰어한 성능을 보여주고 있는　CNN (Convolutional neural network)을 사용한다. 하지만 기존의 CNN은 특징 추출을 위해 다수의 은닉층이 사용되고 추출된 결과에 대해 MLP(Multi-layer perceptron) 등과의 완전 연결(fully-connected) 방식을 사용함으로 학습과 테스트 시간이 많이 걸리는 단점이 있다. 본 논문에서는 이러한 단점을 줄이기 위해 2계층의 CNN을 구성하고 패턴 분류를 위해 랜덤 포레스트(Random forest)를 결합하여 완전 연결이 아닌 랜덤 연결 방식을 적용하였다. GTSRB(German Traffic Sign Recognition Benchmark)데이터의 교통안전표지판 중에서 8개 속도 제한 표지판 데이터를 사용하여 제안하는 방식이 SVM (Support Vector Machine)이나 MLP 분류기를 적용할 때 보다 성능이 우수함을 입증하였다.