• 제목/요약/키워드: metric learning

검색결과 128건 처리시간 0.023초

The Ability of L2 LSTM Language Models to Learn the Filler-Gap Dependency

  • Kim, Euhee
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권11호
    • /
    • pp.27-40
    • /
    • 2020
  • 본 논문은 장단기기억신경망(LSTM)이 영어를 배우면서 학습한 암묵적 통사 관계인 필러-갭 의존 관계를 조사하여 영어 문장 학습량과 한국인 영어 학습자(L2ers)의 문장 처리 패턴 간의 상관관계를 규명한다. 이를 위해, 먼저 장단기기억신경망 언어모델(LSTM LM)을 구축하였다. 이 모델은 L2ers가 영어 학습 과정에서 잠재적으로 배울 수 있는 L2 코퍼스의 영어 문장들로 심층학습을 하였다. 다음으로, 이 언어 모델을 이용하여 필러-갭 의존 관계 구조를 위반한 영어 문장을 대상으로 의문사 상호작용 효과(wh-licensing interaction effect) 즉, 정보 이론의 정보량인 놀라움(surprisal)의 정도를 계산하여 문장 처리 양상을 조사하였다. 또한 L2ers 언어모델과 상응하는 원어민 언어모델을 비교 분석함으로써, 두 언어모델이 문장 처리에서 필러-갭 의존 관계에 내재된 추상적 구문 구조를 추적할 수 있음을 보여주었을 뿐만 아니라, 또한 선형 혼합효과 회귀모델을 사용하여 본 논문의 중심 연구 주제인 의존 관계 처리에 있어서 원어민 언어모델과 L2ers 언어모델간 통계적으로 유의미한 차이가 존재함을 규명하였다.

A BERGPT-chatbot for mitigating negative emotions

  • Song, Yun-Gyeong;Jung, Kyung-Min;Lee, Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권12호
    • /
    • pp.53-59
    • /
    • 2021
  • 본 연구에서는 '레플리카'와 같은 텍스트 입력 기반의 부정적 감정 완화가 가능한 국내 인공지능 챗봇인 BERGPT-chatbot을 제안하고자 한다. BERGPT-chatbot은 KR-BERT와 KoGPT2-chatbot을 파이프라인으로 만들어 감정 완화 챗봇을 모델링하였다. KR-BERT를 통해 정제되지 않은 일상 데이터셋에 감정을 부여하고, 추가 데이터셋을 KoGPT2-chatbot을 통해 학습하는 방식이다. BERGPT-chatbot의 개발 배경은 다음과 같다. 현재 전 세계적으로 우울증 환자가 증가하고 있으며, 이는 COVID-19로 인해 장기적 실내 생활이나 대인 관계 제한으로 더욱 심각한 문제로 대두되었다. 그로 인해 부정적 감정 완화나 정신 건강 케어에 목적을 둔 국외의 인공지능 챗봇이 팬데믹 사태로 사용량이 증가하였다. 국내에서도 국외의 챗봇과 비슷한 심리 진단 챗봇이 서비스 되고 있으나, 국내의 챗봇은 텍스트 입력 기반 답변이 아닌 버튼형 답변 중심으로 국외 챗봇과 비교하였을 때 심리 진단 수준에 그쳐 아쉬운 실정이다. 따라서, BERGPT-chatbot을 통해 감정 완화에 도움을 주는 챗봇을 제안하였으며, BERGPT-chatbot과 KoGPT2-chatbot을 언어 모델의 내부 평가 지표인 '퍼플렉서티'를 통해 비교 분석하여 BERGPT-chatbot의 우수함을 보여주고자 한다.

멀티 브랜치 네트워크 구조 탐색을 사용한 구름 영역 분할 (Semantic Segmentation of Clouds Using Multi-Branch Neural Architecture Search)

  • 정치윤;문경덕;김무섭
    • 대한원격탐사학회지
    • /
    • 제39권2호
    • /
    • pp.143-156
    • /
    • 2023
  • 인공위성이 촬영한 영상의 내용을 정확하게 분석하기 위해서는 영상에 존재하는 구름 영역을 정확하게 인지하는 것이 필요하다. 최근 다양한 분야에서 딥러닝(deep learning) 모델이 뛰어난 성능을 보여줌에 따라 구름 영역 검출을 위해 딥러닝 모델을 적용한 방법들이 많이 제안되고 있다. 하지만 현재 구름 영역 검출 방법들은 의미 영역 분할 방법의 네트워크 구조를 그대로 사용하여 구름 검출 성능을 향상하는 데는 한계가 있다. 따라서 본 논문에서는 구름 검출 데이터 세트에 다중 브랜치 네트워크 구조 탐색을 적용하여 구름 영역 검출에 최적화된 네트워크 모델을 생성함으로써 구름 검출 성능을 향상하는 방법을 제안한다. 또한 구름 검출 성능을 향상하기 위하여 의미 영역 분할 모델의 학습 단계와 평가 단계의 평가 기준 불일치를 해소하기 위해 제안된 soft intersection over union (IoU) 손실 함수를 사용하고, 다양한 데이터 증강 방법을 적용하여 학습 데이터를 증가시켰다. 본 논문에서 제안된 방법의 성능을 검증하기 위하여 아리랑위성 3/3A호에서 촬영한 영상으로 구성된 구름 검출 데이터 세트를 사용하였다. 먼저 제안 방법과 의미 영역 분할 데이터 세트에서 탐색된 기존 네트워크 모델의 성능을 비교하였다. 실험 결과, 제안 방법의 mean IoU는 68.5%이며, 기존 모델보다 mIoU 측면에서 4%의 높은 성능을 보여주었다. 또한 soft IoU 손실 함수를 포함한 다섯 개의 손실 함수를 적용하여 손실 함수에 따른 구름 검출 성능을 분석하였으며, 실험 결과 본 연구에서 사용한 soft IoU 함수가 가장 좋은 성능을 보여주었다. 마지막으로 의미 영역 분할 분야에서 활용되는 최신 네트워크 모델과 제안 방법의 구름 검출 성능을 비교하였다. 실험 결과, 제안 모델이 의미 영역 분할 분야의 최신 모델들보다 mIoU와 정확도 측면에서 더 나은 성능을 보여주는 것을 확인하였다.

지자체 사이버 공간 안전을 위한 금융사기 탐지 텍스트 마이닝 방법 (Financial Fraud Detection using Text Mining Analysis against Municipal Cybercriminality)

  • 최석재;이중원;권오병
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.119-138
    • /
    • 2017
  • 최근 SNS는 개인의 의사소통뿐 아니라 마케팅의 중요한 채널로도 자리매김하고 있다. 그러나 사이버 범죄 역시 정보와 통신 기술의 발달에 따라 진화하여 불법 광고가 SNS에 다량으로 배포되고 있다. 그 결과 개인정보를 빼앗기거나 금전적인 손해가 빈번하게 일어난다. 본 연구에서는 SNS로 전달되는 홍보글인 비정형 데이터를 분석하여 어떤 글이 금융사기(예: 불법 대부업 및 불법 방문판매)와 관련된 글인지를 분석하는 방법론을 제안하였다. 불법 홍보글 학습 데이터를 만드는 과정과, 데이터의 특성을 고려하여 입력 데이터를 구성하는 방안, 그리고 판별 알고리즘의 선택과 추출할 정보 대상의 선정 등이 프레임워크의 주요 구성 요소이다. 본 연구의 방법은 실제로 모 지방자치단체의 금융사기 방지 프로그램의 파일럿 테스트에 활용되었으며, 실제 데이터를 가지고 분석한 결과 금융사기 글을 판정하는 정확도가 사람들에 의하여 판정하는 것이나 키워드 추출법(Term Frequency), MLE 등에 비하여 월등함을 검증하였다.

다중 요소를 가지는 SVM을 이용한 이블 트윈 탐지 방법 (Evil-Twin Detection Scheme Using SVM with Multi-Factors)

  • 강성배;양대헌;이경희
    • 한국통신학회논문지
    • /
    • 제40권2호
    • /
    • pp.334-348
    • /
    • 2015
  • 최근 스마트기기가 널리 보급되면서 무선망이 가능한 AP(Access Point)의 사용 또한 증가하였다. AP를 사용하여 무선망에 접속할 때, 적절한 보안이 제공되지 않는다면, 로그 AP(Rogue AP)에 의해 다양한 보안 문제가 발생될 수 있다. 이 연구에서는 로그 AP의 유형 중 하나인 이블 트윈(Evil Twin)에 대한 위협에 대해서 살펴본다. 최근 대부분의 이블 트윈을 탐지하기 위한 연구에서는 RTT(Round Trip Time)와 같이 인가된 AP와 이블 트윈 사이에서 측정될 수 있는 시간 차이를 이용하는 방법이 주로 이용되고 있다. 그러나 이와 같이 이블 트윈을 탐지하는 방법은 채널이 혼잡한 상태일 때 탐지율이 떨어지는 단점이 있다. 이러한 이유에서 이 연구에서는 이블 트윈을 탐지하는 기준으로 RTT와 함께 추가로 PIAT(Packet Inter-Arrival Time)을 측정한다. 또한 측정된 값을 SVM(Support Vector Machine)의 학습 요소로 사용함으로써, 이블 트윈 분류를 위한 비선형적 기준을 정한다. 결과적으로 채널이 혼잡한 상황에서도 최대 96.5% 최소 89.75%의 높은 확률로 이블 트윈을 성공적으로 탐지하였다.

White striping degree assessment using computer vision system and consumer acceptance test

  • Kato, Talita;Mastelini, Saulo Martiello;Campos, Gabriel Fillipe Centini;Barbon, Ana Paula Ayub da Costa;Prudencio, Sandra Helena;Shimokomaki, Massami;Soares, Adriana Lourenco;Barbon, Sylvio Jr.
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제32권7호
    • /
    • pp.1015-1026
    • /
    • 2019
  • Objective: The objective of this study was to evaluate three different degrees of white striping (WS) addressing their automatic assessment and customer acceptance. The WS classification was performed based on a computer vision system (CVS), exploring different machine learning (ML) algorithms and the most important image features. Moreover, it was verified by consumer acceptance and purchase intent. Methods: The samples for image analysis were classified by trained specialists, according to severity degrees regarding visual and firmness aspects. Samples were obtained with a digital camera, and 25 features were extracted from these images. ML algorithms were applied aiming to induce a model capable of classifying the samples into three severity degrees. In addition, two sensory analyses were performed: 75 samples properly grilled were used for the first sensory test, and 9 photos for the second. All tests were performed using a 10-cm hybrid hedonic scale (acceptance test) and a 5-point scale (purchase intention). Results: The information gain metric ranked 13 attributes. However, just one type of image feature was not enough to describe the phenomenon. The classification models support vector machine, fuzzy-W, and random forest showed the best results with similar general accuracy (86.4%). The worst performance was obtained by multilayer perceptron (70.9%) with the high error rate in normal (NORM) sample predictions. The sensory analysis of acceptance verified that WS myopathy negatively affects the texture of the broiler breast fillets when grilled and the appearance attribute of the raw samples, which influenced the purchase intention scores of raw samples. Conclusion: The proposed system has proved to be adequate (fast and accurate) for the classification of WS samples. The sensory analysis of acceptance showed that WS myopathy negatively affects the tenderness of the broiler breast fillets when grilled, while the appearance attribute of the raw samples eventually influenced purchase intentions.

초등 예비교사들의 법정계량단위에 대한 이해 (The Understanding of Elementary Pre-Service Teachers' on Legal Units)

  • 김성규;공영태
    • 과학교육연구지
    • /
    • 제33권1호
    • /
    • pp.111-121
    • /
    • 2009
  • 이 연구의 목적은 초등예비교사들의 법정계량단위에 대한 관심과 지식정도를 알아보는 것이었다. C 교대 초등예비교사 1,096명을 대상으로 법정계량단위에 대한 인식과 관심, 학년별, 성별, 계열별로 얼마만큼 알고 있는지를 설문을 통하여 변인별 빈도와 백분율(%)과 교차분석($x^2$)을 산출하여 분석해 보았다. 법정계량단위사용의 시기에 대한 관심은 52.1%가 잘 알지 못하였고, 단위사용에 대한 혼란을 느낀 경험을 60.1% 갖고 있다고 하였다. 시행공포후의 반응에서는 절반이상이 별 달라진 것이 없다고 대답하였다. 법정계량단위 사용의 정착을 위한 노력은 방송매체, 수업시간 그리고 캠페인, 연수의 순으로 습득해야한다고 하였다. 법정계량단위에 대하여 학년별, 성별 그리고 문과, 이과계열출신별로 지식정도를 알아본 결과로는 길이와, 넓이, 부피, 질량 단위 등은 학년별, 성별 그리고 이과, 문과계열출신별에 관계없이 따른 지식정도는 잘 알고 있었다. 3학년의 정답률이 가장 높았고 지식 정도 순서로는 3>4>2>1 순으로 나타났다. 3학년의 경우 교육과정상 단위 관련 과목을 배운 시기가 얼마 되지 않아 정답률이 높은 것으로 사료된다. 성별의 경우는 남학생보다 여학생이 정답률이 높았다. 온도는 남자가 정답을 택한 경우가 많았으며 여학생은 한 명도 정답을 선택하지 않았다. 시간의 경우 여학생들의 정답률이 남학생보다 2.7배 이상으로 높았다. 문과, 이과계출신별 지식정도는 부피와, 빛의 밝기는 동일하였고 온도를 제외하고는 예상과 달리 문과 계열출신학생이 정답률이 높았다. 특히 광도를 나타내는 SI단위인 '칸델라(cd)'보다 생활 속에서 사용하는 '럭스' 단위를 혼동하여 사용하는 것 같다. SI 기본단위는 학년별, 성별 그리고 문과, 이과계열별에 관계없이 잘 모르고 있었다. 또한 생활 속에서 쉽게 접하고 있는 유리 및 보조단위를 기준단위와 혼동하여 쓰는 경우도 확인할 수 있었다. 그래서 학생들이 자연스럽게 단위 학습이 될 수 있도록 지속적인 노력이 필요하다고 생각한다. 또한 정부의 미온적인 대처가 제도정착을 지연시키는 한 원인이 되기도 하므로 정부는 제도정착을 위해서 다른 나라의 경우를 거울삼아 하루빨리 정착 할 수 있도록 적극적인 노력을 해야 한다.

  • PDF

Support Vector Regression을 이용한 GARCH 모형의 추정과 투자전략의 성과분석 (Estimation of GARCH Models and Performance Analysis of Volatility Trading System using Support Vector Regression)

  • 김선웅;최흥식
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.107-122
    • /
    • 2017
  • 주식시장의 주가 수익률에 나타나는 변동성은 투자 위험의 척도로서 재무관리의 이론적 모형에서뿐만 아니라 포트폴리오 최적화, 증권의 가격 평가 및 위험관리 등 투자 실무 영역에서도 매우 중요한 역할을 하고 있다. 변동성은 주가 수익률이 평균을 중심으로 얼마나 큰 폭의 움직임을 보이는가를 판단하는 지표로서 보통 수익률의 표준편차로 측정한다. 관찰 가능한 표준편차는 과거의 주가 움직임에서 측정되는 역사적 변동성(historical volatility)이다. 역사적 변동성이 미래의 주가 수익률의 변동성을 예측하려면 변동성이 시간 불변적(time-invariant)이어야 한다. 그러나 대부분의 변동성 연구들은 변동성이 시간 가변적(time-variant)임을 보여주고 있다. 이에 따라 시간 가변적 변동성을 예측하기 위한 여러 계량 모형들이 제안되었다. Engle(1982)은 변동성의 시간 가변적 특성을 잘 반영하는 변동성 모형인 Autoregressive Conditional Heteroscedasticity(ARCH)를 제안하였으며, Bollerslev(1986) 등은 일반화된 ARCH(GARCH) 모형으로 발전시켰다. GARCH 모형의 실증 분석 연구들은 실제 증권 수익률에 나타나는 두터운 꼬리 분포 특성과 변동성의 군집현상(clustering)을 잘 설명하고 있다. 일반적으로 GARCH 모형의 모수는 가우스분포로부터 추출된 자료에서 최적의 성과를 보이는 로그우도함수에 대한 최우도추정법에 의하여 추정되고 있다. 그러나 1987년 소위 블랙먼데이 이후 주식 시장은 점점 더 복잡해지고 시장 변수들이 많은 잡음(noise)을 띠게 됨에 따라 변수의 분포에 대한 엄격한 가정을 요구하는 최우도추정법의 대안으로 인공지능모형에 대한 관심이 커지고 있다. 본 연구에서는 주식 시장의 주가 수익률에 나타나는 변동성의 예측 모형인 GARCH 모형의 모수추정방법으로 지능형 시스템인 Support Vector Regression 방법을 제안한다. SVR은 Vapnik에 의해 제안된 Support Vector Machines와 같은 원리를 회귀분석으로 확장한 모형으로서 Vapnik의 e-insensitive loss function을 이용하여 비선형 회귀식의 추정이 가능해졌다. SVM을 이용한 회귀식 SVR은 두터운 꼬리 분포를 보이는 주식시장의 변동성과 같은 관찰치에서도 우수한 추정 성능을 보인다. 2차 손실함수를 사용하는 기존의 최소자승법은 부최적해로서 추정 오차가 확대될 수 있다. Vapnik의 손실함수에서는 입실론 범위내의 예측 오차는 무시하고 큰 예측 오차만 손실로 처리하기 때문에 구조적 위험의 최소화를 추구하게 된다. 금융 시계열 자료를 분석한 많은 연구들은 SVR의 우수성을 보여주고 있다. 본 연구에서는 주가 변동성의 분석 대상으로서 KOSPI 200 주가지수를 사용한다. KOSPI 200 주가지수는 한국거래소에 상장된 우량주 중 거래가 활발하고 업종을 대표하는 200 종목으로 구성된 업종 대표주들의 포트폴리오이다. 분석 기간은 2010년부터 2015년까지의 6년 동안이며, 거래일의 일별 주가지수 종가 자료를 사용하였고 수익률 계산은 주가지수의 로그 차분값으로 정의하였다. KOSPI 200 주가지수의 일별 수익률 자료의 실증분석을 통해 기존의 Maximum Likelihood Estimation 방법과 본 논문이 제안하는 지능형 변동성 예측 모형의 예측성과를 비교하였다. 주가지수 수익률의 일별 자료 중 학습구간에서 대칭 GARCH 모형과 E-GARCH, GJR-GARCH와 같은 비대칭 GARCH 모형에 대하여 모수를 추정하고, 검증 구간 데이터에서 변동성 예측의 성과를 비교하였다. 전체 분석기간 1,487일 중 학습 기간은 1,187일, 검증 기간은 300일 이다. MLE 추정 방법의 실증분석 결과는 기존의 많은 연구들과 비슷한 결과를 보여주고 있다. 잔차의 분포는 정규분포보다는 Student t분포의 경우 더 우수한 모형 추정 성과를 보여주고 있어, 주가 수익률의 비정규성이 잘 반영되고 있다고 할 수 있다. MSE 기준으로, SVR 추정의 변동성 예측에서는 polynomial 커널함수를 제외하고 linear, radial 커널함수에서 MLE 보다 우수한 예측 성과를 보여주었다. DA 지표에서는 radial 커널함수를 사용한 SVR 기반의 지능형 GARCH 모형이 가장 우수한 변동성의 변화 방향에 대한 방향성 예측력을 보여주었다. 추정된 지능형 변동성 모형을 이용하여 예측된 주식 시장의 변동성 정보가 경제적 의미를 갖는지를 검토하기 위하여 지능형 변동성 거래 전략을 도출하였다. 지능형 변동성 거래 전략 IVTS의 진입규칙은 내일의 변동성이 증가할 것으로 예측되면 변동성을 매수하고 반대로 변동성의 감소가 예상되면 변동성을 매도하는 전략이다. 만약 변동성의 변화 방향이 전일과 동일하다면 기존의 변동성 매수/매도 포지션을 유지한다. 전체적으로 SVR 기반의 GARCH 모형의 투자 성과가 MLE 기반의 GARCH 모형의 투자 성과보다 높게 나타나고 있다. E-GARCH, GJR-GARCH 모형의 경우는 MLE 기반의 GARCH 모형을 이용한 IVTS 전략은 손실이 나지만 SVR 기반의 GARCH 모형을 이용한 IVTS 전략은 수익으로 나타나고 있다. SVR 커널함수에서는 선형 커널함수가 더 좋은 투자 성과를 보여주고 있다. 선형 커널함수의 경우 투자 수익률이 +526.4%를 기록하고 있다. SVR 기반의 GARCH 모형을 이용하는 IVTS 전략의 경우 승률도 51.88%부터 59.7% 사이로 높게 나타나고 있다. 옵션을 이용하는 변동성 매도전략은 방향성 거래전략과 달리 하락할 것으로 예측된 변동성의 예측 방향이 틀려 변동성이 소폭 상승하거나 변동성이 하락하지 않고 제자리에 있더라도 옵션의 시간가치 요인 때문에 전체적으로 수익이 실현될 수도 있다. 정확한 변동성의 예측은 자산의 가격 결정뿐만 아니라 실제 투자에서도 높은 수익률을 얻을 수 있기 때문에 다양한 형태의 인공신경망을 활용하여 더 나은 예측성과를 보이는 변동성 예측 모형을 개발한다면 주식시장의 투자자들에게 좋은 투자 정보를 제공하게 될 것이다.