• 한국컴퓨터정보학회논문지
• /
• 제29권4호
• /
• pp.9-21
• /
• 2024

최근 딥러닝 분야가 빠르게 발전하는 가운데, 다양한 영역에서 거대 언어 모델을 활용하기 위한 많은 연구들이 진행되고 있다. 하지만 언어 모델의 개발 및 활용을 위해서는 방대한 데이터와 고성능 자원이 필요하다는 현실적인 어려움이 존재한다. 이에 따라 프롬프트를 활용하여 언어 모델을 효율적으로 학습할 수 있는 문맥 내 학습이 등장하였지만, 학습에 효과적인 프롬프트가 무엇인지에 대한 명확한 기준은 구체적으로 제시되지 않았다. 이에 본 연구에서는 문맥 내 학습 방법 중 하나인 PET 기법을 활용하여 기존 데이터의 문맥과 유사한 PVP를 선정하고, 이를 통해 생성한 프롬프트를 학습하여 모델의 성능을 향상시킬 수 있는 프롬프트 기반 학습 성능 향상 방법론을 제안한다. 제안 방법론의 성능 평가를 위해 온라인 비즈니스 리뷰 플랫폼인 Yelp에서 수집된 레스토랑 리뷰 데이터 30,100개로 실험을 수행한 결과, 제안 방법론이 기존의 PET 방법론에 비해 정확도와 안정성, 그리고 학습 효율성의 모든 측면에서 우수한 성능을 보임을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.272-275
• /
• 2019

단어 중의성 해소 방법은 지식 정보를 활용하여 문제를 해결하는 지식 기반 방법과 각종 기계학습 모델을 이용하여 문제를 해결하는 지도학습 방법이 있다. 지도학습 방법은 높은 성능을 보이지만 대량의 정제된 학습 데이터가 필요하다. 반대로 지식 기반 방법은 대량의 정제된 학습데이터는 필요없지만 높은 성능을 기대할수 없다. 최근에는 이러한 문제를 보완하기 위해 지식내에 있는 정보와 정제된 학습데이터를 기계학습 모델에 학습하여 단어 중의성 해소 방법을 해결하고 있다. 가장 많이 활용하고 있는 지식 정보는 상위어(Hypernym)와 하위어(Hyponym), 동의어(Synonym)가 가지는 의미설명(Gloss)정보이다. 이 정보의 표상을 기존의 문장의 표상과 같이 활용하여 중의성 단어가 가지는 의미를 파악한다. 하지만 정확한 문장의 표상을 얻기 위해서는 단어의 표상을 잘 만들어줘야 하는데 기존의 방법론들은 모두 문장내의 문맥정보만을 파악하여 표현하였기 때문에 정확한 의미를 반영하는데 한계가 있었다. 본 논문에서는 의미정보와 문맥정보를 담은 단어의 표상정보를 만들기 위해 구문정보, 의미관계 그래프정보를 GCN(Graph Convolutional Network)를 활용하여 임베딩을 표현하였고, 기존의 모델에 반영하여 문맥정보만을 활용한 단어 표상보다 높은 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.55-56
• /
• 2021

최근, 딥러닝 및 인공신경망 기술의 발전으로 비디오 부호화 분야에서도 인공지능을 이용한 요소 기술에 대한 연구가 활발이 진행되고 있다. 본 논문에서는 주변 참조샘플로부터 문맥정보를 이용하여 현재블록을 예측하는 CNN 기반의 화면내 예측 모델을 구현하고, 비디오 부호화의 블록 분할 구조를 반영한 학습 기법에 따른 부호화 성능을 분석한다. 실험결과 HM(HEVC Test Model)에 구현한 문맥적응적 신경망 기반 예측 모델에서 트리 분할 구조를 반영한 학습이 HM16.19 대비 0.35% BD-rate 부호화 성능 향상을 보였다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.332-340
• /
• 2022

최근 딥러닝을 적용하는 비디오 압축에 대한 연구가 활발히 진행되고 있다. 특히, 화면내 예측 부호화의 성능 한계를 극복할 수 있는 방안으로 딥러닝 기반의 화면내 예측 부호화 기술이 연구되고 있다. 본 논문은 신경망 기반 문맥적응적 화면내 예측 모델의 학습기법과 그 부호화 성능분석을 제시한다. 즉, 본 논문에서는 주변 참조샘플의 문맥정보를 입력하여 현재블록을 예측하는 기존의 합성곱 신경망(CNN: Convolutional Neural network) 기반의 화면내 예측 모델을 학습한다. 학습된 화면내 예측 모델을 HEVC(High Efficiency Video Coding)의 참조 소프트웨어인 HM16.19에 추가적인 화면내 예측모드로 구현하고 그 부호화 성능을 분석하였다. 실험결과 학습한 예측 모델은 HEVC 대비 AI(All Intra) 모드에서 0.28% BD-rate 부호화 성능 향상을 보였다. 또한 비디오 부호화 블록분할 구조를 고려하여 학습한 경우의 성능도 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.239-242
• /
• 2018

문맥 표현은 Recurrent neural network (RNN)에 기반한 언어 모델을 학습하여 얻은 여러 층의 히든 스테이트(hidden state)를 가중치 합(weighted sum)을 하여 얻어낸 벡터이다. Convolution neural network (CNN)를 이용하여 음절 표현을 학습하는 경우, 데이터 내에서 발생하는 미등록어를 처리할 수 있다. 본 논문에서는 음절 표현 CNN 기반의 포인터 네트워크와 문맥 표현을 함께 이용하는 방법을 제안하고, 이를 상호참조해결에 적용한다. 실험 결과, 질의응답 데이터셋에서 CoNLL F1 57.88%로 규칙기반에 비하여 11.09% 더 좋은 성능을 보였다.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.401-408
• /
• 2013

본 논문에서는 영상 내의 문맥 특징(context feature)과 외형 특징(appearance feature)을 함께 학습함으로써 의료영상 내의 비슷한 외형 특징을 가지는 장기들을 자동으로 검출하는 기법을 제안한다. 기존 검출 기법들은 외형 특징 정보만을 학습하여 분류기(classifier)를 생성하였기 때문에 의료영상 내에 외형이 비슷한 장기들이 다수 포함되어 있는 경우 검출 오류가 발생하였다. 제안하는 기법은 외형 특징을 이용하여 학습된 분류기를 통해 얻은 확률 값들을 바탕으로 관심 복셀(voxel) 주변의 확률 분포 특징을 반복적으로 학습함으로써 문맥 정보를 포함하는 분류기를 생성한다. 또한, 실험 단계(test stage)에서 '지역 기반 투표 방식'(region based voting scheme)을 도입함으로써 효율성과 정확성을 향상시킨다. 제안하는 기법의 성능 평가를 위해 SKI10 무릎 관절 데이터 셋 내에서 외형 특징이 비슷한 대퇴골(femur)과 경골(tibia)을 검출하는 실험을 진행하였다. 실험 결과를 통해 제안하는 기법이 외형 특징만을 이용했던 검출 기법에 비해 개선된 검출 성능을 보이고 있음을 확인할 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제19권7호
• /
• pp.1-8
• /
• 2014

클러스터링은 대표적인 비교사 학습 방법의 하나로 균일한 특성을 가지는 데이터를 군집으로 묶기 위해 사용된다. 균일한 특성을 가지는 데이터 부분집합을 문맥으로 정의하고 문맥 내에서 국부적으로 분류를 행하는 융합 방법이 사용되고 있지만 클러스터링은 비교사 학습 방법이라는 한계로 인해 클러스터링 결과로 만들어지는 문맥이 분류에 있어 최선임을 보장하기 어렵다. 이 논문에서는 생성된 클러스터를 문맥으로 가정하고 각 문맥에서 분류를 시행하는 경우 최소의 오류를 보일 수 있는, 분류를 고려한 클러스터링 기법을 제안한다. 제안하는 방법은 선형 판별 분석에서와 유사하게 클러스터 내 동일한 클래스에 속하는 데이터 쌍은 작은 거리 값을, 서로 다른 클래스에 속하는 데이터 쌍은 큰 거리 값을 가지도록 하기 위한 제약 조건을 적용하여 분류 오류를 줄이도록 하였다. 제안한 방법의 실효성은 실험 결과를 통해 확인할 수 있다.

• 한국지능시스템학회논문지
• /
• 제13권2호
• /
• pp.125-130
• /
• 2003

본 논문은 구문관계에 기반한 단서의 결정 리스트를 이용한 지도학습 어의 애매성 해결 방법을 제시한다. 이 방법은 주어진 단어의 어의 애매성을 해결하기 위해 애매한 의미를 가지는 단어와 문맥 내 주변 단어들 사이의. 구문적 관계에 비중을 두며, 모든 단서들을 통합하는 대신에 주어진 문맥 내에서 애매성 해결에 최상이 되는 단일 증거를 규명하고 이용함으로써 올바른 의미를 결정한다. 10개의 한국어 동사에 대한 실험 결과 주변 문맥 단어 외에 구문적인 단서를 추가한 방법이 정확도 성능에 있어서 기준 정확도보다 33% 향상됨을 보였으며, 결정 리스트를 사용한 방법이 모든 애매성 해결에 대한 단서들을 통합하는 방법보다 3%의 정확도 성능 개선을 보였다.

• 인터넷정보학회논문지
• /
• 제15권6호
• /
• pp.117-124
• /
• 2014

모바일 기기를 사용한 실시간 비디오 영상처리분야의 중요 객체탐색 및 추적의 문제에 있어서 난제는 복잡한 배경속에서 전경을 구분해 내는 일이다. 본 논문에서는 기계학습을 위한 특성벡터 선정의 문제를 위한 문맥인식 모델을 제시하여 잡음제거를 위한 기계학습기반의 구분자를 구현하였다. 수학적으로 NP-hard로 알려진 가장 가까운 이웃을 사용한 문맥인식 특성벡터 선정 알고리즘의 구현에 있어서, 본 논문은 연산횟수를 줄인 유사방법론에 대해 자세히 거론하였다. 또한, 문맥인식 성격을 가미한 특성벡터 선정을 통해 얻어진 특성 공간에서의 향상된 분리성에 대해 주성분 분석을 통해 엄밀한 분석결과를 제시하였다. 전반적인 성능 향상의 정도를 계측하기 위해 다양한 기계학습 방법론, 예를 들어, 다층신경망, 지원벡터기계, 나이브베이지안, 회귀분석 등을 사용해 비교결과를 제시하였다. 본 논문에서 제시한 방법론의 성능과 계산상 자원사용에 대한 내용을 결론으로 서술하였다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.141-146
• /
• 2016

대화 시스템에서 사용자가 나타내는 발화에 내재된 감정을 분류하는 것은, 시스템이 적절한 응답과 서비스를 제공하는데 있어 매우 중요하다. 본 연구에서는 대화 내 감정 분류를 하는데 있어 직접적, 간접적으로 드러나는 감정 자질을 자동으로 학습하고 감정이 지속되는 대화 문맥을 효과적으로 반영하기 위해 CNN-LSTM 방식의 딥 뉴럴 네트워크 구조를 제안한다. 그리고 대량의 구어체 코퍼스를 이용한 사전 학습으로 데이터 부족 문제를 완화하였다. 실험 결과 제안하는 방법이 기존의 SVM이나, 단순한 RNN, CNN 네트워크 구조에 비해 전반전인 성능 향상을 보였고, 특히 감정이 있는 경우 더 잘 분류하는 것을 확인할 수 있었다.