• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.115-121
• /
• 2022

질문에 답하기 위해 관련 구절을 검색하는 기술은 오픈 도메인 질의응답의 검색 단계를 위해 필요하다. 전통적인 방법은 정보 검색 기법인 빈도-역문서 빈도(TF-IDF) 기반으로 희소한 벡터 표현을 활용하여 구절을 검색한다. 하지만 희소 벡터 표현은 벡터 길이가 길 뿐만 아니라, 질문에 나오지 않는 단어나 토큰을 검색하지 못한다는 취약점을 가진다. 밀집 벡터 표현 연구는 이러한 취약점을 개선하고 있으며 대부분의 연구가 영어 데이터셋을 학습한 것이다. 따라서, 본 연구는 한국어 데이터셋을 학습한 밀집 벡터 표현을 연구하고 여러 가지 부정 샘플(negative sample) 추출 방법을 도입하여 전이 학습한 모델 성능을 비교 분석한다. 또한, 대화 응답 선택 태스크에서 밀집 검색에 활용한 순위 재지정 상호작용 레이어를 추가한 실험을 진행하고 비교 분석한다. 밀집 벡터 표현 모델을 학습하는 것이 도전적인 과제인만큼 향후에도 다양한 시도가 필요할 것으로 보인다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.516-518
• /
• 2003

본 논문은 특허 문서에 맞게 벡터스페이스 모델을 적용하여 특허정보 검색기를 구현한다. 기존의 상용 특허 검색 시스템의 문제점을 제시하고, 특허 문헌의 특징을 분석하여, 이를 반영한 특허 문헌 검색등의 벡터 스페이스 모델을 제시한다. 하나의 특허 문서는 서로 상이한 특성을 지닌 텍스트와 데이터의 조합으로 이루어져 있다. 따라서 이를 하나의 벡터로 표현하는 것이 용이하지 않다. 이에 대해 본 연구에서는 내용 필드들을 특성에 따라 둘 이상의 벡터로 표현하고, 수치 및 고유명 필드는 불린검색형태로 처리되는 혼합형 벡터 모델을 제안한다. 각 필드의 특징에 맞게 색인어를 추출하며, 텍스트 필드의 색인어률 벡터로 표현하는 과정에서는 잘 알려진 TF-IDF 가중치를 사용하되, 특허 문서가 IPC 특허 분류 기준에 따라 완전 분류되어 있는 문서라는 특징을 이용, 보다 정확한 가중치를 부여한다. 실험과 성능평가를 통하여 제안한 특허 모델의 유용성을 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.419-422
• /
• 2024

본 논문에서는 다항식 보간법의 일종인 이동최소자승법(Moving least squares, MLS)을 네트워크로 학습하여, Divergence-constrained MLS 벡터장을 효율적으로 표현하는 방법을 제안한다. 벡터장을 구성하기 위해 MLS는 스칼라가 아닌 벡터 보간을 해야 하므로 행렬과 벡터의 크기가 더 커지며, 이는 계산량이 커짐을 나타낸다. 고차 보간(High-order interpolation)이 가능한 특징은 장점이 되지만, 계산량이 매우 크기 때문에 시뮬레이션에는 활용이 어렵다. Divergence-constrained MLS를 유체 시뮬레이션에 적용한 경우가 있지만, 실제로 슈퍼컴퓨터(Supercomputer)를 해야 장면 제작이 가능하므로 효용성이 떨어진다. 본 논문에서는 이러한 문제를 해결하기 위해 네트워크 학습을 통한 Divergence-constrained MLS 벡터장을 표현할 수 있는 결과를 보여준다.

• Smart Media Journal
• /
• v.7 no.4
• /
• pp.24-29
• /
• 2018

Text analysis technique for natural language processing in deep learning represents words in vector form through word embedding. In this paper, we propose a method of constructing a document vector and classifying it into spam and normal text message, using word embedding and deep learning method. Automatic spacing applied in the preprocessing process ensures that words with similar context are adjacently represented in vector space. Additionally, the intentional word formation errors with non-alphabetic or extraordinary characters are designed to avoid being blocked by spam message filter. Two embedding algorithms, CBOW and skip grams, are used to produce the sentence vector and the performance and the accuracy of deep learning based spam filter model are measured by comparing to those of SVM Light.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.262-267
• /
• 2022

이커머스 리뷰와 같은 특정 도메인의 경우, 텍스트 표현벡터 학습을 위한 양질의 오픈 학습 데이터를 구하기 어렵다. 또한 사람이 수동으로 검수하며 학습데이터를 만드는 경우, 많은 시간과 비용을 소모하게 된다. 따라서 본 논문에서는 수동으로 검수된 데이터없이 양질의 텍스트 표현벡터를 만들 수 있도록 두 단계의 대조 학습 시스템을 제안한다. 이 두 단계 대조 학습 시스템은 레이블링 된 학습데이터가 필요하지 않은 자기지도 학습 단계와 리뷰의 특성을 고려한 자동 레이블링 기반의 지도 학습 단계로 구성된다. 또한 노이즈에 강한 오류함수와 한국어에 유효한 데이터 증강 기법을 적용한다. 그 결과 스피어먼 상관 계수 기반의 성능 평가를 통해, 베이스 모델과 비교하여 성능을 14.03 향상하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.427-432
• /
• 2020

딥러닝(Deep-learning) 기반의 자연어 이해(Natural Language Understanding) 기술들은 최근에 상당한 성과를 성취했다. 하지만 딥러닝 기반의 자연어 이해 기술들은 내적인 동작들과 결정에 대한 근거를 설명하기 어렵다. 본 논문에서는 벡터를 그래프로 변환함으로써 신경망의 내적인 의미 표현들을 설명할 수 있도록 한다. 먼저 인간과 기계 모두가 이해 가능한 표현방법의 하나로 그래프를 주요 표현방법으로 선택하였다. 또한 그래프의 구성요소인 노드(Node) 및 엣지(Edge)의 결정을 위한 Element-Importance Inverse-Semantic-Importance(EI-ISI) 점수와 Element-Element-Correlation(EEC) 점수를 심층신경망의 훈련방법 중 하나인 드랍아웃(Dropout)을 통해 계산하는 방법을 제안한다. 다양한 실험들을 통해, 본 연구에서 제안한 벡터-그래프(Vector2graph) 변환 프레임워크가 성공적으로 벡터의 의미정보를 유지하면서도, 설명 가능한 그래프를 생성함을 보인다. 더불어, 그래프 기반의 새로운 시각화 방법을 소개한다.

• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.142-147
• /
• 2012

본 논문에서는 신경망을 재귀적으로 사용하여 문장에서 지시 표현을 추출하고 분석하는 방법에 대해서 제안한다. 임의의 문장이 들어올 때, 문장을 구성하는 각 단어들은 통사론적 자질 벡터와 의미론적 자질 벡터로 나눌 수 있다. 이들 벡터들의 쌍을 인자로써 입력받는 신경망 구조를 제시할 수 있으며, 신경망의 출력 결과는 다시 재귀적으로 쌍인자 신경망에 입력으로써 주입된다. 신경망을 재귀적으로 학습시킴으로써, 문장 내의 지시 표현을 추출할 수 있다. 쌍인자 신경망 파싱 모델의 성능을 측정했고, 제안한 모델의 문제점과 가능성에 대해서 관찰하였다.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.47-49
• /
• 2017

인공 신경망 기반 자연어 처리 시스템들에서 단어를 벡터로 변환할 때, 크게 색인 및 순람표를 이용하는 방법과 합성곱 신경망이나 회귀 신경망을 이용하는 방법이 있다. 이 때, 전자의 방법을 사용하려면 시스템이 수용 가능한 어휘집이 정의되어 있어야 하며 새로운 단어를 어휘집에 추가하기 어렵다. 반면 후자의 방법을 사용하면 단어를 구성하는 문자들을 바탕으로 벡터 표현을 생성하기 때문에 어휘집이 필요하지 않지만, 추가적인 인공 신경망 구조가 필요하기 때문에 모델의 복잡도와 파라미터의 수가 증가한다는 단점이 있다. 본 연구에서는 위 두 방법의 한계를 극복하고자 Bag of Characters를 응용하여 단어를 구성하는 문자들의 집합을 바탕으로 벡터 표현을 생성하는 방법을 제안한다. 제안된 방법은 문자를 기반으로 동작하기 때문에 어휘집을 정의할 필요가 없으며, 인공 신경망 구조가 사용되지 않기 때문에 시스템의 복잡도도 증가시키지 않는다. 또한, 단어의 벡터 표현에 단어를 구성하는 문자들의 정보가 반영되기 때문에 Out-Of-Vocabulary 단어에 대한 성능도 어휘집을 사용하는 방법보다 우수할 것으로 기대된다.

• Communications of the Korean Mathematical Society
• /
• v.18 no.4
• /
• pp.587-602
• /
• 2003

본 논문에서는 벡터값을 가지는 함수로 이루어진 벡터 변분 부등식들의 해집합사이의 관계, 미분 불가능한 볼록함수로 이루어진 벡터 볼록 최적화 문제의 해집합들과 볼록함수의 아래미분으로 표현된 벡터 변분부등식의 해집합들과의 관계, 제약집합이 볼록 함수로 구체적으로 주어질 때의 벡터 변분부등식의 해가 될 필요 충분조건, 섭동된 강 단조 벡터 변분부등식의 안정성 결과와 섭동된 벡터 강 볼록 최적화문제에의 적용에 대한 최근 연구 결과를 정리한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2003.05a
• /
• pp.281-284
• /
• 2003

Development of internet had centered on that offer universality of expression. But, graphic processing of expression center has many inconveniences because of method that is not structural in World Wide Web. Announced SVG that is XML application to permit efficient expression and storage of vector graphic expression, share in W3C to supplement these things. Therefore, because using SVG document in this treatise, edit vector graphic through interface that could edit expressed graphic object directly structural edit and screen that is offered in graphic edit system form and designed SVG edit system to express. This system may use usefully to efficient XML graphics processing on the GIS system and Mobile service environment and so on.