• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.167-171
• /
• 2020

문서 요약은 길이가 긴 원본 문서에서 의미를 유지한 채 짧은 문서나 문장을 얻어내는 작업을 의미한다. 딥러닝을 이용한 자연어처리 기술들이 연구됨에 따라 end-to-end 방식의 자연어 생성 모델인 sequence-to-sequence 모델을 문서 요약 생성에 적용하는 방법들이 연구되었다. 본 논문에서는 여러 자연어처리 분야에서 높은 성능을 보이고 있는 BERT 모델을 이용한 자연어 생성 모델에 복사 메커니즘과 강화 학습을 추가한 문서 요약 모델을 제안한다. 복사 메커니즘은 입력 문장의 단어들을 출력 문장에 복사하는 기술로 학습데이터에서 학습되기 힘든 고유 명사 등의 단어들에 대한 성능을 높이는 방법이다. 강화 학습은 정답 단어의 확률을 높이기 위해 학습하는 지도 학습 방법과는 달리 연속적인 단어 생성으로 얻어진 전체 문장의 보상 점수를 높이는 방향으로 학습하여 생성되는 단어 자체보다는 최종 생성된 문장이 더 중요한 자연어 생성 문제에 효과적일 수 있다. 실험결과 기존의 BERT 생성 모델 보다 복사 메커니즘과 강화 학습을 적용한 모델의 Rouge score가 더 높음을 확인 하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
• /
• pp.667-669
• /
• 2003

특징 형상의 조합으로 표현될 수 없는 자유 형상을 가진 제품이 늘어남에 따라 자유형상을 효율적으로 변형시키는 기법이 필요하다. 여러 가지 자유형상 변형기법(FFD) 가운데에서 자유 형상을 파라메트릭하게 컨트롤하기 위해서는 조정 다각형 기반의 형상 변형 기법이 적합하다. 이에 따라 본 연구에서는 FFD 기법을 적용하여 자유형상 모델을 파라메트릭하게 컨트롤하기 위해 입력 모델에 대한 조정 다각형을 자동으로 생성하는 알고리즘을 제안하였다. 제안된 알고리즘은 크게 기본 조정 다각형 생성과 조정 다각형 최적화 단계로 나누어진다. 기본 다각형 생성에서는 1)입력모델을 직교 3방향에 투영, 2)투영된 결과에 대해 2차원 조정 다각형을 생성, 3)2차원 조정 다각형을 조합하여 3차원 기본 조정 다각형 생성의 단계를 거친다. 조정 다각형 최적화 단계에서는 기본 조정 다각형에 에지 및 면 연산자를 적용하여 입력 모델에 더욱 근사하는 최종 조정 다각형을 생성한다. 예제에서는 제안된 알고리즘을 통해 자동으로 생성된 조정다각형을 자동차 모델에 적용하여 모델의 형상을 변화시킨 결과를 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.447-451
• /
• 2022

본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.580-583
• /
• 2018

본 논문에서는 SeqGAN 모델을 사용하여 한국어 시를 자동 생성해 보았다. SeqGAN 모델은 문장 생성을 위해 재귀 신경망과 강화 학습 알고리즘의 하나인 정책 그라디언트(Policy Gradient)와 몬테카를로 검색(Monte Carlo Search, MC) 기법을 생성기에 적용하였다. 시 문장을 자동 생성하기 위한 학습 데이터로는 사랑을 주제로 작성된 시를 사용하였다. SeqGAN 모델을 사용하여 자동 생성된 시는 동일한 구절이 여러번 반복되는 문제를 보였지만 한국어 텍스트 생성에 있어 SeqGAN 모델이 적용 가능함을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.618-621
• /
• 2023

최근 거대언어모델(LLM)이 기계 번역 및 기계 독해를 포함한 다양한 문제들에서 높은 성능을 보이고 있다. 특히 프롬프트 기반의 대규모 언어 모델은 사고사슬 방식으로 적절한 프롬프팅을 통해 원하는 형식의 답변을 생성할 수 있으며 자연어 추론 단계에서도 높은 정확도를 보여주고 있다. 그러나 근본적으로 LLM의 매개변수에 질문에 관련된 지식이 없거나 최신 정보로 업데이트 되지 않은 경우 추론이 어렵다. 이를 해결하기 위해, 본 연구는 검색문서와 생성모델의 상호작용을 통해 답변하는 한국어 질의응답 모델을 제안한다. 검색이 어려운 경우 생성형 모델을 통해 질문과 관련된 문장을 생성하며, 이는 다시 검색모델과 추론 과정에서 활용된다. 추가로 "판단불가"라는 프롬프팅을 통해 모델이 답변할 수 없는 경우를 스스로 판단하게 한다. 본 연구결과에서 GPT3를 활용한 사고사슬 모델이 63.4의 F1 점수를 보여주며 생성형 모델과 검색모델의 융합이 적절한 프롬프팅을 통해 오픈-도메인 질의응답에서 성능의 향상을 보여준다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.352-354
• /
• 2004

현재의 모델 체커는 모델이 속성을 만족하지 않을 경우 반례를 사용자에게 보여주어서 디버깅을 돕는다. 모델 체커에서 반례는 중요한 장점 중에 하나이지만 대부분의 모델 체커에서 반례로서 하나의 경로만을 보여주게 된다. 하지만 사용자가 원하는 것은 그 이상의 정보를 원할 수 있다. 따라서 반례에서 좀더 많은 정보를 보여줄 필요가 있다. 이런 종류의 연구로서 트리 형식의 반례 생성과 증명 형식의 반례생성이 있었다. 하지만 이 연구들은 시스템이 가질 수 있는 모든 경로를 알아낼 수는 없고 또한 증명 형식의 반례 생성의 경우 상태공간을 다른 형식으로 변경을 해야 한다. 본 논문에서는 반례로서 도달 가능한 모든 경로를 그래프 형식으로 보여줄 수 있는 그래프 형식의 반례를 정의하고 생성방법에 대해서 알아본다

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.936-937
• /
• 2023

본 논문에서는 LLM(Large Language Model) 모델의 fine-tuning 을 통한, 기초 수리 서술형 문항 풀이용 모델 및 Dall-E2 등 이미지 생성형 모델을 활용한 따른 영어 퀴즈풀이용 이미지 생성형 모델을 생성하여, 한국어 기반 LLM 자체 모델 학습 및 교육용 이미지 생성에 대한 방법을 고찰하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.141-146
• /
• 2018

최근 대화 모델 학습에는 시퀀스-투-시퀀스 모델이 널리 활용되고 있다. 하지만 기본적인 시퀀스-투-시퀀스 모델로 학습한 대화 모델은 I don't know 문제와 사오정 문제를 내포한다. I don't know 문제는 입력 발화에 대해 안전하고 무미건조한 단편적인 대답을 많이 생성하는 문제이다. 사오정 문제는 입력 발화에 대해 적절한 응답을 생성했지만 입력 발화와 동일한 의미를 지니지만 어순, 어미 등의 변화가 있는 발화에는 적절한 응답을 생성하지 못하는 문제이다. 이전 연구에서 디노이징 메커니즘을 활용하여 각각의 문제를 완화하는 대화 모델들을 학습할 수 있음을 보였으나 하나의 모델에서 두 문제를 동시에 해결하지는 못하였다. 본 논문에서는 디노이징 메커니즘을 활용하여 각각의 문제에 강점을 지닌 디코더들을 학습하고 응답 생성 시 입력 발화에 따라 두 디코더를 적절하게 반영하여 언급한 문제 모두에 대해 강건한 응답을 생성할 수 있는 모델을 제안한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 한국어 대화 데이터로 실험을 수행하였다. 실험 결과 단일 문제를 해결하는 모델들과 비교하여 ROUGE F1 점수와 사람이 평가한 정성 평가에서 성능 향상을 보였다.

• 한국융합학회논문지
• /
• 제13권1호
• /
• pp.13-21
• /
• 2022

최근 딥러닝 기반의 자연어처리 연구는 사전 훈련된 언어 모델을 통해 대부분의 자연어처리 분야에서 우수한 성능을 보인다. 특히 오토인코더 (auto-encoder) 기반의 언어 모델은 다양한 한국어 이해 분야에서 뛰어난 성능과 쓰임을 증명하고 있다. 그러나 여전히 디코더 (decoder) 기반의 한국어 생성 모델은 간단한 문장 생성 과제에도 어려움을 겪고 있으며, 생성 모델이 가장 일반적으로 쓰이는 대화 분야에서의 세부 연구와 학습 가능한 데이터가 부족한 상황이다. 따라서 본 논문은 한국어 생성 모델을 위한 멀티턴 대화 데이터를 구축하고 전이 학습을 통해 생성 모델의 대화 능력을 개선하여 성능을 비교 분석한다. 또한, 검색 모델을 통해 외부 지식 정보에서 추천 응답 후보군을 추출하여 모델의 부족한 대화 생성 능력을 보완하는 방법을 제안한다.

• 한국전산구조공학회:학술대회논문집
• /
• 한국전산구조공학회 2011년도 정기 학술대회
• /
• pp.367-370
• /
• 2011

최근 설계 단계에서 설계품질 향상과 시공 단계에서 비용 절감을 효과를 기대하며 3차원 BIM 관련 기술에 대한 관심이 높아가고 있으며, 또한 부분적으로 기술 도입 효과가 나타나고 있다. 그럼에도 불구하고 설계 및 시공 현업은 2차원 CAD 도면을 중심으로 이루어지고 있으며, 3차원 BIM 기반 설계가 이루어진다 하더라도 결국 시공을 수행하는 건설 현장에는 2차원 CAD 도면이 납품되고 이를 기반으로 건설 현장은 운영된다. 또한 설계 단계 BIM과 시공 단계 BIM은 모델의 활용 목적이 다르고 그에 따라 모델링의 범위 및 방법이 크게 다르기에 시공 단계에서 2차원 도면에 기반한 시공 BIM 모델 구축이 필요한 현실이다. 본 연구에서는 2차원 구조 CAD 도면을 인식하여 3차원 골조모델을 생성하는 기술을 개발하고 구현하였다. 통합 BIM 모델은 골조, 설비, 마감으로 구성되며, 이 중 골조 모델은 설비와 마감 모델링을 위하여 선행되어야 할 핵심요소이다. 시공 단계 2차원 도면을 바탕으로 골조 모델의 생성을 생성하는 작업에도 많은 노력이 요구되며, 또한 이 과정에서 모델러가 2차원 도면을 파악하여 BIM 도구를 사용하여 모델링을 하는 과정에서 오류의 가능성도 내포되어 있다. 특히 설비, 마감과의 통합 모델 구축이 원활히 되기 위해서는 골조 상세, 즉 부재 편심 또는 단차 등이 정확히 모델링 되어야 한다. 본 연구의 도면 인식을 통한 3D 골조모델 생성은 2차원 구조평면과 부재일람표에 표기된 내용을 그대로 인식하여 3차원 BIM 모델을 생성함으로써 모델링 효율의 극대화와 모델 정확도 향상의 효과를 기대할 수 있다.