• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.698-703
• /
• 2023

최근 ChatGPT와 같은 사전학습 생성모델은 자연어 이해 (natural language understanding)에서 좋은 성능을 보이고 있다. 또한 코드 작업을 도와주고 대학수학능력시험, 중고등학교 수준의 문제를 풀거나 도와주는 다양한 분야에서 활용되고 있다. 본 논문은 사전학습 생성모델을 이용하여 영어 교육을 위해 말뭉치를 확장하는 프레임 워크를 제시한다. 이를 위해 ChatGPT를 사용해 말뭉치를 확장 한 후 의미 유사도, 상황 유사도, 문장 교육 난이도를 사용해 생성된 문장의 교육적 효과를 검증한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.80-85
• /
• 2023

기계 번역에서 품질 검증은 정답 문장 없이 기계 번역 시스템에서 생성된 번역의 품질을 자동으로 추정하는 것을 목표로 한다. 일반적으로 이 작업은 상용화된 기계 번역 시스템에서 후처리 모듈 역할을 하여 사용자에게 잠재적인 번역 오류를 경고한다. 품질 검증의 하위 작업인 치명적인 오류 탐지는 번역의 오류 중에서도 정치, 경제, 사회적으로 문제를 일으킬 수 있을 만큼 심각한 오류를 찾는 것을 목표로 한다. 본 논문은 치명적인 오류의 유무를 분류하는 것을 넘어 문장에서 치명적인 오류가 존재하는 부분을 제시하기 위한 새로운 데이터셋과 모델을 제안한다. 이 데이터셋은 거대 언어 모델을 활용하는 구축 방식을 채택하여 오류의 구체적인 범위를 표시한다. 또한, 우리는 우리의 데이터를 효과적으로 활용할 수 있는 다중 작업 학습 모델을 제시하여 오류 범위 탐지에서 뛰어난 성능을 입증한다. 추가적으로 언어 모델을 활용하여 번역 오류를 삽입하는 데이터 증강 방법을 통해 보다 향상된 성능을 제시한다. 우리의 연구는 기계 번역의 품질을 향상시키고 치명적인 오류를 줄이는 실질적인 해결책을 제공할 것이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.352-357
• /
• 2023

자연어 추론은 두 문장(전제, 가설)간의 관계를 이해하고 추론하여 함의, 모순, 중립 세 가지 범주로 분류하며, 전제-가설-라벨(PHL) 데이터셋을 활용하여 자연어 추론 모델을 학습한다. 그러나, 새로운 도메인에 자연어 추론을 적용할 경우 학습 데이터가 존재하지 않거나 이를 구축하는 데 많은 시간과 자원이 필요하다는 문제가 있다. 본 논문에서는 자연어 추론을 위한 학습 데이터인 전제-가설-라벨 삼중항을 자동 생성하기 위해 [1]에서 제안한 문장 변환 규칙 대신에 거대 언어 모델과 Chain-of-Thought(CoT), Program-aided Language Models(PaL) 등의 프롬프팅(Prompting) 방법을 이용하여 전제-가설-라벨 삼중항을 자동으로 생성하는 방법을 제안한다. 실험 결과, CoT와 PaL 프롬프팅 방법으로 자동 생성된 데이터의 품질이 기존 규칙이나 기본 프롬프팅 방법보다 더 우수하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.1116-1119
• /
• 2021

2018 년 Google 사의 사전 학습된 언어 인공지능 BERT 를 기점으로, 자연어 처리 학계는 주요 구조를 유지한 채 경쟁적으로 모델을 대형화하는 방향으로 발전했다. 그 결과, 오늘날 자연어 인공지능은 거대 사기업과 그에 준하는 컴퓨팅 자원을 소유한 연구 단체만의 전유물이 되었다. 본 논문에서는 다층 퍼셉트론을 병렬적으로 배열해 자연어 인공지능을 제작하는 기법의 모델을 제안하고, 이를 적용한'조건부 게이트 다층 퍼셉트론 모델(SG-MLP)'을 구현하고 그 결과를 비교 관찰하였다. SG-MLP 는 BERT 의 20%에 해당하는 사전 학습량만으로 다수의 지표에서 그것과 준하는 성능을 보였고, 동일한 과제에 대해 더 적은 연산 비용을 소요한다.

• 반도체공학회 논문지
• /
• 제1권1호
• /
• pp.23-30
• /
• 2023

최근 거대 IT 기업들의 Generative AI 기술 개발로 Transformer 모델의 규모가 조 단위를 넘어가며 기하급수적으로 증가하고 있다. 이러한 AI 서비스를 지속적으로 가능케 하기 위해선 모델 경량화가 필수적이다. 본 논문에서는 하드웨어 친화적으로 구조화된(structured) 프루닝 패턴을 찾아 Transformer 모델의 경량화 방법을 제안한다. 이는 모델 알고리즘의 특성을 살려 압축을 진행하기 때문에 모델의 크기는 줄어들면서 성능은 최대한 유지할 수 있다. 실험에 따르면 GPT2 와 BERT 언어 모델을 프루닝할 때 제안하는 구조화된 프루닝 기법은 희소성이 높은 영역에서도 미세 조정된(fine-grained) 프루닝과 거의 흡사한 성능을 보여준다. 이 접근 방식은 미세 조정된 프루닝 대비 0.003%의 정확도 손실로 모델매개 변수를 80% 줄이고 구조화된 형태로 하드웨어 가속화를 진행할 수 있다.

• 서비스연구
• /
• 제13권3호
• /
• pp.172-189
• /
• 2023

본 연구는 공공디자인 정책 결정에 있어 거대 언어 및 정보 모델인 ChatGPT가 기여할 가능성이 있는지에 대해 공공디자인 가진 특징을 중심으로 연구했다. 공공디자인은 디자인의 원리와 접근법을 사용하여 사회문제를 해결하고, 공공서비스 개선을 목표로 한다. 공공디자인 정책과 계획을 수립하기 위해서는 지역의 일반 현황, 인구 현황, 인프라 현황, 자원 현황, 안전 현황, 정책 현황, 법규 현황, 경관 현황, 공간 현황, 공공디자인 현황, 지역 이슈 등 방대한 자료를 기반으로 한다. 따라서 공공디자인은 방대한 자료와 더불어 방대한 언어를 수록하는 디자인 연구 분야다. 인공지능 기술의 급속한 발전과 공공디자인의 중요성을 고려해 ChatGPT와 같은 거대 언어 및 정보 모델이 공공디자인 정책에 어떻게 기여할 수 있는지 알아보고자 한다. 이와 함께, 공공디자인의 개념 및 원칙, 그리고 정책 개발과 실행에 대한 역할을 검토하고, ChatGPT의 개요 및 특징, 적용 사례나 ChatGPT의 선행 연구를 살펴 공공디자인 정책 결정에 활용할 수 있는지 연구했다. 연구 결과, ChatGPT는 공공디자인 정책 수립과정에서 방대한 언어 정보를 제공하고, 의사결정의 지원 역할이 가능하다는 사실을 밝혔다. 특히, ChatGPT는 정책 수립과정에서 다양한 관점을 제공하고, 정책 결정에 필요한 정보를 신속하게 제공하는 데 유용함이 있었다. 이와 함께 정부 정책 개발에 인공지능을 활용하는 추세라는 것이 여러 논문을 통해 확인되었다. 하지만, ChatGPT의 활용에는 윤리적, 법적, 개인 프라이버시 등의 문제 또한 발견되었다. 무엇보다 윤리적인 문제가 제기되었으며, 편향성과 공정성 관련 문제 또한 나타났다. ChatGPT를 공공디자인의 정책 결정에 실질적으로 활용하려면, 첫째, 정책 개발자와 공공디자인 전문가의 역량을 일정부분 키워 활용해야 한다. 둘째, 가칭 '인공지능 정책 활용에 관한 조례'라는 법령(法令)을 마련해 법률(法律)적 정비가 이뤄지기 전까지 지속해서 보완해가면서 활용하는 것이다. 현재로서는 이 두 가지 방안을 적용해 활용하는 것이 필요하다. 따라서 공공디자인 정책 결정에 있어 ChatGPT와 같은 거대 언어 및 정보 모델의 활용은 방대한 언어를 수록하는 디자인 분야에서는 활용할 가치가 충분하다는 것이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.664-671
• /
• 2023

최근 다양한 거대 언어모델(Large Language Model)들이 개발되면서 프롬프트 엔지니어링의 대한 다양한 연구가 진행되고 있다. 본 논문에서는 퓨삿 학습 환경에서 개체명 인식의 성능을 높이기 위해서 제안된 템플릿이 필요 없는 프롬프트 튜닝(Template-free Prompt Tuning) 방법을 이용하고, 이 방법에서 사용된 라벨 단어 집합 생성 방법에 Maximal Marginal Relevance 알고리즘을 적용하여 해당 개체명에 대해 보다 다양하고 구체적인 라벨 단어 집합을 생성하도록 개선하였다. 실험 결과, 'LOC' 타입을 제외한 나머지 개체명 타입에서 'PER' 타입은 0.60%p, 'ORG' 타입은 4.98%p, 'MISC' 타입은 1.38%p 성능이 향상되었고, 전체 개체명 인식 성능은 1.26%p 향상되었다. 이를 통해 본 논문에서 제안한 라벨 단어 집합 생성 기법이 개체명 인식 성능 향상에 도움이 됨을 보였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1997년도 하계학술대회 논문집 D
• /
• pp.1091-1093
• /
• 1997

조류계산은 전력계통해석에서 가장 기본적인 것이다. 일반적으로 조류계산은 선로의 3상을 평형으로 간주하여 한상에 대해서만 해석하였다. 삼상조류계산의 복잡함에 비해 그 필요성은 크지 않았기 때문이었다. 한편, 80년대에 소프트웨어 위기의 대안으로 제시되었던 객체지향기법(OOP)은 객체의 효율적인 모델링을 통해 복잡하고 거대한 프로그램의 작성을 보다 용이하게 할 수 있도록 하였다. 본 논문에서는 전력계통의 콤포넌트와 그 콤포넌트로 구성된 전력계통을 모델링하였고 계산에서 사용하는 수학적 모델을 모델링하였다. 또한 본 논문에서 사용한 객체지향 언어인 C++의 큰 특징인 template을 적응하였다. 결과적으로 기존의 단상 조류계산과 삼상조류계산이 사용되는 콤포넌트의 모델이 다른 것을 제외하고는 전체적인 구조를 동일하게 할 수 있었다.

• 한국시뮬레이션학회:학술대회논문집
• /
• 한국시뮬레이션학회 1999년도 추계학술대회 논문집
• /
• pp.331-336
• /
• 1999

웹은 지난 수년간 급속도로 발전하였으며 웹의 다양한 활용 분야 중에서 시뮬레이션은 웹의 특성을 가장 잘 이용하는 분야 중 하나로, 웹 기반 시뮬레이션의 구현에 대한 연구가 활발히 이루어지고 있다. 또한 Java 언어의 출현은 웹에서 실질적인 애니메이션과 애니메이션들간의 상호동작을 가능하게 한다. 웹 기반 분산 시뮬레이션은 웹의 분산 특성과 자바의 객체지향 특성을 이용한 분산 시뮬레이션이다. time-warp 기법을 사용하는 웹 기반 분산 시뮬레이션에서 speedup에 대한 성능은 rollback과 통신 지연이 가장 중요한 요인이다. rollback이 발생한 경우 시뮬레이션을 다시 수행하여 시뮬레이션을 매우 느리게 한다. 이러한 rollback과 통신 지연의 방대한 오버헤드는 시뮬레이션 모델의 지역적 분할을 사용할 때 발생한다. 본 발표에서는 time-warp을 기본 구졸 자바의 RMI를 사용하는 웹 기반 분산 시뮬레이션에서 통신 지연에 의한 오버헤드 및 거대한 병렬성과 분산을 고려한 시뮬레이션의 구현 모델을 제안하고 구현한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권10호
• /
• pp.455-460
• /
• 2023

텍스트 증강은 자연어처리 모델의 성능 향상을 목적으로 원본 텍스트의 변환, 생성을 통하여 새로운 증강 텍스트를 생성하는 방법론이다. 기존 연구된 기법들은 표현적 다양성 부족, 의미 왜곡 , 한정적인 양의 증강 텍스트와 같은 한계점이 존재한다. 거대언어모델과 few-shot learning을 활용한 텍스트 증강은 이러한 한계점의 극복이 가능하지만, 잘못된 생성으로 인한 노이즈 발생의 위험성이 존재한다. 본 논문에서는 여러 후보 텍스트를 생성하고 적합한 텍스트를 증강 텍스트로 선정하는 TAGS를 제안한다. TAGS는 기존 텍스트 few shot learning을 통해 다양한 표현을 생성하면서 대조 학습과 유사도 비교를 통해 원본 텍스트가 적더라도 적합한 데이터를 효과적으로 선정한다. 이를 텍스트 증강이 필수적인 업무용 챗봇 데이터에 적용하여 60배 이상의 양적 향상을 달성하였다. 또한 증강 텍스트의 질적 향상을 확인하기 위해 실제 생성된 텍스트를 분석하여 원본 텍스트에 비해 의미론적, 표현적으로 다양한 텍스트를 생성함을 확인하였으며, 증강 텍스트로 실제 분류 모델을 학습하고 실험하여 실질적으로 자연어처리 모델 성능 향상에 도움이 되는 것을 확인하였다.