• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.119-126
• /
• 2024

건물 정보 모델(BIM: Building Information Model)은 관련 기업의 개별화된 프로젝트와 학습 데이터양 부족으로 인해 인공지능(AI: Artificial Intelligence) 기반 BIM 애플리케이션 개발이 쉽지 않다. 본 연구에서는 데이터가 제한적인 상황에서 BIM의 강구조물 부재 중량비를 예측하기 위해 사전 학습이 된 대형 언어 모델을 기반으로 신경망을 학습하는 방법을 제시하고 실험하였다. 제안된 모델은 대형 언어 모델을 활용하여 BIM에 내재하는 데이터 부족 문제를 극복할 수 있어 데이터의 양이 부족한 상황에서도 성공적인 학습이 가능하며 대형 언어 모델과 연계된 신경망을 활용하여 자연어와 더불어 숫자 데이터까지 처리할 수 있다. 실험 결과는 제안된 대형 언어 모델 기반 신경망이 기존 소형 언어 모델 기반보다 높은 정확도를 보였다. 이를 통해, 대형 언어 모델이 BIM에 효과적으로 적용될 수 있음이 확인되었으며, 향후 건물 사고 예방 및 건설 비용의 효율적인 관리가 기대된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.171-176
• /
• 2023

최근 등장한 대규모 데이터로 사전학습된 자연어 생성 모델들은 대화 능력 및 코드 생성 태스크등에서 인상적인 성능을 보여주고 있어, 본 논문에서는 대형 언어 모델 (LLM)의 한국어 질문을 SQL 쿼리 (Text-to-SQL) 변환하는 성능을 평가하고자 한다. 먼저, 영어 Text-to-SQL 벤치마크 데이터셋을 활용하여 영어 질의문을 한국어 질의문으로 번역하여 한국어 Text-to-SQL 데이터셋으로 만들었다. 대형 생성형 모델 (GPT-3 davinci, GPT-3 turbo) 의 few-shot 세팅에서 성능 평가를 진행하며, fine-tuning 없이도 대형 언어 모델들의 경쟁력있는 한국어 Text-to-SQL 변환 성능을 확인한다. 또한, 에러 분석을 수행하여 한국어 문장을 데이터베이스 쿼리문으로 변환하는 과정에서 발생하는 다양한 문제와 프롬프트 기법을 활용한 가능한 해결책을 제시한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.419-422
• /
• 2021

본 논문은 한국어와 영어 코퍼스 93GB를 활용하여 구축한 대형 사전학습기반 언어모델인 KE-T5를 소개한다. KE-T5는 한국어와 영어 어휘 64,000개를 포함하는 대규모의 언어모델로 다양한 한국어처리와 한국어와 영어를 모두 포함하는 번역 등의 복합언어 태스크에서도 높은 성능을 기대할 수 있다. KE-T5의 활용은 대규모의 언어모델을 기반으로 영어 수준의 복잡한 언어처리 태스크에 대한 연구들을 본격적으로 시작할 수 있는 기반을 마련하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.289-294
• /
• 2023

대형 언어 모델(Large Language Model)은 방대한 데이터와 파라미터를 기반으로 문맥 이해에서 높은 성능을 달성하였지만, Human Alignment를 위한 문장 생성 제어 연구는 아직 활발한 도전 과제로 남아있다. 본 논문에서는 Instruction Tuning을 통한 문장 생성 제어 실험을 진행한다. 자연어 처리 도구를 사용하여 단일 혹은 다중 제약 조건을 포함하는 Instruction 데이터 셋을 자동으로 구축하고 한국어 언어 모델인 Polyglot-Ko 모델에 fine-tuning 하여 모델 생성이 제약 조건을 만족하는지 검증하였다. 실험 결과 4개의 제약 조건에 대해 평균 0.88의 accuracy를 보이며 효과적인 문장 생성 제어가 가능함을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.507-508
• /
• 2021

최근 한국어 자연어처리 과제에서 대형 언어 모델을 통해 다양한 언어처리 작업에 대한 연구가 활발히 이루어지고 있다. 특히 동형이의어를 구분하는 작업은 문장의 문법성을 정확히 판단하고 비교해야 되기 때문에 어려운 작업이다. KE-T5는 큰 규모의 한국어를 통해 학습된 한국어 대형 언어 모델로 대부분의 자연어처리 과제에서 활용할 수 있으며 복잡한 언어처리 작업에서 높은 성능을 기대할 수 있다. 본 논문에서는 큰 규모의 한국어를 통해 학습된 KE-T5를 활용하여 동형이의어 구별 문제를 수행하고 평가한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.31-35
• /
• 2023

최근에는 질의응답(Question Answering, QA) 분야에서 거대 언어 모델(Large Language Models, LLMs)의 파라미터에 내재된 지식을 활용하는 방식이 활발히 연구되고 있다. Open Domain QA(ODQA) 분야에서는 기존에 정보 검색기(retriever)-독해기(reader) 파이프라인이 주로 사용되었으나, 최근에는 거대 언어 모델이 독해 뿐만 아니라 정보 검색기의 역할까지 대신하고 있다. 본 논문에서는 거대 언어 모델의 내재된 지식을 사용해서 질의 응답에 활용하는 방법을 제안한다. 질문에 대해 답변을 하기 전에 질문과 관련된 구절을 생성하고, 이를 바탕으로 질문에 대한 답변을 생성하는 방식이다. 이 방법은 Closed-Book QA 분야에서 기존 프롬프팅 방법 대비 우수한 성능을 보여주며, 이를 통해 대형 언어 모델에 내재된 지식을 활용하여 질의 응답 능력을 향상시킬 수 있음을 입증한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.514-517
• /
• 2023

본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.365-370
• /
• 2021

대형 코퍼스로 학습한 언어 모델은 코퍼스 안의 사회적 편견이나 혐오 표현까지 학습한다. 본 연구에서는 한국어 오픈 도메인 대화 모델에서 혐오 표현 생성을 완화하는 방법을 제시한다. Seq2seq 구조인 BART [1]를 기반으로 하여 컨트롤 코드을 추가해 혐오 표현 생성 조절을 수행하였다. 컨트롤 코드를 사용하지 않은 기준 모델(Baseline)과 비교한 결과, 컨트롤 코드를 추가해 학습한 모델에서 혐오 표현 생성이 완화되었고 대화 품질에도 변화가 없음을 확인하였다.

• 대한안전경영과학회:학술대회논문집
• /
• 대한안전경영과학회 2013년 춘계학술대회
• /
• pp.215-223
• /
• 2013

산업기술의 비약적인 발전으로 인해 오늘날 우리가 개발하거나 사용하는 시스템은 보다 기술의 고도화 양상을 보이고 있다. 따라서, 기존의 시스템이 지니고 있어 제공하는 단일 특성에서 벗어나 다양한 학제간 결합된 기술로 기존 시스템이 지니고 있는 관념적인 기능에서 벗어나 다기능을 제공하고 있다. 이로 인해, 기존의 개발단계에서는 보다 높은 설계 신뢰성이 요구되고 있다. 특히, 오늘날 우리사회는 시스템의 개발 성공이라는 안도에서 벗어나 시스템 운용 유지단계에서도 안전성 측면에서 매우 중요성을 인식하고 대비하고 있다. 따라서, 국내에서는 미흡한 상위 단계에서의 설계활동과 또한, 같은 시스템 수명주기 상에서의 시스템 안전활동을 동시에 고려한 동시공학적인 접근에 관한 연구를 본 연구팀은 지속적으로 수행해왔다. 따라서, 기존의 연구결과인 설계와 안전을 동시에 고려한 통합 설계 프로세스 모델에 대해, 시스템개발에 관련한 모든 이해당사자가 공통된 이해를 바탕으로 시스템설계와 안전 활동에 대해 상호 호완성과 공통된 인식을 갖고 접근할 수 있는 방안을 본 연구를 통해 수행하였다. 따라서, 본 연구는 모델기반 시스템공학 기법중 보편적인 언어인 공통 언어를 통해 기존 연구를 통해 제시한 통합설계 프로세스 모델을 구현에 관한 연구 수행을 통한 접근 방안에 관하여 논의하고 있다. 본 연구를 기반으로 향후 추가 연구를 수행한다면, 국내 대형복합시스템의 설계단계에서의 안전성을 동시 고려한 시스템 설계 신뢰성 확보를 위해 도움이 될 것으로 기대 된다.

• 전기의세계
• /
• 제27권1호
• /
• pp.70-71
• /
• 1978

회로망이론 및 시스템의 관심분야는 이론과 실제 및 새로 출현하는 기술과 연관하는 분야이며 다음과 같이 구분할 수 있다. 1)회로와 시스템의 해석과 설계에 대한 새로운 개념과 접근방법이다. 회로와 시스템은 대형회로와 시스템 집적회로를 포함한 디지탈 아날로그 소리드스테이트회로 수동 및 능동필터, 집중 및 마이크로웨이브회로망, 비선형 및 시변회로와 시스템, 그라프이론과 응용, 아날로그와 디지탈 신호로세싱시스템, 다차충필터에 관한 것. 2)컴퓨터협조기술로서 여기에는 해석, 설계, 레이아웃, 회로와시스템의 시험과 제작, 그리고 신산법과 사용자 오리엔트된 언어가 포함된다. 3)신호프로세싱, 통신, 계장과 제어에 있어서 모델화, 해석, 응용을 포함하는 신장치와 회로 4)생물학적 경제학적 시스템의 회로개념과 기술의 응용 등이다.