• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
• /
• pp.396-400
• /
• 2004

가상공간에서의 정보교류가 늘어나면서 컴퓨터 통신언어도 자연어처리의 새로운 연구 분야로 등장하였다. 가장 일상화된 컴퓨터 통신어이며 인터넷상의 실시간 대화어인 채팅언어는 신속한 정보 전달 매체의 기능과 문자언어로서 정보교류와 대화 상황을 함께 내포해야 하는 문어와 구어의 양면성을 동시에 가는 언어이다. 이러한 특수성으로 컴퓨터 통신언어의 경우 발화자의 개성에 따라한 의미의 단어도 표기법이 다양하여 어휘수가 매우 많다. 본 연구에서는 컴퓨터 통신에서 사용되는 다양한 어휘를 컴퓨터로 처리하기 위한 어휘의 유형을 체계화하는 방안을 제시한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권5호
• /
• pp.632-642
• /
• 2004

현대적인 소프트웨어들은 모듈성과 확장성을 강조하고 있으며, 프로그래밍 언어와 컴파일러에서도 확장성에 관한 연구들이 수행되고 있다. 본 논문에서 소개하는 Argos 언어는 플러그인 언어라는 개념을 이용해서 언어와 컴파일러를 확장할 수 있는 방법을 제공한다. Argos에서 플러그인 언어는 클래스의 메소드를 정의하기 위해서 사용되며, 플러그인 언어 처리기는 동적으로 추가 및 교체될 수 있는 특징을 가지고 있다. Argos에서 플러그인 언어는 멀티패러다임 프로그래밍과 도메인 특정 언어를 지원하기 위해서 사용될 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (상)
• /
• pp.19-22
• /
• 2003

빨라진 프로세서와 충분한 메모리로 인하여 MPEG-1 MPEG-4 등의 동영상 표준을 기반으로 한 컨텐츠를 PDA 와 같은 모바일 단말기에서 단순히 플레이 시키는 일은 더 이상 문제가 되지 않는다. 이제는 사용자가 자신의 단말기에서 미디어를 감상하는 차원을 넘어서 사용자가 참여 할 수 있는 다양한 컨텐츠를 원한다. 이에 이 논문에서는 SMIL2.0 을 기반으로 하는 대화형 멀티미디어 언어를 연구하고, 여기에 벡터 그래픽스(Vector Graphics)를 추가 시켰다. 또한, 트랜스래이터(Translator)를 구현하여 markup language 를 바이너리 포맷(Binary format)으로 변환시킴으로써 좀 더 모바일 환경에 적합하도록 하였다. 본 논문에서 연구한 대화형 멀티 미디어 언어를 이용하여 대화형 미디어 컨텐츠를 제작하고 자체적으로 제작한 PDA 용 통합 미디어 플레이어에서 재생시킴으로써 대화형 멀티미디어 언어를 이용한 무선 환경에서 다양한 서비스의 가능성을 제시하여 준다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.272-274
• /
• 2022

최근에는 사람과 기계가 자유롭게 대화를 주고받을 수 있는 자유 주제 대화 시스템(Open-domain Dialogue System)이 다양한 서비스에 활용되고 있다. 자유 주제 대화 시스템이 더욱 다양한 답변을 제공할 수 있도록 사전학습 기반의 생성 언어모델이 활용되고 있지만, 답변 제공의 안정성이 떨어져 검색을 활용한 방법 또한 함께 활용되고 있다. 검색 기반 방법은 사용자의 대화가 들어오면 사전에 구축된 데이터베이스에서 유사한 대화를 검색하고 준비되어있는 답변을 제공하는 기술이다. 하지만 멀티턴으로 이루어진 대화는 일반적인 문서의 문장과 다르게 각 문장에 대한 발화의 주체가 변경되기 때문에 연속된 발화 문장이 문맥적으로 밀접하게 연결되지 않는 경우가 있다. 본 논문에서는 이와 같은 대화의 특징을 고려하여 멀티턴 대화를 효율적으로 임베딩 할 수 있는 DBERT(DialogueBERT) 모델을 제안한다. 기존 공개된 사전학습 언어모델 기반의 문장 임베딩 모델과 비교 평가 실험을 통해 제안하는 방법의 우수성을 입증한다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
• /
• pp.310-313
• /
• 2004

자바는 컴파일러에 의해 아키텍처 독립적인 바이트코드로 구성된 바이너리 형태의 클래스 파일을 생성하면 JVM에 의해 하드웨어와 운영체제에 상관없이 실행이 가능한 플랫폼 독립적인 언어로 현재 가장 널리 사용되는 범용 프로그램 언어중 하나이다. EVM(Embedded Virtual Machine)은 Microsoft사의 .NET 언어와 SUN사의 Java 언어등을 모두 수용할 수 있는 임베디드 시스템을 위한 가상기계이며, SIL(Standard Intermediate Language)은 EVM에서 실행되는 중간언어로 다양한 프로그래밍 언어를 수용하기 위해서 객체지향 언어와 순차적 언어를 모두 수용하기 위한 연산 코드 집합을 갖고 있다. 본 논문에서는 자바 프로그램을 EVM에서 실행 될 수 있도록 자바 프로그램을 컴파일하여 생성된 클래스 파일로부터 Oolong 코트를 추출하고 추출된 Oolong 코드를 EVM의 SIL 코드로 변환하는 Oolong-to-SIL 번역기 시스템을 구현하였다. 번역기 시스템을 정형화하기 위해 Oolong 코드의 명령어 등을 문법으로 작성하였으며, PGS를 통해 생성된 어휘 정보를 가지고 스캐너를 구성하였고, 파싱테이블을 가지고 파서를 설계하였다 파서의 출력으로 AST가 생성되면 번역기는 AST를 탐색하면서 의미적으로 동등한 SIL 코드를 생성하도록 번역기 시스템을 컴파일러 기법을 이용하여 모듈별로 구성하였다. 이와 같이 번역기를 구성함으로써 목적기계의 중간언어 형태에 따라 중간언어 번역기를 자동으로 구성할 수 있어 재목적성(Retargetability)을 높일 수 있다.

• 인지과학
• /
• 제17권3호
• /
• pp.231-253
• /
• 2006

시각형과 언어형이라는 인지양식이 멀티미디어 학습에 영향을 미치는지 알아보기 위해 언어정보와 그림정보의 제시순서를 달리해서 실험을 실시하였다. 시각형에서는 그림정보를 먼저 제시한 경우에 더 잘 학습하였으나, 언어형은 언어정보를 먼저 제시한 경우에 수행이 좋았다. 이 결과는 인지 양식에 따라 정보의 효과적인 제시 순서가 달라질 수 있다는 것을 보여주는 것으로, 학습자의 인지양식에 따라 학습교재의 인지 부하가 달라질 수 있다는 것을 시사하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.603-608
• /
• 2023

본 연구는 한국어 Vision-Language Pre-training 모델 학습을 위한 대규모 시각-언어 멀티모달 데이터셋 구축에 대한 필요성을 연구한다. 현재, 한국어 시각-언어 멀티모달 데이터셋은 부족하며, 양질의 데이터 획득이 어려운 상황이다. 따라서, 본 연구에서는 기계 번역을 활용하여 외국어(영문) 시각-언어 데이터를 한국어로 번역하고 이를 기반으로 생성형 AI를 활용한 데이터셋 구축 방법론을 제안한다. 우리는 다양한 캡션 생성 방법 중, ChatGPT를 활용하여 자연스럽고 고품질의 한국어 캡션을 자동으로 생성하기 위한 새로운 방법을 제안한다. 이를 통해 기존의 기계 번역 방법보다 더 나은 캡션 품질을 보장할 수 있으며, 여러가지 번역 결과를 앙상블하여 멀티모달 데이터셋을 효과적으로 구축하는데 활용한다. 뿐만 아니라, 본 연구에서는 의미론적 유사도 기반 평가 방식인 캡션 투영 일치도(Caption Projection Consistency) 소개하고, 다양한 번역 시스템 간의 영-한 캡션 투영 성능을 비교하며 이를 평가하는 기준을 제시한다. 최종적으로, 본 연구는 ChatGPT를 이용한 한국어 멀티모달 이미지-텍스트 멀티모달 데이터셋 구축을 위한 새로운 방법론을 제시하며, 대표적인 기계 번역기들보다 우수한 영한 캡션 투영 성능을 증명한다. 이를 통해, 우리의 연구는 부족한 High-Quality 한국어 데이터 셋을 자동으로 대량 구축할 수 있는 방향을 보여주며, 이 방법을 통해 딥러닝 기반 한국어 Vision-Language Pre-training 모델의 성능 향상에 기여할 것으로 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.514-517
• /
• 2023

본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
• /
• pp.550-553
• /
• 2004

최근 웹과 가상환경에서는 사실감과 몰입감을 증대시키고 사용자와 상호작용 할 수 있는 아바타의 연구가 활발히 이루어지고 있으나, 아바타 동작의 제어를 위한 기존의 연구들은 하위 동작과 관련된 복잡한 데이터를 포함하고 있어서 사용자가 작성하기에는 난해한 점이 많았고, 다양한 작업 도메인에 적용할 때에는 해당 도메인에 맞게 언어를 재 작성해야 하는 문제점이 있었다. 따라서 본 연구에서는 사용자가 작성하기 쉬운 형태로 정의된 작업수준의 행위 표현 언어와 작성된 행위의 세부 동작들을 위한 동작 표현 언어를 각각 정의하고, 행위 표현 언어를 동작 표현 언어로 변환시키기 위해 Interpreter를 구현하였으며, 아바타의 모션라이브러리를 구축하여 Cyberclass 아바타 시스템을 구현하였다 또한 제안된 행위 표현 언어를 기존 연구와 비교하여, 행위 표현 언어가 아바타의 행위에 대해 좀 더 간단하게 작성 되는 것을 알 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.449-453
• /
• 2019

미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.