• 문화기술의 융합
• /
• 제9권5호
• /
• pp.229-235
• /
• 2023

본 연구는 자동화된 통사 구문 분석 프로그램인 TAASSC를 활용하여 통사적 복잡성 지표와 분석적 척도의 언어 사용 점수 간의 관계를 살펴본다. 본 연구에서는 ICNALE 코퍼스에서 영어를 외국어로 학습하는 EFL 학생이 작성한 에세이 440개를 분석하였고, 언어 사용 점수와 Lu의 전통적인 통사적 복잡성 지표, 구 복잡성 지표, 절 복잡성지표 간의 관계를 탐색하였다. 단계적 회귀분석 결과, 구 복잡성 지표가 분석적 척도의 언어 사용 점수를 가장 잘 예측하는 것으로 나타났으나 선행연구와는 달리 언어 사용 점수를 차지하는 변량은 낮았다. 본 연구결과를 토대로 구수준에서의 통사구문에 대한 지도와 연습이 필요하다는 쓰기 교육의 시사점을 제시한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.131-136
• /
• 2023

본 논문에서는 기존의 요약 태스크에서 주로 사용하는 인코더-디코더 모델과 디코더 기반의 언어 모델의 성능을 비교한다. 요약 태스크를 평가하는 주요한 평가 지표인 ROUGE 점수의 경우, 정답 요약문과 모델이 생성한 요약문 간의 겹치는 단어를 기준으로 평가한다. 따라서, 추상적인 요약문을 생성하는 언어 모델의 경우 인코더-디코더 모델에 비해 낮은 ROUGE 점수가 측정되는 경향이 있다. 또한, 최근 연구에서 정답 요약문 자체의 낮은 품질에 대한 문제가 되었고, 이는 곧 ROUGE 점수로 모델이 생성하는 요약문을 평가하는 것에 대한 신뢰도 저하로 이어진다. 따라서, 본 논문에서는 언어 모델의 요약 성능을 보다 다양한 관점에서 평가하여 언어 모델이 기존의 인코더-디코더 모델보다 좋은 요약문을 생성한다는 것을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.30-33
• /
• 2019

기존의 그래프 기반 파서는 문장의 가능한 모든 트리를 찾고 가장 높은 점수를 갖는 트리를 취하는 방식이다. 하지만 점수를 계산하는데 있어서 노드 정보만을 사용하기 때문에 트리 구조의 특성을 반영하지 못하는 단점이 있다. 이를 위해 본 논문에서는 사전 학습된 모델에서 단어 간의 점수를 얻어 높은 점수를 가지는 단어를 미리 결정하고 결정된 의존성을 통해 부분 트리 만든다. 만들어진 부분 트리 정보를 사용하여 트리 구조의 특성을 반영할 수 있도록 하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.95-100
• /
• 2023

끊임없이 재생산되는 혐오 표현의 정확한 탐지를 위해서는 혐오란 무엇인가에 대한 본질적인 이해가 필요하다. 본 연구에서는 화용론에서 사용되는 적정성 조건이라는 분석 틀을 활용하여 모델이 '혐오하기' 화행을 어떻게 인식하고 있는지 평가하고자 했다. 혐오 화행의 적정성 조건을 명제 내용 조건, 예비 조건, 성실성 조건, 본질 조건으로 나누어 분석하였으며, 이를 진위형, 연결형, 단답형, 논술형 문항으로 구성했다. 그 결과 모든 문항 유형에서 50점이 넘는 점수를 받았으나 비교적 고차원인 사고 능력을 측정하는 단답형과 논술형 문항 유형의 점수가 가장 낮게 나타났다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.340-345
• /
• 2021

최근 많은 연구들이 BERT를 활용하여, 주어진 문맥에서 언어학/문법적으로 적절하지 않은 단어를 인지하고 찾아내는 성과를 보고하였다. 하지만 일반적으로 딥러닝 관점에서 NLL기법(Negative log-likelihood)은 주어진 문맥에서 언어 변칙에 대한 정확한 성격을 규명하기에는 어려움이 있다고 지적되고 있다. 이러한 한계를 해결하기 위하여, Li et al.(2021)은 트랜스포머 언어모델의 은닉층별 밀도 추정(density estimation)을 통한 가우시안 확률 분포를 활용하는 가우시안 혼합 모델(Gaussian Mixture Model)을 적용하였다. 그들은 트랜스포머 언어모델이 언어 변칙 예문들의 종류에 따라 상이한 메커니즘을 사용하여 처리한다는 점을 보고하였다. 이 선행 연구를 받아들여 본 연구에서는 한국어 기반 언어모델인 KoBERT나 KR-BERT도 과연 한국어의 상이한 유형의 언어 변칙 예문들을 다른 방식으로 처리할 수 있는지를 규명하고자 한다. 이를 위해, 본 연구에서는 한국어 형태통사적 그리고 의미적 변칙 예문들을 구성하였고, 이 예문들을 바탕으로 한국어 기반 모델들의 성능을 놀라움-갭(surprisal gap) 점수를 계산하여 평가하였다. 본 논문에서는 한국어 기반 모델들도 의미적 변칙 예문을 처리할 때보다 형태통사적 변칙 예문을 처리할 때 상대적으로 보다 더 높은 놀라움-갭 점수를 보여주고 있음을 발견하였다. 즉, 상이한 종류의 언어 변칙 예문들을 처리하기 위하여 다른 메커니즘을 활용하고 있음을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
• /
• pp.242-248
• /
• 1999

이 논문은 지역적 동사구 분할에 바탕을 두고 서술어가 문말에 위치하는 언어에 특성에서 기인하는 속성을 반영하는 부분적 그러나 빠른 구문분석에 관해 논한다. 즉 완벽성 보다는 신속함 그리고 신뢰에 바탕을 둔 새로운 한국어 구문분석에 대해 논의한다. 기존의 문법이론 대신 한국어의 형태적 통사적 특성에 기인한, 성분들의 분할(partitions)에 의한 단위 (chunks) 분석방법을 제안한다. 근간은 동사구 장벽(VP-barrier) 알고리즘이며, 이 알고리즘은 한 문장안에서의 다양한 동사의 파생접사에 의해 형성되는 관형화, 명사화, 부사화 등의 파생구조와 내포된 동사구(인용문, 종속문 등)에 의해 형성되는 지역적 동사구내에서 그 성분들의 논리적인 분할을 구성하고 다시 그 다음 요소와 체계적으로 결합하는 관계로 확장하여 가능한 구조들을 생성한다. 다시 언어의존적인 발견적 규칙(heuristics)들을 점수화하여 가장 높은 점수의 단위구조를 적격한 구조로 선택한다. 이 방법은 하위범주화 및 의미정보를 사용하지 않는, 빠른 구문분석이 요구되는 시스템을 위해 고안되었으며, 집단적인 노력이 아닌 개인적인 노력 및 최소의 자원으로도 최대의 효과를 얻을 수 있다는데 그 의의가 있다.

• 융합정보논문지
• /
• 제10권12호
• /
• pp.245-255
• /
• 2020

본 연구는 효과적인 이야기 전달을 위한 활동 프로그램이 이야기할머니와 유아 간의 공감능력 및 언어교수효능감에 미치는 영향을 알아보고자 하는 데 그 목적이 있다. 연구대상은 강원·수·권, 경상도권 이야기할머니 51명이었다. 연구도구는 이야기할머니와 유아간의 공감능력을 측정하기 위해 전병성(2002)의 정서공감척도를 사용하였고, 언어교수효능감을 측정하기 위해 김정화, 이영애(2011)의 언어교수효능감 척도를 사용하였다. 본 '효과적인 이야기 전달을 위한 활동 프로그램'은 2017년 3월 6일부터 7월 27일에 걸쳐 본 연구자에 의해 실시되었다. 자료분석은 두 변인의 사전-사후점수 간의 차이를 알아보기 위해 대응표본 t-검증을 실시하였다. 연구결과, 첫째, '효과적인 이야기 전달을 위한 활동 프로그램' 적용 후의 이야기할머니와 유아 간의 인지적 공감능력 점수가 사전점수보다 유의한 차이로 높게 나타났다. 둘째, '효과적인 이야기 전달을 위한 활동 프로그램' 적용 후의 이야기할머니의 개인효능감과 결과기대효능감 등의 언어교수효능감 점수가 사전점수보다 유의한 차이로 높게 나타났다. 결론적으로, '효과적인 이야기 전달을 위한 활동 프로그램'은 이야기할머니들의 인지적 공감능력과 언어교수효능감 향상에 긍정적인 효과가 있음을 시사한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.461-464
• /
• 2023

최근 GPT-3 와 LLaMa 같은 생성형 거대 언어모델을 활용한 서비스가 공개되었고, 실제로 많은 사람들이 사용하고 있다. 해당 모델들은 사용자들의 다양한 질문에 대해 유창한 답변을 한다는 이유로 주목받고 있다. 하지만 LLMs 의 답변에는 종종 Inconsistent content 와 non-factual statement 가 존재하며, 이는 사용자들로 하여금 잘못된 정보의 전파 등의 문제를 야기할 수 있다. 이에 논문에서는 동일한 질문에 대한 LLM 의 답변 샘플과 외부 지식을 활용한 Hallucination Detection 방법을 제안한다. 제안한 방법은 동일한 질문에 대한 LLM 의 답변들을 이용해 일관성 점수(Consistency score)를 계산한다. 거기에 외부 지식을 이용한 사실검증을 통해 사실성 점수(Factuality score)를 계산한다. 계산된 일관성 점수와 사실성 점수를 활용하여 문장 수준의 Hallucination Detection 을 가능하게 했다. 실험에는 GPT-3 를 이용하여 WikiBio dataset 에 있는 인물에 대한 passage 를 생성한 데이터셋을 사용하였으며, 우리는 해당 방법을 통해 문장 수준에서의 Hallucination Detection 성능이 baseline 보다 AUC-PR scores 에서 향상됨을 보였다.

• 컴퓨터교육학회논문지
• /
• 제21권4호
• /
• pp.29-37
• /
• 2018

본 논문에서는 최근 3년 동안 시행된 정보 컴퓨터 표시과목 임용시험의 기출문항을 13개 기본이수과목으로 분류하고, 과목별 점수 및 문항수의 구성을 분석하였다. 이와 함께 기본이수과목 중에서 출제비율이 높은 6개 과목에 대해 평가영역별 점수 구성을 분석하였다. 그리고 교과내용학 분야에서 C언어를 사용한 문항들이 차지하는 점수 비중을 조사하였다. 분석 결과에 따르면, 첫째, 교과내용학 분야에서 과목별 점수 비율은 0~17.1%, 문항수 비율은 0~15.8%로 나타났다. 이와 함께 3개 과목은 연도별 점수 편차가 큰 것을 확인하였다. 둘째, 분석 대상 과목들의 평가영역별 점수 비율은 0~52%로 분포되어 영역별로 편차가 큰 것으로 나타났다. 셋째, 최근 3년 동안의 임용시험에서 C언어를 사용한 문항의 점수 비율은 평균 33%로 매우 높게 나타났다. 본 연구에서는 이러한 분석 결과를 바탕으로 개선 방안을 제안하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
• /
• pp.259-261
• /
• 2003

소프트웨어 시스템의 규모 측정은 소프트웨어 개발에 필요한 비용을 산정하거나 필요한 인력 투입. 기간의 산정 등의 중요한 지표가 된다. 1990년대 후반 급격한 인터넷의 발달로 인해 다양한 기술과 웹 사이트가 등장하였다. 기존의 소프트웨어의 규모를 측정하기 위한 방법은 LOC와 기능점수(Function Point)가 있다. 그러나 LOC는 프로그래밍 언어에 의존적이므로 웹 페이지 규모를 측정하기는 한계가 있다. 따라서 웹 페이지 규모를 측정하기 위해 기능점수분석을 사용한다. 본 논문에서는 동일한 웹 페이지를 기존의 기능점수모형과 확장된 기능점수모형으로 분석하여 그 결과를 비교하고 미비점을 보완한다. 또한 다양한 웹 페이지들의 규모를 측정하기 위하여 기존 기능점수분석모형에 추가 조정 인자를 기술하고 확장된 기능점수모형을 제안한다.