• 제목/요약/키워드: 언어 간 편향 분석

검색결과 5건 처리시간 0.018초

한국어 언어모델의 속성 및 정량적 편향 분석: 영어 언어모델과의 비교 및 개선 제안 (Properties and Quantitative Analysis of Bias in Korean Language Models: A Comparison with English Language Models and Improvement Suggestions)

  • 김재민;채동규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.558-562
    • /
    • 2023
  • 최근 ChatGPT의 등장으로 텍스트 생성 모델에 대한 관심이 높아지면서, 텍스트 생성 태스크의 성능평가를 위한 지표에 대한 연구가 활발히 이뤄지고 있다. 전통적인 단어 빈도수 기반의 성능 지표는 의미적인 유사도를 고려하지 못하기 때문에, 사전학습 언어모델을 활용한 지표인 BERTScore를 주로 활용해왔다. 하지만 이러한 방법은 사전학습 언어모델이 학습한 데이터에 존재하는 편향으로 인해 공정성에 대한 문제가 우려된다. 이에 따라 한국어 사전학습 언어모델의 편향에 대한 분석 연구가 필요한데, 기존의 한국어 사전학습 언어모델의 편향 분석 연구들은 사회에서 생성되는 다양한 속성 별 편향을 고려하지 못했다는 한계가 있다. 또한 서로 다른 언어를 기반으로 하는 사전학습 언어모델들의 속성 별 편향을 비교 분석하는 연구 또한 미비하였다. 이에 따라 본 논문에서는 한국어 사전학습 언어모델의 속성 별 편향을 비교 분석하며, 영어 사전학습 언어모델이 갖고 있는 속성 별 편향과 비교 분석하였고, 비교 가능한 데이터셋을 구축하였다. 더불어 한국어 사전학습 언어모델의 종류 및 크기 별 편향 분석을 통해 적합한 모델을 선택할 수 있도록 가이드를 제시한다.

  • PDF

언어적 공간표상과 비언어적 공간표상에서의 범주화의 효과 (Effects of categorization on linguistic spatial representation and non-linguistic spatial representation)

  • 서원식;한광희
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2002년도 춘계학술대회
    • /
    • pp.119-124
    • /
    • 2002
  • 공간적 관계정보(spatial relation)가 언어적 표상시스템과 비언어적 표상시스템에서 어떻게달라지는가를 범주화 모델의 원형이론 모델을 적용하여 알아보고자 하였다. 이전의 연구들에 따르면 공간적 관계정보에 대한 프로토타입이 언어적 범주와 비언어적 범주에서 다르다는 연구 결과(Crawford 등 2000, Huttenlocher 등 1991)와 동일하다. (Hayward & Tarr 1995)는 상반된 연구 결과가 제기되고 있다. 하지만 이전 연구들에서의 문제점은 언어/비언어 표상체계 간의 편향을 통제하지 못했기 때문에 과제에 따라 서로 다른 결과가 나온 것이라고 볼 수 있다 본 연구에서는 두 대상간의 관계정보를 문장으로 제시한 조건, 그림으로 제시한 조건, 그리고 두 조건을 혼합한 조건을 사용하여 편향에 의한 효과를 제거하고자 하였다. 실험은 각 조건에 따라 짝으로 구성된 자극을 학습한 후 검사자극을 공간적 관계정보를 다양하게 하여 학습자극과 동일한지 아닌지를 판단하게 하였다. 실험결과 관계정보를 언어적으로 제시한 조건과 비언어적으로 제시한 조건간에 대상의 위치에 따른 반응시간의 경향성에서 차이가 없었으며, 대상이 단어인지 그림인지에 따라서 반응시간에서 통계적으로 차이가 나타났다. 그리고 두 표상체계에서 공간적 관계에 대한 프로토타입을 분석한 결과 수직축을 중심으로 전형성 효과가 나타나는 것을 알 수 있었다.

  • PDF

AMSTAR에 기반한 국내 언어치료 분야 메타분석 논문의 방법론적 질평가 (The evaluation of methodological quality of meta-analysis studies in speech language pathology using AMSTAR)

  • 한민주;변해원
    • 한국융합학회논문지
    • /
    • 제11권2호
    • /
    • pp.161-165
    • /
    • 2020
  • 재활과학분야에서 메타분석을 이용한 연구가 증가하는 추세이지만 모든 메타분석 논문의 질적 수준이 동일한 것은 아니다. 특히, 메타분석이 가장 상위의 근거수준을 가진 연구방법임에도 불구하고, 개별 연구들 간의 이질성을 고려하지 않고 단순히 대푯값만을 통합할 경우 결과를 왜곡시킬 뿐만 아니라 잘못된 대안을 도출할 가능성이 높다. 본 연구는 2010년 1월부터 2019년 6월까지 우리나라에서 출판된 언어중재를 주제로 한 메타분석 논문을 대상으로 현황을 파악하고, A Measurement Tool to Assess the Methodological Quality of Systematic Review(AMSTAR)를 이용하여 방법론적 질을 평가하였다. 검색된 논문 98편 중 최종 5편 논문의 방법론적 질을 평가한 결과 총점 11점 중에서 평균 7.4점이 산출되어 보통 이상의 수준으로 확인되었다. 향후 언어병리학 메타연구의 질적 수준을 높이기 위해서는 출판편향에 대한 검증과 이해상충에 대한 명시를 포함해야 할 것으로 사료된다.

과학영재와 일반학생들의 창의적 사고 편향에 대한 분석 (Analysis on Creative Thinking Leaning Between Scientifically Gifted Students and Normal Students)

  • 정덕호;박선옥
    • 영재교육연구
    • /
    • 제21권1호
    • /
    • pp.175-191
    • /
    • 2011
  • 본 연구는 일반 학생들과 과학영재들을 대상으로 문제해결과정에서 주로 활용하고 있는 창의적 사고의 편향을 알아보기 위한 것이다. 일반 학생 144명과 과학영재 97명을 대상으로 창의적 사고의 편향을 알아보기 위하여 R/LCT, BPI를 실시하였다. R/LCT에서 일반 학생들은 우뇌 영역의 사고를 주로 활용하였고, 과학영재들은 좌뇌 영역의 사고를 주로 활용하였다. 일반학생들은 전체적 사고의 활용을 가장 선호하였고, 언어적 사고를 가장 기피하였다. 과학영재들은 논리적 사고를 가장 선호하였고, 임의적 사고를 가장 기피하였다. 일반 학생들의 좌뇌선호집단과 우뇌선호집단 간 좌뇌 영역 사고의 성향과 우뇌 영역 사고의 성향에서 모두 유의미한 차이를 보였다. 즉, 각 집단은 특정의 사고에 편향되어 문제를 해결하려는 경향이 분명하다. 그러나 과학영재들은 좌뇌선호집단과 우뇌선호집단 간 좌뇌 영역 사고 성향은 차이가 적고 주로 우뇌 영역의 사고 성향에서 차이가 크게 나타났다. 즉 과학영재들은 두 집단 모두 논리적 사고, 상징적 사고, 직선적 사고 등 좌뇌 영역의 사고를 적극적으로 활용하고 있다. 결과적으로 과학영재는 일반학생들에 비해 문제를 해결하는 과정에서 서로 다른 방식으로 문제를 해결하려고 한다. 따라서 복잡한 문제는 다양한 사고를 통하여 해결할 수 있으므로 효과적인 과학영재교육을 위하여 영재들의 창의적 사고의 편향을 고려한 교수학습방법이 요구된다.

자기보고식 괴롭힘 경험률 평가의 편향요인 탐색: 평가조건 변인을 중심으로 (Biasing Factors in Self-Report Assessment of Bullying/Victimization: Examining Variability in Involvement Rates by Testing Conditions)

  • 이동형
    • 한국심리학회지:학교
    • /
    • 제15권3호
    • /
    • pp.459-488
    • /
    • 2018
  • 국내외의 학교폭력이나 괴롭힘 실태조사에서 괴롭힘 경험률을 파악하기 위해 자기보고식 평가방법이 널리 활용됨에도 불구하고, 자기보고에 기초한 가해율 및 피해율이 구체적인 조작화 방식, 측정방법 등에 따라 적지 않은 차이를 보인다는 지적이 제기되면서 괴롭힘 평가에서 편향요인은 주요 쟁점이 되어왔다. 이러한 배경에서 본 연구는 690명의 남녀 중학생을 지시문을 통해 조작된 서로 다른 네 평가조건(정의제시/미제시, 익명/기명실시)에 무선배정한 후, Olweus 괴롭힘 질문지의 가해 및 피해문항을 실시하여 성별에 따른 경험률의 차이를 살펴보고, 정의제시 및 익명실시 여부에 따라, 그리고 질문형태(전반질문/세부질문)에 따라 경험률이 다르게 나타나는지, 두 가지 절단점과 성별을 고려하여 살펴보았다. 교차분석 결과, 전반질문에서는 남학생이 여학생에 비해 가해율 및 피해율이 높았고, 직접적 괴롭힘에 대한 세부질문에서도 남학생의 경험률이 유의하게 높았지만, 관계적 괴롭힘에서는 성차가 나타나지 않았다. 또한 괴롭힘에 대한 정의가 제시되지 않은 경우, '엄격한' 절단점을 사용할 때, 전반적 가해 경험률뿐 아니라 언어적 괴롭힘 가해율 및 피해율이 111%~157%나 더 높게 나타났다. 그러나 익명실시 여부에 따라서는 한 문항을 제외하고는 경험률에서 차이가 없었으며, 솔직히 응답한 정도나 비밀보장의 확신 정도도 두 조건 간에 다르지 않았다. 질문형태에 따라서는 세부질문을 통해 경험률을 측정한 경우 전반질문 대비 68%~148% 높게 나타났으며, 질문형태에 따른 괴롭힘 경험 측정치 간의 상관도 낮거나 중간 정도 수준이었다. 또한 전반질문은 민감도는 높지 않은 반면, 이에 비해 특이도는 높은 것으로 나타났다. 이러한 결과가 학교폭력이나 괴롭힘 실태조사 문항의 개발과 실시 절차의 개선을 위해 갖는 구체적 시사점을 제시하였으며, 본 연구의 한계점과 의의를 논의하였다.