• 제목/요약/키워드: 데이터 편향

검색결과 163건 처리시간 0.025초

머신러닝포키즈를 활용한 데이터 편향 인식 학습: AI야구심판 사례 (Learning Method of Data Bias employing MachineLearningforKids: Case of AI Baseball Umpire)

  • 김효은
    • 정보교육학회논문지
    • /
    • 제26권4호
    • /
    • pp.273-284
    • /
    • 2022
  • 본고의 목표는 데이터 편향 인식 교육에서 기계학습 플랫폼의 사용을 제안하는 것이다. 학습자들이 인공지능 데이터 및 시스템을 다루거나 인공지능윤리 요소 중 데이터 편향에 의한 피해를 방지하고자 할 때 인지할 수 있는 역량을 배양할 수 있다. 구체적으로, 머신러닝포키즈를 활용해 데이터편향 학습을 하는 방법을 AI야구심판 사례를 통해 제시한다. 학습자는 구체적 주제선정, 선행연구 검토, 기계학습 플랫폼에서 편향/비편향 데이터의 입력 및 테스트 데이터 구성, 기계학습의 결과 비교, 결과를 통해 얻을 수 있는 데이터 편향에 대한 함의를 제시한다. 이러한 과정을 통해서 학습자는 인공지능 데이터 편향이 최소화되어야 한다는 점과 데이터 수집 및 선정이 사회에 미치는 영향을 체험적으로 배울 수 있다. 이 학습방법은 문제기반의 자기주도 학습의 용이성, 코딩교육과의 결합가능성, 그리고 인문사회적 주제와 인공지능 리터러시와 결합을 추동한다는 의의를 가진다.

한국어 언어모델의 속성 및 정량적 편향 분석: 영어 언어모델과의 비교 및 개선 제안 (Properties and Quantitative Analysis of Bias in Korean Language Models: A Comparison with English Language Models and Improvement Suggestions)

  • 김재민;채동규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.558-562
    • /
    • 2023
  • 최근 ChatGPT의 등장으로 텍스트 생성 모델에 대한 관심이 높아지면서, 텍스트 생성 태스크의 성능평가를 위한 지표에 대한 연구가 활발히 이뤄지고 있다. 전통적인 단어 빈도수 기반의 성능 지표는 의미적인 유사도를 고려하지 못하기 때문에, 사전학습 언어모델을 활용한 지표인 BERTScore를 주로 활용해왔다. 하지만 이러한 방법은 사전학습 언어모델이 학습한 데이터에 존재하는 편향으로 인해 공정성에 대한 문제가 우려된다. 이에 따라 한국어 사전학습 언어모델의 편향에 대한 분석 연구가 필요한데, 기존의 한국어 사전학습 언어모델의 편향 분석 연구들은 사회에서 생성되는 다양한 속성 별 편향을 고려하지 못했다는 한계가 있다. 또한 서로 다른 언어를 기반으로 하는 사전학습 언어모델들의 속성 별 편향을 비교 분석하는 연구 또한 미비하였다. 이에 따라 본 논문에서는 한국어 사전학습 언어모델의 속성 별 편향을 비교 분석하며, 영어 사전학습 언어모델이 갖고 있는 속성 별 편향과 비교 분석하였고, 비교 가능한 데이터셋을 구축하였다. 더불어 한국어 사전학습 언어모델의 종류 및 크기 별 편향 분석을 통해 적합한 모델을 선택할 수 있도록 가이드를 제시한다.

  • PDF

제로샷 분류를 활용한 성별 편향 완화 성별 예측 방법 (Gender Bias Mitigation in Gender Prediction Using Zero-shot Classification)

  • 김연희;최병주;김종길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.509-512
    • /
    • 2024
  • 자연어 처리 기술은 인간 언어의 이해와 처리에서 큰 진전을 이루었으나, 학습 데이터에 내재한 성별 편향이 모델의 예측 정확도와 신뢰성을 저하하는 주요한 문제로 남아 있다. 특히 성별 예측에서 이러한 편향은 더욱 두드러진다. 제로샷 분류 기법은 기존에 학습되지 않은 새로운 클래스를 효과적으로 예측할 수 있는 기술로, 학습 데이터의 제한적인 의존성을 극복하고 다양한 언어 및 데이터 제한 상황에서도 효율적으로 작동한다. 본 논문은 성별 클래스 확장과 데이터 구조 개선을 통해 성별 편향을 최소화한 새로운 데이터셋을 구축하고, 이를 제로샷 분류 기법을 통해 학습시켜 성별 편향성이 완화된 새로운 성별 예측 모델을 제안한다. 이 연구는 다양한 언어로 구성된 자연어 데이터를 추가 학습하여 성별 예측에 최적화된 모델을 개발하고, 제한된 데이터 환경에서도 모델의 유연성과 범용성을 입증한다.

품질이 관리된 스트레스 측정용 테이터셋 구축을 위한 제언 (Recommendations for the Construction of a Quslity-Controlled Stress Measurement Dataset)

  • 김태훈;나인섭
    • 스마트미디어저널
    • /
    • 제13권2호
    • /
    • pp.44-51
    • /
    • 2024
  • 스트레스 측정용 데이터셋의 구축은 건강, 의료분야, 심리향동, 교육분야 등 현대의 다양한 응용 분야에서 핵심적인 역할을 수행하교 있다. 특히, 스트레스 측정용 인공지능 모델의 효율적인 훈련을 위해서는 다양한 편향성을 제거하고 품질 관리된 데이터셋을 구축하는 것이 중요하다. 본 논문에서는 다양한 편향성 제거를 통한 품질의 관리된 스트레스 측정용 데이터셋 구축에 관하여 제안하였다. 이를 위해 스트레스 정의 및 측정도구 소개, 스트레스 인공지능 데이터 셋 구축과정, 품질향상을 위한 편향성 극복 전략 그리고 스트레스 데이터 수집시 고려사항을 제시하였다. 특히, 데이터셋 품질을 관리하기 위해 데이터셋 구축시 고려사항과, 발생할 수 있는 선택편향, 측정편향, 인과관계편향, 확증편향, 인공지능편향과 같은 다양한 편향서에 대해 검토하였다. 본 논문을 통해 스트레스 데이터 수집시 고려사항과 스트레스 데이터셋의 구축에서 발생할 수 있는 다양한 편향성을 체계적으로 이해하고, 이를 극복하여 품질이 보장된 데이터셋을 구축하는데 기여할 것으로 기대된다.

편향 접근 패턴을 갖는 공간 데이터에 대한 공간 색인 기법 (A Spatial Indexing Scheme for Geographical Data with Skewed Access Patterns)

  • 이승중;정성원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.46-48
    • /
    • 2004
  • 차량항법장치(Car Navigation System : CNS)나 지리정보시스템(Geographic Information System : CIS)에서 공간 객체를 효율적으로 다루는 색인기법에 대한 다양한 논의가 있어왔다 기존의 방법에서는 공간 객체의 인접성(cluster)과 밀집성 만을 고려해서 색인 트리를 생성하므로, 편향된 접근 빈도론 가진 공간 객체이 대해서 효과적인 탐색시간을 제공하지 못한다. 접근 빈도를 반영한 색인 기법은 공간 데이터가 갖는 특성-2개 이상의 차원에 대한 순서 할당이 불가능-에 의해서 지리적으로 인접된 객체들을 묶지 못하고, 이로 인해서 공간 객체에 대한 효율적인 색인 기법을 제공할 수 없다. 지리 데이터에 대한 위치와 접근 빈도가 주어질 매, 색인 트리는 좌표 정보뿐 아니라 공간 객체에 대한 접근 빈도도 고려해서 생성되어야 한다 본 논문에서 제안하는 기법을 전체 영역을 세부영역으로 분할하고, 각 세부 영역에 대해서 편향색인 트리를 생성한 뒤에 트리를 병합함으로써 밀집도와 접근 빈도를 반영한, 편향된(skewed) 색인 트리를 생성하도록 한다. 편향된 색인 트리는 접근 빈도가 높은 공간객체를 상위계층(level)에 위치시킴으로써 탐색비용을 줄인다.

  • PDF

예측과 정서가 후견지명 편향에 끼치는 영향 (The Effect of Prediction and Emotion on Hindsight Bias)

  • 김성은;현주하;한광희
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 2부
    • /
    • pp.475-481
    • /
    • 2008
  • 본 연구는 어떤 사건에 대한 예측 정확성 여부와 기억을 회상할 때의 정서 상태가 후견지명 편향 (hindsight bias)에 미치는 영향을 알아보고자 하였다. 이에 valence 축에 따라 긍정적 정서와 부정적 정서를 일으키는 두 가지 음악을 제시하고 두 조건에 대하여 기억에 대한 과잉 확신이 얼마나 달라지는가를 분석하였다. 예측 정확성 여부에 대해서는 실험 결과 데이터 중 예측 일치 조건과 불일치 조건으로 나누어 후견지명 편향에 끼치는 영향과 정서와의 상호작용이 있는가를 분석하였다. 사람들은 예측과 반대되는 결과를 접했을 때 결과에 anchoring하여 기억을 회상하려는 편향이 더욱 커졌으며 부정적인 정서보다 긍정적 정서 상태일 때 후견지명 편향이 더욱 커졌음을 밝혔다. 특히 예측과 상이한 결과 피드백을 받고 긍정적 정서 상태일 때 가장 많은 왜곡 현상을 보였으며, 예측 불일치/ 부정적 정서 조건, 예측 일치/ 긍정적 정서 조건, 예측 일치/ 부정적 정서 조건 순으로 후견지명 편향을 보였다. 이 결과는 정서 상태보다 어떤 사건에 대한 예측 정확성 여부가 후견지명 편향에 더 큰 영향을 준다는 것을 시사한다. 본 연구의 실험실 상황을 통하여 자기와 관련이 없는 중립적 과제를 통해서도 후견지명 편향이 나타남을 알 수 있었다. 특히 그 동안 거의 이루어지지 않았던 정서와 후견지명 편향의 관계를 밝히고, 기존의 예측 정확성에 따른 편향을 설명하는 모델간 논쟁이 많았으나 실험 결과가 motivational model을 지지함을 밝혔음에 의의가 있다.

  • PDF

멀티 디스크 방송 환경을 위한 인덱스 기술 (An Indexing Technique for Multi-Disks Broadcast Environments)

  • 박기영;정성원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.215-218
    • /
    • 2007
  • 모바일 환경에서는 상향링크와 하향링크의 대역폭이 비대칭적이며 전력이 한정되어 있기 때문에 효율적인 데이터 전송기술로 브로드캐스팅 방법이 연구되어 왔다. 브로드캐스트에서 인덱스를 사용하면 원하는 데이터가 언제 방송되는지를 알 수 있어 튜닝 시간을 줄이고, 전력의 소비를 줄이는 효과가 있다. 지금까지 연구된 싱글 채널 인덱스 기법들은 모든 데이터 아이템이 동일한 확률로 접근되는 flat 브로드캐스트 방송에 적합한 인덱스 기법들이다. 데이터 아이템에 대한 접근 확률이 편향되는 경우에는 멀티디스크 방송 기법을 사용해야 효과적이지만, 기존의 인덱스 기법들은 인덱스가 한 방송 주기 내에서 반복되어 방송되는 데이터 아이템을 가리킬 수 없기 때문에 멀티디스크 방송 기법에는 효과적이지 않다. 본 논문에서는 싱글 채널 인덱스 기법으로서 멀티디스크 방송에 적용되는 인덱스 기법인 MDEI (Multi-disk Exponential Index) 기법을 제안한다. 제안 하는 MDEI 기법은 각 디스크 별로 인덱스를 구성하기 때문에 데이터에 대한 접근확률이 편향되는 경우에 멀티디스크 방송을 기반으로 이 인덱스 기법을 사용하면 flat 브로드캐스트를 사용하는 다른 인덱스 기법을 사용했을 때보다 평균 접근지연시간 시간을 크게 줄일 수 있다. 실험 결과는 데이터에 대한 접근 확률이 편향된 환경에서 MDEI가 평균 접근지연시간에 있어서 매우 좋은 성능을 갖는 것을 보여준다.

효율적인 버킷 분할과 조인 방법을 이용한 공간 해쉬 스트립 조인 알고리즘 설계 (Design of a Spatial Hash Strip Join Algorithm using Efficient Bucket Partitioning and Joining Methods)

  • 심영복;이종연;정순기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1367-1370
    • /
    • 2003
  • 본 논문에서는 인덱스가 존재하지 않는 두 개의 입력 릴레이션에 대해서도 최적의 조인 연산을 수행할 수 있는 공간 해쉬 조인 알고리즘을 제안한다. 인덱스가 존재하지 않는 릴레이션의 처리에 사용하는 기존의 공간 해쉬 조인(SHJ: Spatial Hash Join)과 Scalable Sweeping-Rased Spatial Join(SSSJ) 알고리즘을 결합하여 SHJ 알고리즘의 단점으로 지적되고 있는 편향된(skewed) 데이터에 대한 조인 연산의 성능저하 문제를 개선한 수 있는 Spatial Hash Strip Join(SHSJ) 알고리즘을 제안한다. SHJ에서 편향된 데이터의 경우 해쉬 버킷의 오버플로우 처리를 위해 버킷 재분할 방법을 사용하고 있는데 반하여 본 논문에서 제안한 SHSJ 알괴리즘에서는 버킷의 재분할 처리 대신에 버킷에 데이터를 삽입하고, 조인 연산과정에서 오버플로우가 발생한 버킷에 대하여 SSSJ 알고리즘을 사용함으로써 편향된 입력 릴레이션의 처리 성능을 제고시킬 수 있도록 한다.

  • PDF

성향점수를 이용한 무응답 보정 연구 (A Study on Nonresponse Adjistment by Using Propensity Scores)

  • 이계오
    • 한국조사연구학회지:조사연구
    • /
    • 제10권1호
    • /
    • pp.169-186
    • /
    • 2009
  • 본 연구는 사회조사에서 무응답으로 인한 편향을 축소하는 방안으로 성향점수를 이용하는 방법과 사례를 설명하기 위해서 성향점수 방법의 이론적인 개념과 배경을 정리하였다. 또한 성향점수 방법을 처음으로 적용한 역학적인 관찰연구에서 성향점수 모형의 정의와 이론적 배경을 살펴보았고 추정에서 편향의 축소방법으로 이용되는 가지 성향점수 방법을 정리하였다. 성향점수로 짝짓기는 통제그룹의 데이터가 상대적으로 많을 경우에 이용되고 부차분류법은 통제그룹의 모든 데이터를 이용할 수 있으며 회귀모형을 이용한 보정은 다중공변량에서도 사용할 수 있을 뿐만 아니라 각 관찰단위에 성향점수 값을 산출하여 사용할 수 있는 특징이 있다. 그리고 사회여론조사에서 항목무응답으로 인한 편향을 축소하는 데 성향점수 가중법을 적용하는 절차를 제안하고 기존의 데이터를 이용하여 실제 적용에 대한 가능성을 검토하였다.

  • PDF

딥러닝 텍스트 요약 모델의 데이터 편향 문제 해결을 위한 학습 기법 (Training Techniques for Data Bias Problem on Deep Learning Text Summarization)

  • 조준희;오하영
    • 한국정보통신학회논문지
    • /
    • 제26권7호
    • /
    • pp.949-955
    • /
    • 2022
  • 일반적인 딥러닝 기반의 텍스트 요약 모델은 데이터셋으로부터 자유롭지 않다. 예를 들어 뉴스 데이터셋으로 학습한 요약 모델은 커뮤니티 글, 논문 등의 종류가 다른 글에서 핵심을 제대로 요약해내지 못한다. 본 연구는 이러한 현상을 '데이터 편향 문제'라 정의하고 이를 해결할 수 있는 두 가지 학습 기법을 제안한다. 첫 번째는 고유명사를 마스킹하는 '고유명사 마스킹'이고 두 번째는 텍스트의 길이를 임의로 늘이거나 줄이는 '길이 변화'이다. 또한, 실제 실험을 진행하여 제안 기법이 데이터 편향 문제 해결에 효과적임을 확인하며 향후 발전 방향을 제시한다. 본 연구의 기여는 다음과 같다. 1) 데이터 편향 문제를 정의하고 수치화했다. 2) 요약 데이터의 특징을 바탕으로 학습 기법을 제안하고 실제 실험을 진행했다. 3) 제안 기법은 모든 요약 모델에 적용할 수 있고 구현이 어렵지 않아 실용성이 뛰어나다.