• Title/Summary/Keyword: 포함편향

Search Result 99, Processing Time 0.028 seconds

Combining Imitation Learning and Reinforcement Learning for Visual-Language Navigation Agents (시각-언어 이동 에이전트를 위한 모방 학습과 강화 학습의 결합)

  • Oh, Suntaek;Kim, Incheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.559-562
    • /
    • 2020
  • 시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

Hate Speech Detection in Chatbot Data Using KoELECTRA (KoELECTRA를 활용한 챗봇 데이터의 혐오 표현 탐지)

  • Shin, Mingi;Chin, Hyojin;Song, Hyeonho;Choi, Jeonghoi;Lim, Hyeonseung;Cha, Meeyoung
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.518-523
    • /
    • 2021
  • 챗봇과 같은 대화형 에이전트 사용이 증가하면서 채팅에서의 혐오 표현 사용도 더불어 증가하고 있다. 혐오 표현을 자동으로 탐지하려는 노력은 다양하게 시도되어 왔으나, 챗봇 데이터를 대상으로 한 혐오 표현 탐지 연구는 여전히 부족한 실정이다. 이 연구는 혐오 표현을 포함한 챗봇-사용자 대화 데이터 35만 개에 한국어 말뭉치로 학습된 KoELETRA 기반 혐오 탐지 모델을 적용하여, 챗봇-사람 데이터셋에서의 혐오 표현 탐지의 성능과 한계점을 검토하였다. KoELECTRA 혐오 표현 분류 모델은 챗봇 데이터셋에 대해 가중 평균 F1-score 0.66의 성능을 보였으며, 오탈자에 대한 취약성, 맥락 미반영으로 인한 편향 강화, 가용한 데이터의 정확도 문제가 주요한 한계로 포착되었다. 이 연구에서는 실험 결과에 기반해 성능 향상을 위한 방향성을 제시한다.

  • PDF

Ensemble Composition Methods for Binary Classification of Imbalanced Data (불균형 데이터의 이진 분류를 위한 앙상블 구성 방법)

  • Yeong-Hun Kim;Ju-Hing Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.689-691
    • /
    • 2023
  • 불균형 데이터의 분류의 성능을 향상시키기 위한 앙상블 구성 방법에 관하여 연구한다. 앙상블의 성능은 앙상블을 구성한 기계학습 모델 간의 상호 다양성에 큰 영향을 받는다. 기존 방법에서는 앙상블에 속할 모델 간의 상호 다양성을 높이기 위해 Feature Engineering 을 사용하여 다양한 모델을 만들어 사용하였다. 그럼에도 생성된 모델 가운데 유사한 모델들이 존재하며 이는 상호 다양성을 낮추고 앙상블 성능을 저하시키는 문제를 가지고 있다. 불균형 데이터의 경우에는 유사 모델 판별을 위한 기존 다양성 지표가 다수 클래스에 편향된 수치를 산출하기 때문에 적합하지 않다. 본 논문에서는 기존 다양성 지표를 개선하고 가지치기 방안을 결합하여 유사 모델을 판별하고 상호 다양성이 높은 후보 모델들을 앙상블에 포함시키는 방법을 제안한다. 실험 결과로써 제안한 방법으로 구성된 앙상블이 불균형이 심한 데이터의 분류 성능을 향상시킴을 확인하였다.

Random Digit Dialing Telephone Survey and Major Findings (RDD 전화조사와 주요결과)

  • Kang, H.C.;Han, S.T.;Kim, J.Y.;Jung, Y.C.;Huh, M.H.
    • Survey Research
    • /
    • v.9 no.1
    • /
    • pp.1-22
    • /
    • 2008
  • Telephone directories ille still being used as the sampling frame in almost all fixed-line telephone surveys in Korea, causing potentially serious coverage error. RDD (random digit dialing) sampling is an obvious alternative to solve the problem. The aim of this paper is twofold: 1) proposal of RDD methodology suitable to the telephone system of Korea and 2) the identification of socio-demographic and socio-psychological differences between listed-number and unlisted-number respondents. Major findings of RDD telephone survey conducted experimental]y are as follows. 1) Population coverage by telephone directories is 60% or less. 2) Unlisted-number households have statistically larger income compared to listed-number households. 3) Unlisted-number households have smaller family size compared to listed-number households. 4) Unlisted-number respondents are more sensitive about confidentiality, leaks, 5) Unlisted-number respondents are more liberal compared to unlisted-number respondents. These facts suggest that directory-based telephone surveys tend to be biased in socio-economic aspects.

  • PDF

Uncertainty of the operational models in the Nakdong River mouth (낙동강 하구 환경변화 예측모형의 불확실성)

  • Cho, Hong Yeon;Lee, Gi Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.4-4
    • /
    • 2022
  • 낙동강 하구 환경/생태 복원을 위하여 "해수유입"으로 하구환경을 조성하는 사업이 추진되고 있으며, 해수 유입 규모와 빈도에 따른 생태환경변화를 예측하는 연구수요가 증가하고 있는 상황이다. 보다 구체적으로는 단기간의 해수유입에 의한 흐름 및 염분 확산범위 예측과 더불어 보다 장기간의 지형변화, 수질환경 변화, 생태환경 변화 등에 대한 예측이 필요한 상황이다. 그리고 그 예측의 대부분을 수치모델에 크게 의존하고 있는 상황이다. 그러나, 수치모형을 이용한 단기 예측은 가까운 미래에 대한 입력조건을 사용하여야 하기 때문에 입력조건에 대한 불확실성이 포함되고, 환경생태모형의 불확실성에 따른 예측 한계 등으로 인하여 오차가 누적되기 때문에 직접적인 활용에 크게 제한이 따를 수 있다. 또한 운영과정에서 어떤 분산, 편향 오차 등이 지속적으로 발생하는 경우, 모델 예측 결과에 대한 신뢰수준이 크게 감소하기 때문에 모델의 적절한 운영기법이 요구된다. 모델은 관심을 가지는 자연현상에 대한 근사(approximation)이고, 예상하지 못한 오차가 발생할 수 있기 때문에 관측 자료를 이용한 자료동화(data assimilation) 과정이 운영모델에서는 필수적인 부분이다. 이론적인 기반이 탄탄한 유체역학 기반 기상예측의 경우에도, 가용한 모든 지점의 관측 자료를 이용한 자료 동화과정을 통하여 모델 예측 결과를 개선하여 나가는 과정을 포함하여 운영하고 있다. 이 과정이 포함하는 중요한 개념은 수치모델이 가지고 있는 (예측 수준의) 한계를 인정하고, 수치모델에 전적으로 의존하는 것이 아니라 관측 자료를 이용하여 그 한계를 저감하여 나가는 과정이다. 모니터링은 모델의 한계를 알려주는 지표이다. 모델링과 모니터링의 불가피한 상호의존 관계를 의미하는 이 개념은 단기간의 흐름, 염분 확산 예측으로 한정되지 않고, 장기적인 변화가 예상되는 생태환경변화 모델에도 적용이 된다. 즉각적인 변화보다는 장기적인 관점에서 파악하여야 하는 생태학적인 변화는 보다 다양한 인자가 관여하기 때문에 어떤 측면에서는 모델보다는 적절한 빈도와 항목에 대한 관측계획 수립(monitoring design)이 더 중요하다고 할 수 있다. 이론적인 질량보존(mass conservation) 방정식을 기반으로 하는 모델은 다양한 현실적인 인자의 영향을 받기 때문에 모델의 한계를 인정하고, 모니터링 자료를 적극적으로 활용하여 불확실성을 저감하는 접근방식이 요구된다.

  • PDF

Analyzing cinematic consumption patterns of the p2p users (P2P 영화파일공유 이용자의 영화소비패턴 분석)

  • Yi, Sun-Hi;Choe, Soo-Young
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02b
    • /
    • pp.728-736
    • /
    • 2007
  • P2P 파일공유는 1999년 처음 등장한 이래 저작권 침해로 디지털 콘텐츠 시장을 파괴하는 '해적'으로 간주 되어왔다. 하지만 최근 들어 P2P 시장의 산업적 가능성을 새롭게 주목하는 움직임이 나타나고 있다. 아울러 학계에서는 P2P의 경제적 영향력을 공급자 편향의 시각이 아닌 소비자 측면을 포함한 균형적 관점으로 바라보기 시작했다. 본 연구 역시 균형적 관점에서 P2P를 바라보려는 접근법의 일환으로, P2P 영화파일 공유 이용자들의 영화소비패턴을 실증적으로 살펴보고자 하였다. 실제 P2P 영화파일 공유 이용자들에 대한 설문결과, 이용자들은 단일한 영화소비성향을 가지고 있지 않았으며 다운로드와 극장 관람빈도가 모두 높은 이른바 '얼리어답터'형과 다운로드를 극장관람의 대체재로 여기는 소위 '해적'형이 공존하고 있었다. 이 중 그간 산업계에서 우려하던 해적형의 비율은 10% 정도로 낮았고, 대부분의 P2P 이용자들은 오히려 일반 극장 관람객보다 더 적극적으로 극장소비를 하는 사람들로 영화산업에 긍정적인 기여를 하는 것으로 밝혀졌다. 이러한 소비자 분석결과는 향후 본격화되고 있는 P2P 다운로드 유료화 시장에 대한 전망을 밝게 하는 것으로, 현재 유료화에 있어 가장 중시해야 할 것은 불법 무료 다운로드에 대한 경계가 아니라, 소비자 편의적인 시스템의 개발임을 시사한다.

  • PDF

Modeling Clustered Interval-Censored Failure Time Data with Informative Cluster Size (군집의 크기가 생존시간에 영향을 미치는 군집 구간중도절단된 자료에 대한 준모수적 모형)

  • Kim, Jinheum;Kim, Youn Nam
    • The Korean Journal of Applied Statistics
    • /
    • v.27 no.2
    • /
    • pp.331-343
    • /
    • 2014
  • We propose two estimating procedures to analyze clustered interval-censored data with an informative cluster size based on a marginal model and investigate their asymptotic properties. One is an extension of Cong et al. (2007) to interval-censored data and the other uses the within-cluster resampling method proposed by Hoffman et al. (2001). Simulation results imply that the proposed estimators have a better performance in terms of bias and coverage rate of true value than an estimator with no adjustment of informative cluster size when the cluster size is related with survival time. Finally, they are applied to lymphatic filariasis data adopted from Williamson et al. (2008).

Topic-based Multi-document Summarization Using Non-negative Matrix Factorization and K-means (비음수 행렬 분해와 K-means를 이용한 주제기반의 다중문서요약)

  • Park, Sun;Lee, Ju-Hong
    • Journal of KIISE:Software and Applications
    • /
    • v.35 no.4
    • /
    • pp.255-264
    • /
    • 2008
  • This paper proposes a novel method using K-means and Non-negative matrix factorization (NMF) for topic -based multi-document summarization. NMF decomposes weighted term by sentence matrix into two sparse non-negative matrices: semantic feature matrix and semantic variable matrix. Obtained semantic features are comprehensible intuitively. Weighted similarity between topic and semantic features can prevent meaningless sentences that are similar to a topic from being selected. K-means clustering removes noises from sentences so that biased semantics of documents are not reflected to summaries. Besides, coherence of document summaries can be enhanced by arranging selected sentences in the order of their ranks. The experimental results show that the proposed method achieves better performance than other methods.

Efficient Uncertainty Estimation of TOPMODEL Using Particle Swarm Optimization : Case Studies for Texas Watersheds (입자군집최적화 기법을 통한 TOPMODEL의 효율적인 불확실도 분석 : Texas 유역을 대상으로)

  • Park, Jeongha;Cho, Huidae;Kim, Dongkyun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.161-161
    • /
    • 2017
  • 본 연구는 효율적인 매개변수 추정 방법인 Isolated-Speciation Particle Swarm Optimization(ISPSO)와 불확실도 분석 기법인 GLUE를 결합한 ISPSO-GLUE의 개념을 도입하였다. 임의 매개변수 추출을 방식인 GLUE 기법과 ISPSO-GLUE와의 효율성 비교를 위해 분포형 강우-유출모형인 TOPMODEL에 적용하였으며, 추정된 매개변수에 대한 모의 유량치를 이용하여 성능을 비교하였다. 연구대상지는 Texas의 $1000{\times}2000km^2$ 크기 내외의 두 유역을 택하였으며, 2002-2007년을 보정기간으로 하고, 2008-2013년을 검증기간으로 설정하였다. 불확실도 분석에 10개의 TOPMODEL 매개변수를 이용하고, 우도함수로는 Nash-Sutcliffe(NS) Coefficient이용하여 0.6이상 기준으로 행동모형을 구분하였다. 분석 결과 모수 추정성능면에서, 누적 최대 NS 값과 행동 모형의 개수는 전반적으로 ISPSO-GLUE에서 큰 값을 보였으나, 불확실도 구간에 속하는 관측치는 GLUE에서 더 높은 경향을 보였다. 이는 ISPSO-GLUE의 편향된 모수 추정으로 불확실도 구간이 작아지며, 포함되는 관측치가 GLUE에 비하여 적게 되는 것으로 확인되었다. ISPSO-GLUE의 개선을 통하여 TOPMODEL에 대한 적용성을 증진시키고, 값비싼 수문모형에 대한 매개변수 추정에 더 큰 효과를 가져올 것으로 기대된다.

  • PDF

Assessment of Regional Climate Change in Urban and Rural Areas Based on Anthropogenic Climate Change and Urbanization (도시화에 따른 도시 및 농촌 지역의 국지적 기후변화 비교 분석)

  • Nam, Won-Ho;Yoon, Dong-Hyun;Hong, Eun-Mi;Kim, Taegon;Baigorria, Guillermo A.
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.25-25
    • /
    • 2017
  • 국지 혹은 지역적인 기후의 특성은 지구규모 또는 종관규모에서의 온실가스 증가로 인한 온난화와 동시에 도시화 (urbanization)에 따른 열섬 현상 (heat island effect)을 포함한 인위적인 요소들이 복합적으로 작용하여 나타날 수 있다. 도시화에 따른 지면피복의 변화는 관측된 온난화 신호에 일정부분 기여하며, 도시 지역은 농촌 및 산림 지역과 비교하여 수문 및 기후학적 측면에서 지역 내 에너지수지 및 물수지의 특성이 상이하기 때문에, 지구온난화에 의한 전 지구적 현상과 도시화에 의한 국소적 현상을 구분하여 파악하는 것은 중요하다. 또한 향후 도시/비도시에 따른 도시화 편향 영향으로 인한 기후변화 예측의 편이를 분석하는데 필수적으로 요구된다. 본 연구에서는 급격한 도시화로 인한 인위적인 기후변화 (anthropogenic climate change)와 종관규모에서의 자연적 기후변화 (natural climate change or climate change)에 기인한 부분을 정량적으로 구분하고자 한다. 이를 위해 도시화의 정도가 서로 다른 도시 지역 및 농촌, 산림 지역을 선정하여 최근 50년간 (1966~2015년) 기상청 관측소의 기상자료와 각 관측지점별 인구수 및 인구증가/감소 추세를 비교함으로써 도시화율의 변화가 기상요소에 미치는 영향의 지역별 차이를 정량적으로 분석하였다.

  • PDF