• 제목/요약/키워드: 인공지능 데이터셋

검색결과 294건 처리시간 0.022초

대화를 중심으로 다양한 멀티모달 융합정보를 포함하는 동영상 기반 인공지능 학습용 데이터셋 구축 (Dialogue based multimodal dataset including various labels for machine learning research)

  • 신사임;장진예;김보은;박한무;정혜동
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.449-453
    • /
    • 2019
  • 미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.

  • PDF

POC : 인공지능 기반 균열 탐지를 위한 데이터셋 구축 (POC : Establishing Dataset for Artificial Intelligence-based Crack Detection)

  • 김지호;김경영;김동주
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.45-48
    • /
    • 2022
  • 건축물 안전 점검은 대부분 전문가의 현장 방문을 통한 육안검사다. 그중 균열 검사는 건물 위험도를 나타내는 중요한 지표로써 발생 위치, 진행성, 크기를 조사하는데, 최근 균열 조사 방식에 대해 객관성과 체계성을 보완할 딥러닝 개발이 활발하다. 그러나 균열 이미지는 외부 현장에 모양, 규모도 많은 종류라 도메인이 다양해야 하는데 대부분 제한된 환경과 실제적인 균열 검사와는 무관한 데이터로 구성되어 실효적이지 않다. 본 연구에서는 균열 조사에 적합하고 Wild 환경에 적용 가능한 POC 데이터셋을 소개한다. 기존 균열 공인 데이터셋 4종의 특징과 한계점을 분석을 토대로 고해상도 이미지로써 균열의 세부 특징을 담았고 균열 유사 환경과 조건들을 추가 촬영해 균열 검출에 강인하게 학습되도록 지향하였다. 정제 및 라벨링 작업을 거친 POC 데이터 셋은 균열 검출모델인 YOLO-v5으로 성능을 실험하였고, mAP(mean Average Precision) 75.5%로 높은 검출률을 보였다. POC 데이터셋으로 더욱 도메인에 적응적(Domain-adapted)인 인공지능 모델을 개발하여 건물, 댐, 교량 등 각종 대형 건축물에 대한 안전하고 효과적인 안전 관리 도구로써 활용할 것을 기대한다.

  • PDF

OK-KGD:오픈 도메인 한국어 지식 기반 대화 데이터셋 구축 (OK-KGD:Open-domain Korean Knowledge Grounded Dialogue Dataset)

  • 문선아;김산;장진예;정민영;신사임
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.342-345
    • /
    • 2023
  • 최근 자연어처리 연구 중 오픈 도메인 지식 기반 대화는 많은 관심을 받고 있다. 연구를 위해서는 오픈 도메인 환경을 갖추고 적절한 지식을 사용한 대화 데이터셋이 필요하다. 지금까지 오픈 도메인 환경을 갖춘 한국어 지식 기반 대화 데이터셋은 존재하지 않아 한국어가 아닌 데이터셋을 한국어로 기계번역하여 연구에 사용하였다. 이를 사용할 경우 두 가지 단점이 존재한다. 먼저 사용된 지식이 한국 문화에 익숙하지 않아 한국인이 쉽게 알 수 없는 대화 내용이 담겨있다. 그리고 번역체가 남아있어 대화가 자연스럽지 않다. 그래서 본 논문에서는 자연스러운 대화체와 대화 내용을 담기 위해 새로운 오픈 도메인 한국어 지식 기반 대화 데이터셋을 구축하였다. 오픈 도메인 환경 구축을 위해 위키백과와 나무위키의 지식을 사용하였고 사용자와 시스템의 발화로 이루어진 1,773개의 대화 세트를 구축하였다. 시스템 발화는 크게 지식을 사용한 발화, 사용자 질문에 대한 답을 주지 못한 발화, 그리고 지식이 포함되지 않은 발화 3가지로 구성된다. 이렇게 구축한 데이터셋을 통해 KE-T5와 Long-KE-T5를 사용하여 간단한 실험을 진행하였다.

  • PDF

머신러닝 편향성 관점에서 비식별화의 영향분석에 대한 연구 (A Study on Impacts of De-identification on Machine Learning's Biased Knowledge)

  • 하수현;김진송;손예은;원가은;최유진;박소연;김형종;강은성
    • 한국시뮬레이션학회논문지
    • /
    • 제33권2호
    • /
    • pp.27-35
    • /
    • 2024
  • 본고에서는 인공지능 모델 학습에 사용하는 데이터셋에 내재한 편향성이 인공지능 예측 결과에 미치는 영향을 분석함으로써, 위의 경우가 사회적 격차를 고착화시키는 문제를 조명하고자 하였다. 따라서 데이터 편향성이 인공지능 모델에 끼치는 영향을 분석하기 위해, 성별 임금 격차에 관한 편향이 포함된 원본 데이터셋을 제작하였으며 해당 데이터셋을 비식별 처리한 데이터셋을 만들었다. 또한 의사결정트리 알고리즘을 통해 원본 데이터셋과 비식별화 된 데이터셋을 학습한 각각의 인공지능 모델 간의 산출물을 비교함으로써, 데이터 비식별화가 인공지능 모델이 산출한 결과의 편향에 어떠한 영향을 미치는지 분석하였다. 이를 통해 데이터 비식별화가 개인정보 보호뿐만 아니라, 데이터의 편향에도 중요한 역할을 할 수 있음을 도출하고자 하였다.

A Study on Construction Method of AI based Situation Analysis Dataset for Battlefield Awareness

  • Yukyung Shin;Soyeon Jin;Jongchul Ahn
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.37-53
    • /
    • 2023
  • 인공지능에 기반한 지능형 지휘통체체계는 복잡하고 방대한 전장정보와 전술 데이터들을 학습모델을 통해 자동으로 융합 및 추출하여 전장상황을 분석한다. 지휘관은 지능형 지휘통제체계의 상황분석 결과를 제공받아 전장인식이 가능하여 의사결정을 지원할 수 있다. 의사결정지원에 특화된 결과를 지휘관에게 제공하기 위해서는 인공지능을 학습하기 위한 실 전장상황과 유사한 전장상황분석 데이터셋 생성이 필요하다. 본 논문은 기존 선행연구인 '인공지능 기반 전장상황분석을 위한 가상 전장상황 데이터 셋 생성 연구'의 다음 단계의 데이터셋 구축 방법 연구로 지휘관의 의사결정지원 및 미래 전장인식을 위해 최종적인 전장상황분석 결과에 필요한 데이터셋을 생성하는 방안에 대해 제안하였다. 전장상황 분석용 학습 데이터셋 생성도구 SW를 설계 및 구현하였고, 구현한 SW를 이용하여 데이터 레이블 작업을 진행하였다. Siamese Network 학습모델을 이용하여 구축한 데이터셋을 입력하고, 후처리 알고리즘을 활용한 출력 결과를 도출하여 생성한 데이터셋을 검증하였다.

KOMUChat : 인공지능 학습을 위한 온라인 커뮤니티 대화 데이터셋 연구 (KOMUChat: Korean Online Community Dialogue Dataset for AI Learning)

  • 유용상;정민화;이승민;송민
    • 지능정보연구
    • /
    • 제29권2호
    • /
    • pp.219-240
    • /
    • 2023
  • 사용자가 만족감을 느끼며 상호작용할 수 있는 대화형 인공지능을 개발하기 위한 노력이 이어지고 있다. 대화형 인공지능 개발을 위해서는 사람들의 실제 대화를 반영한 학습 데이터를 구축하는 것이 필요하지만, 기존 데이터셋은 질문-답변 형식이 아니거나 존대어를 사용하여 사용자가 친근감을 느끼기 어려운 문체로 구성되어 있다. 이에 본 논문은 온라인 커뮤니티에서 수집한 30,767개의 질문-답변 문장 쌍으로 구성된 대화 데이터셋(KOMUChat)을 구축하여 제안한다. 본 데이터셋은 각각 남성, 여성이 주로 이용하는 연애상담 게시판의 게시물 제목과 첫 번째 댓글을 질문-답변으로 수집하였다. 또한, 자동 및 수동 정제 과정을 통해 혐오 데이터 등을 제거하여 양질의 데이터셋을 구축하였다. KOMUChat의 타당성을 검증하기 위해 언어 모델에 본 데이터셋과 벤치마크 데이터셋을 각각 학습시켜 비교분석하였다. 그 결과 답변의 적절성, 사용자의 만족감, 대화형 인공지능의 목적 달성 여부에서 KOMUChat이 벤치마크 데이터셋의 평가 점수를 상회했다. 본 연구는 지금까지 제시된 오픈소스 싱글턴 대화형 텍스트 데이터셋 중 가장 대규모의 데이터이며 커뮤니티 별 텍스트 특성을 반영하여 보다 친근감있는 한국어 데이터셋을 구축하였다는 의의를 가진다.

품질이 관리된 스트레스 측정용 테이터셋 구축을 위한 제언 (Recommendations for the Construction of a Quslity-Controlled Stress Measurement Dataset)

  • 김태훈;나인섭
    • 스마트미디어저널
    • /
    • 제13권2호
    • /
    • pp.44-51
    • /
    • 2024
  • 스트레스 측정용 데이터셋의 구축은 건강, 의료분야, 심리향동, 교육분야 등 현대의 다양한 응용 분야에서 핵심적인 역할을 수행하교 있다. 특히, 스트레스 측정용 인공지능 모델의 효율적인 훈련을 위해서는 다양한 편향성을 제거하고 품질 관리된 데이터셋을 구축하는 것이 중요하다. 본 논문에서는 다양한 편향성 제거를 통한 품질의 관리된 스트레스 측정용 데이터셋 구축에 관하여 제안하였다. 이를 위해 스트레스 정의 및 측정도구 소개, 스트레스 인공지능 데이터 셋 구축과정, 품질향상을 위한 편향성 극복 전략 그리고 스트레스 데이터 수집시 고려사항을 제시하였다. 특히, 데이터셋 품질을 관리하기 위해 데이터셋 구축시 고려사항과, 발생할 수 있는 선택편향, 측정편향, 인과관계편향, 확증편향, 인공지능편향과 같은 다양한 편향서에 대해 검토하였다. 본 논문을 통해 스트레스 데이터 수집시 고려사항과 스트레스 데이터셋의 구축에서 발생할 수 있는 다양한 편향성을 체계적으로 이해하고, 이를 극복하여 품질이 보장된 데이터셋을 구축하는데 기여할 것으로 기대된다.

문서 요약 데이터셋을 이용한 생성형 근거 추론 방법 (Generative Evidence Inference Method using Document Summarization Dataset)

  • 장예진;장영진;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.137-140
    • /
    • 2023
  • 자연어처리는 인공지능 발전과 함께 주목받는 분야로 컴퓨터가 인간의 언어를 이해하게 하는 기술이다. 그러나 많은 인공지능 모델은 블랙박스처럼 동작하여 그 원리를 해석하거나 이해하기 힘들다는 문제점이 있다. 이 문제를 해결하기 위해 설명 가능한 인공지능의 중요성이 강조되고 있으며, 활발히 연구되고 있다. 연구 초기에는 모델의 예측에 큰 영향을 끼치는 단어나 절을 근거로 추출했지만 문제 해결을 위한 단서 수준에 그쳤으며, 이후 문장 단위의 근거로 확장된 연구가 수행되었다. 하지만 문서 내에 서로 떨어져 있는 근거 문장 사이에 누락된 문맥 정보로 인하여 이해에 어려움을 줄 수 있다. 따라서 본 논문에서는 사람에게 보다 이해하기 쉬운 근거를 제공하기 위한 생성형 기반의 근거 추론 연구를 수행하고자 한다. 높은 수준의 자연어 이해 능력이 필요한 문서 요약 데이터셋을 활용하여 근거를 생성하고자 하며, 실험을 통해 일부 기계독해 데이터 샘플에서 예측에 대한 적절한 근거를 제공하는 것을 확인했다.

  • PDF

인공지능 교육을 위한 데이터셋 아카이브 설계 (Design of Dataset Archive for AI Education)

  • 이세훈;노예원;노연수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.233-234
    • /
    • 2022
  • 본 논문에서는 효율적인 AI 교육을 위한 데이터셋 아카이브와 데이터 활용을 위한 프로그래밍 플랫폼과의 연동 모듈을 제안한다. 데이터셋 아카이브는 공공데이터를 전처리하여 생성한 데이터를 모아 설계하며, 프로그래밍 플랫폼 코드비(CodeB)와 연동하여 데이터를 활용할 수 있도록 한다. 코드비(CodeB)는 파이썬 블록 프로그래밍 플랫폼으로 연동을 통해 데이터를 활용한 프로그래밍이 가능하다.

  • PDF

사전학습 전략과 딥러닝을 활용한 분자의 특성 예측 (Molecular Property Prediction with Deep-learning and Pretraining Strategy)

  • 이승범;김지예;김동우;박재식;안성수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.63-66
    • /
    • 2022
  • 본 논문에서는 분자의 특성을 정확하게 예측하기 위해 효과적인 사전학습(pretraining) 전략과 트랜스포머(Transformer) 모델을 활용한 방법을 제시한다. 딥러닝을 활용한 분자의 성능을 예측하는 연구는 그동안 레이블이 부족한 분자데이터의 특성에 의해 학습 때 사용된 데이터이외의 분자데이터에 대해 일반화 능력이 떨어지는 어려움을 겪었다. 이 논문에서 제시한 모델은 사전학습(pretraining)을 수행할 때 자기지도학습(self-supervised training)을 사용하여 부족한 레이블에 의한 문제점을 피할 수 있다. 대규모 분자 데이터셋으로부터 학습된 이 모델은 4가지 다운스트림 데이터셋에 대해 모두 우수한 성능을 보여주어 일반화 성능이 뛰어나며 효과적인 분자표현을 얻을 수 있음을 보인다.

  • PDF