• Title/Summary/Keyword: 대화 데이터셋

Search Result 65, Processing Time 0.024 seconds

Rule-based Normalization of Relative Temporal Information

  • Jeong, Young-Seob;Lim, Chaegyun;Lee, SeungDong;Mswahili, Medard Edmund;Ndomba, Goodwill Erasmo;Choi, Ho-Jin
    • Journal of the Korea Society of Computer and Information
    • /
    • v.27 no.12
    • /
    • pp.41-49
    • /
    • 2022
  • Documents often contain relative time expressions, and it is important to define a schema of the relative time information and develop a system that extracts such information from corpus. In this study, to deal with the relative time expressions, we propose seven additional attributes of timex3: year, month, day, week, hour, minute, and second. We propose a way to represent normalized values of the relative time expressions such as before, after, and count, and also design a set of rules to extract the relative time information from texts. With a new corpus constructed using the new attributes that consists of dialog, news, and history documents, we observed that our rule-set generally achieved 70% accuracy on the 1,041 documents. Especially, with the most frequently appeared attributes such as year, day, and week, we got higher accuracies compared to other attributes. The results of this study, our proposed timex3 attributes and the rule-set, will be useful in the development of services such as question-answer systems and chatbots.

Mention Detection and Coreference Resolution Pipeline Model for Dialogue Data (대화 데이터를 위한 멘션 탐지 및 상호참조해결 파이프라인 모델)

  • Kim, Damrin;Kim, Hongjin;Park, Seongsik;Kim, Harksoo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.264-269
    • /
    • 2021
  • 상호참조해결은 주어진 문서에서 상호참조해결의 대상이 될 수 있는 멘션을 추출하고, 같은 개체를 의미하는 멘션 쌍 또는 집합을 찾는 자연어처리 작업이다. 하나의 멘션 내에 멘션이 될 수 있는 다른 단어를 포함하는 중첩 멘션은 순차적 레이블링으로 해결할 수 없는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 멘션의 시작 단어의 위치를 여는 괄호('('), 마지막 위치를 닫는 괄호(')')로 태깅하고 이 괄호들을 예측하는 멘션 탐지 모델과 멘션 탐지 모델에서 예측된 멘션을 바탕으로 포인터 네트워크를 이용하여 같은 개체를 나타내는 멘션을 군집화하는 상호참조해결 모델을 제안한다. 실험 결과, 4개의 영어 대화 데이터셋에서 멘션 탐지 모델은 F1-score (Light) 94.17%, (AMI) 90.86%, (Persuasion) 92.93%, (Switchboard) 91.04%의 성능을 보이고, 상호참조해결 모델에서는 CoNLL F1 (Light) 69.1%, (AMI) 57.6%, (Persuasion) 71.0%, (Switchboard) 65.7%의 성능을 보인다.

  • PDF

Generating Extreme Close-up Shot Dataset Based On ROI Detection For Classifying Shots Using Artificial Neural Network (인공신경망을 이용한 샷 사이즈 분류를 위한 ROI 탐지 기반의 익스트림 클로즈업 샷 데이터 셋 생성)

  • Kang, Dongwann;Lim, Yang-mi
    • Journal of Broadcast Engineering
    • /
    • v.24 no.6
    • /
    • pp.983-991
    • /
    • 2019
  • This study aims to analyze movies which contain various stories according to the size of their shots. To achieve this, it is needed to classify dataset according to the shot size, such as extreme close-up shots, close-up shots, medium shots, full shots, and long shots. However, a typical video storytelling is mainly composed of close-up shots, medium shots, full shots, and long shots, it is not an easy task to construct an appropriate dataset for extreme close-up shots. To solve this, we propose an image cropping method based on the region of interest (ROI) detection. In this paper, we use the face detection and saliency detection to estimate the ROI. By cropping the ROI of close-up images, we generate extreme close-up images. The dataset which is enriched by proposed method is utilized to construct a model for classifying shots based on its size. The study can help to analyze the emotional changes of characters in video stories and to predict how the composition of the story changes over time. If AI is used more actively in the future in entertainment fields, it is expected to affect the automatic adjustment and creation of characters, dialogue, and image editing.

Compressing intent classification model for multi-agent in low-resource devices (저성능 자원에서 멀티 에이전트 운영을 위한 의도 분류 모델 경량화)

  • Yoon, Yongsun;Kang, Jinbeom
    • Journal of Intelligence and Information Systems
    • /
    • v.28 no.3
    • /
    • pp.45-55
    • /
    • 2022
  • Recently, large-scale language models (LPLM) have been shown state-of-the-art performances in various tasks of natural language processing including intent classification. However, fine-tuning LPLM requires much computational cost for training and inference which is not appropriate for dialog system. In this paper, we propose compressed intent classification model for multi-agent in low-resource like CPU. Our method consists of two stages. First, we trained sentence encoder from LPLM then compressed it through knowledge distillation. Second, we trained agent-specific adapter for intent classification. The results of three intent classification datasets show that our method achieved 98% of the accuracy of LPLM with only 21% size of it.

Strengthening Teacher Competencies in Response to the Expanding Role of AI (AI의 역할 확대에 따른 교사 역량 강화 방안)

  • Soo-Bum Shin
    • Journal of Practical Engineering Education
    • /
    • v.16 no.4
    • /
    • pp.513-520
    • /
    • 2024
  • This study investigates the changes in teachers' roles as the impact of AI on school education expands. Traditionally, teachers have been responsible for core aspects of classroom instruction, curriculum development, assessment, and feedback. AI can automate these processes, particularly enhancing efficiency through personalized learning. AI also supports complex classroom management tasks such as student tracking, behavior detection, and group activity analysis using integrated camera and microphone systems. However, AI struggles to automate aspects of counseling and interpersonal communication, which are crucial in student life guidance. While direct conversational replacement by AI is challenging, AI can assist teachers by providing data-driven insights and pre-conversation resources. Key competencies required for teachers in the AI era include expertise in advanced instructional methods, dataset analysis, personalized learning facilitation, student and parent counseling, and AI digital literacy. Teachers should collaborate with AI to emphasize creativity, adjust personalized learning paths based on AI-generated datasets, and focus on areas less amenable to AI automation, such as individualized learning and counseling. Essential skills include AI digital literacy and proficiency in understanding and managing student data.

A Study on the Comparison of the Commercial API for Recognizing Speech with Emotion (상용 API 의 감정에 따른 음성 인식 성능 비교 연구)

  • Janghoon Yang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.52-54
    • /
    • 2023
  • 최근 인공지능 기술의 발전에 따라서 다양한 서비스에서 음성 인식을 활용한 서비스를 제공하면서 음성 인식에 대한 중요성이 증가하고 있다. 이 논문에서는 국내에서 많이 사용되고 있는 대표적인 인공지능 서비스 API 를 제공하는 구글, ETRI, 네이버에 대해서 감정 음성 관점에서 그 차이를 평가하였다. AI Hub 에서 제공하는 감성 대화 말뭉치 데이터 셋의 일부인 음성 테스트 데이터를 사용하여 평가한 결과 ETRI API 가 문자 오류율 (1.29%)과 단어 오류율(10.1%)의 성능 지표에 대해서 가장 우수한 음성 인식 성능을 보임을 확인하였다.

A Study on 3D Object and GUI Representation Based on MPEG-4 BIFS for Mobile TV (MPEG-4 BIFS 기반 모바일 방송 환경에서 3D 객체 및 GUI 표현 기술 연구)

  • Yim, Hyun-Jeong;Lim, Soon-Bum
    • Journal of Korea Multimedia Society
    • /
    • v.12 no.5
    • /
    • pp.677-687
    • /
    • 2009
  • Despite the fact that the mobile environment has favorable conditions for using data contents, it is not easy to implement enhanced data services for mobile broadcasting based on MPEG-4 BIFS. With a structure inherited from VRML, BIFS targets different types of content with a development approach that is not very compatible with broadcasting contents. Furthermore, it is not easy to implement BIFS because the standard is too complicated for the mobile broadcasting environment. Accordingly, this study proposes an enhanced mobile TV contents model that provides interactive 3D objects and GUI for the viewers to interact with the broadcasting contents. By applying the model to the DMB environment, this study suggests a direction for future developments of mobile broadcasting contents. In order to represent 3D graphics on mobile TV, we analyzed MPEG-BIFS 3D nodes and composed a subset of VRML profile, and defined new nodes that can efficiently represent GUI at the content development level. If this study helps facilitate expression of 3D graphics and interactions in data contents composition, enhanced efficiency of contents development is expected to promote the development of various contents suitable for the mobile broadcasting environment.

  • PDF

Efficient contrastive learning method through the effective hard negative sampling from DPR (DPR의 효과적인 하드 네거티브 샘플링을 통한 효율적인 대조학습 방법)

  • Seong-Heum Park;Hongjin Kim;Jin-Xia Huang;Oh-Woog Kwon;Harksoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.348-353
    • /
    • 2022
  • 최근 신경망 기반의 언어모델이 발전함에 따라 대부분의 검색 모델에서는 Bi-encoder를 기반으로한 Dense retrieval 모델에 대한 연구가 진행되고 있다. 특히 DPR은 BM25를 통해 정답 문서와 유사한 정보를 가진 하드 네거티브를 사용하여 대조학습을 통해 성능을 더욱 끌어올린다. 그러나 BM25로 검색된 하드 네거티브는 term-base의 유사도를 통해 뽑히기 때문에, 의미적으로 비슷한 내용을 갖는 하드 네거티브의 역할을 제대로 수행하지 못하고 대조학습의 효율성을 낮출 가능성이 있다. 따라서 DRP의 대조학습에서 하드 네거티브의 역할을 본질적으로 수행할 수 있는 문서를 샘플링 하는 방법을 제시하고, 이때 얻은 하드 네거티브의 집합을 주기적으로 업데이트 하여 효과적으로 대조학습을 진행하는 방법을 제안한다. 지식 기반 대화 데이터셋인 MultiDoc2Dial을 통해 평가를 수행하였으며, 실험 결과 기존 방식보다 더 높은 성능을 나타낸다.

  • PDF

Coreference Resolution Pipeline Model using Mention Boundaries and Mention Pairs in Dialogues (대화 데이터셋에서 멘션 경계와 멘션 쌍을 이용한 상호참조해결 파이프라인 모델)

  • Damrin Kim;Seongsik Park;Harksoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.307-312
    • /
    • 2022
  • 상호참조해결은 주어진 문서에서 멘션을 추출하고 동일한 개체의 멘션들을 군집화하는 작업이다. 기존 상호참조해결 연구의 멘션탐지 단계에서 진행한 가지치기는 모델이 계산한 점수를 바탕으로 순위화하여 정해진 비율의 멘션만을 상호참조해결에 사용하기 때문에 잘못 예측된 멘션을 입력하거나 정답 멘션을 제거할 가능성이 높다. 또한 멘션 탐지와 상호참조해결을 종단간 모델로 진행하여 학습 시간이 오래 걸리고 모델 복잡도가 높은 문제가 존재한다. 따라서 본 논문에서는 상호참조해결을 2단계 파이프라인 모델로 진행한다. 첫번째 멘션 탐지 단계에서 후보 단어 범위의 점수를 계산하여 멘션을 예측한다. 두번째 상호참조해결 단계에서는 멘션 탐지 단계에서 예측된 멘션을 그대로 이용해서 서로 상호참조 관계인 멘션 쌍을 예측한다. 실험 결과, 2단계 학습 방법을 통해 학습 시간을 단축하고 모델 복잡도를 축소하면서 종단간 모델과 유사한 성능을 유지하였다. 상호참조해결은 Light에서 68.27%, AMI에서 48.87%, Persuasion에서 69.06%, Switchboard에서 60.99%의 성능을 보였다.

  • PDF

Real-Time Early Risk Detection in Textual Data Streams for Enhanced Online Safety (온라인 범죄 예방을 위한 실시간 조기 위험 감지 시스템)

  • Jinmyeong An;Geun-Bae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.525-530
    • /
    • 2023
  • 최근 소셜 네트워크 서비스(SNS) 및 모바일 서비스가 증가함에 따라 사용자들은 다양한 종류의 위험에 직면하고 있다. 특히 온라인 그루밍과 온라인 루머 같은 위험은 한 개인의 삶을 완전히 망가뜨릴 수 있을 정도로 심각한 문제로 자리 잡았다. 그러나 많은 경우 이러한 위험들을 판단하는 시점은 사건이 일어난 이후이고, 주로 법적인 증거채택을 위한 위험성 판별이 대다수이다. 따라서 본 논문은 이러한 문제를 사전에 예방하는 것에 초점을 맞추었고, 계속적으로 발생하는 대화와 같은 event를 실시간으로 감지하고, 위험을 사전에 탐지할 수 있는 Real-Time Early Risk Detection(RERD) 문제를 정의하고자 한다. 온라인 그루밍과 루머를 실시간 조기 위험 감지(RERD) 문제로 정의하고 해당 데이터셋과 평가지표를 소개한다. 또한 RERD 문제를 정확하고 신속하게 해결할 수 있는 강화학습 기반 새로운 방법론인 RT-ERD 모델을 소개한다. 해당 방법론은 RERD 문제를 이루고 있는 온라인 그루밍, 루머 도메인에 대한 실험에서 각각 기존의 모델들을 뛰어넘는 state-of-the-art의 성능을 달성하였다.

  • PDF