• Journal of The Korean Association For Science Education
• /
• v.38 no.2
• /
• pp.235-247
• /
• 2018

The student's pre-questions (pre-class questions related to the learning contents) not only provide the teacher a gauge of the interest and level of the student, but also provide a useful means of providing clues to proceed with the teaching-learning process. The purpose of this study is to develop an analytical framework for effectively analyzing students' pre-questions and to analyze students' pre-questions related to elementary science learning unit of the 2009 revised curriculum by applying this framework. The developed framework is composed of three major categories: knowledge type, extended type, and curious type, each of which is then subdivided into several sub-categories. Using the developed analysis framework, 914 pre-questions from the students presented in the $5^{th}$ and $6^{th}$ grades of elementary science in the 2009 revised curriculum were analyzed, and the types of questions distributed by grade. The percentage of questions by type was also different. Based on the results of this study, students' needs for learning can be grasped through the pre-questions analysis framework and reflected in the teaching-learning process, and student-centered learning contents and methods could be presented. It is expected to make a meaningful contribution to the analysis framework.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.213-218
• /
• 2019

기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.335-339
• /
• 2021

기계독해(MRC)는 인공지능 알고리즘이 문서를 이해하고 질문에 대한 정답을 찾는 기술이다. MRC는 사전 학습 모델을 사용하여 높은 성능을 내고 있고, 일반 텍스트문서 뿐만 아니라 문서 내의 테이블(표)에서도 정답을 찾고자 하는 연구에 활발히 적용되고 있다. 본 연구에서는 기존의 사전학습 모델을 테이블 데이터에 활용하여 질의응답을 할 수 있는 방법을 제안한다. 더불어 테이블 데이터를 효율적으로 학습하기 위한 데이터 구성 방법을 소개한다. 사전학습 모델은 BERT[1]를 사용하여 테이블 정보를 인코딩하고 Masked Entity Recovery(MER) 방식을 사용한다. 테이블 질의응답 모델 학습을 위해 한국어 위키 문서에서 표와 연관 텍스트를 추출하여 사전학습을 진행하였고, 미세 조정은 샘플링한 테이블에 대한 질문-답변 데이터 약 7만건을 구성하여 진행하였다. 결과로 KorQuAD2.0 데이터셋의 테이블 관련 질문 데이터에서 EM 69.07, F1 78.34로 기존 연구보다 우수한 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.253-255
• /
• 2000

어떠한 질문에 대한 구체적 해답을 얻고 싶은 경우, 일반적인 정보 검색이 가지는 문제점은 검색 결과가 사용자가 찾고자 하는 답이라 하기 보다는 해답을 포함하는(또는 포함하지 않는) 문서의 집합이라는 점이다. 사용자가 후보문서를 모두 읽을 필요 없이 빠르게 원하는 정보를 얻기 위해서는 검색의 결과로 문서집합을 제시하기 보다는 실제 원하는 답을 제공하는 시스템의 필요성이 대두된다. 이를 위해 기존의 TF-IDF(Term Frequency-Inversed Document Frequency)기반의 정보검색의 방삭에 자연언어처리(Natural Language Processing)를 이용한 질문의 분류와 문서의 사전 표지(Tagging)를 사용할 수 있다. 본 연구에서는 매년 NIST(National Institute of Standards & Technology)와 DARPA(Defense Advanced Research Projects Agency)주관으로 열리는 TREC(Text REtrieval Conference)중 1999년에 열린 TREC-8의 사용자의 질문(Question)에 대한 답(Answer)을 찾는 ‘Question & Answer’문제의 실험 환경에서 질문을 특징별로 분류하고 검색 대상의 문서에 대한 사전 표지를 이용한 정보검색 시스템으로 사용자의 질문(Question)에 대한 해답을 보다 정확하고 효율적으로 제시할 수 있음을 실험을 통하여 보인다.

• Journal of the Korean Society of Earth Science Education
• /
• v.16 no.2
• /
• pp.302-318
• /
• 2023

The purpose of this study was to study to the effect of presenting SBF questions on the level of conceptual achievement and eye movement of elementary students in seasonal constellation learning that requires systems thinking. In this study, the effectiveness of SBF questions was divided into experimental groups and comparison groups, and scientific texts with different question types were presented to analyze the level of conceptual achievement and differences in eye movement of sixth-grade elementary students. Data analysis quantitatively analyzed the pre- and post-test results of the developed concept test paper and the eye movement data when learning scientific texts related to seasonal constellations. As a result of the study, first, the SBF question was a valid learning strategy for learning seasonal constellations. The SBF question showed a statistically significant difference (p<0.05) in the pre- and post-test between groups, and a statistically significant difference (p<0.001) in the pre- and post-test within the group. Second, SBF questions had a positive effect on students' learning by inducing learners with low preconceptions to area of interest that help them achieve concepts. In other words, when presenting SBF questions with visual data from a space-based perspective, it was confirmed based on the results of eye movement analysis that there was a significant difference in total fixation count (p<0.01) of learners. On the other hand, for learners with high scientific preconceptions, the effect of exploration was not significant because the preconceptions of the learners themselves acted as a hard core rather than the effect of SBF questions. This study is different from existing seasonal constellation learning studies in that it provides quantitative data through pre- and post-test and eye movement analysis in the seasonal constellation learning process, and can help elementary students learn seasonal constellations.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.511-513
• /
• 2005

본 논문은 정답 색인 방법을 이용하여 응답 속도가 빠르고 정확한 백과사전 질의응답 시스템을 구현하는 방법을 제안한다. 논문에서 제안한 정답 색인 방법은 대상 문서에서 160여 개의 정답 유형 범주에 해당하는 정답 후보를 인식하고, 정답 후보와 색인 범주에 속하는 키워드를 색인단위로 정의하여 저장하였다. 특히 용언정보에 대해서는 LF(Logical Form)단위로 색인하여 색인 정확도를 높였다. 정답 랭킹에서는 사용자 질문에서 각 단어별로 문장 성분. 단어 가중치 정보 등을 이용하여, 필수단어를 산정하고 이를 정답랭킹의 방법으로 활용하였다. 이러한 방법론은 용언 정보를 활용해야 효과적인 백과사전이라는 문서 도메인의 특성을 반영하고, 빠른 질문 응답 시간을 보장하는 백과사전 질의응답 시스템에 적합하다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.324-328
• /
• 2022

기계 독해란 주어진 문서를 이해하고 문서 내의 내용에 대한 질문에 답을 추론하는 연구 분야이며, 기계 독해 문제의 종류 중에는 여러 개의 선택지에서 질문에 대한 답을 선택하는 객관식 형태의 문제가 존재한다. 이러한 자연어 처리 문제를 해결하기 위해 기존 연구에서는 사전학습된 언어 모델을 미세조정하여 사용하는 방법이 널리 활용되고 있으나, 학습 데이터가 부족한 환경에서는 기존의 일반적인 미세조정 방법으로 모델의 성능을 높이는 것이 제한적이며 사전학습된 의미론적인 정보를 충분히 활용하지 못하여 성능 향상에 한계가 있다. 이에 본 연구에서는 기존의 일반적인 미세조정 방법에 템플릿을 적용한 템플릿 기반 미세조정 방법을 통해 사전학습된 의미론적인 정보를 더욱 활용할 수 있도록 한다. 객관식 형태의 기계 독해 문제 중 하나인 토익 문제에 대해 모델을 템플릿 기반 미세조정 방법으로 실험을 진행하여 템플릿이 모델 학습에 어떠한 영향을 주는지 확인하였다.

• Journal of the Korean Society for information Management
• /
• v.4 no.1
• /
• pp.3-23
• /
• 1987

This paper describes a question-answering system that can automatically analyze input texts and questions in Korean natural language. The particular texts used for the research were newspaper articles in the specific domain of sports news. The system consists of a set of Cobol programs and an associated set of data files containing lexicon, case grammar, linguistic rules. and data base. This system employs two retrieval functions of fact retrieval and passage retrieval. Therefore input questions can be answered in forms of either sentence or factual data.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.554-558
• /
• 2020

최근 사전학습 모델의 발달로 기계독해 시스템 성능이 크게 향상되었다. 하지만 기계독해 시스템은 주어진 단락에서 질문에 대한 정답을 찾기 때문에 단락을 직접 검색해야하는 실제 환경에서의 성능 하락은 불가피하다. 즉, 기계독해 시스템이 오픈 도메인 환경에서 높은 성능을 보이기 위해서는 높은 성능의 검색 모델이 필수적이다. 따라서 본 논문에서는 검색 모델의 성능을 보완해 줄 수 있는 오픈 도메인 기계독해를 위한 단락 재순위화 모델을 제안한다. 제안 모델은 합성곱 신경망을 이용하여 질문과 단락을 구절 단위로 표현했으며, N-gram 구절 사이의 상호 주의 집중을 통해 질문과 단락 사이의 관계를 효과적으로 표현했다. KorQuAD를 기반으로한 실험에서 제안모델은 MRR@10 기준 93.0%, Top@1 Precision 기준 89.4%의 높은 성능을 보였다.

• Journal of Korean Home Economics Education Association
• /
• v.22 no.1
• /
• pp.97-115
• /
• 2010

The purpose of this study was to analyze the frequency, level, and location of Bloom's cognitive domain questions in the middle school home economics(HE) text books applied to the 7th curriculum. Analyzed textbooks were selected 15 textbooks per a grade produced from 5 publishing firms. The result of this study followed: First, the biggest number of questions belonged to Bloom's cognitive domain in HE: text was in 1st grade (36.9%), following 2nd(33.6%) and 3th(29.5%). Most questions the HE textbooks according to Bloom's cognitive domain consisted of those about the understanding(28.9%), application(28.3%) and knowledge(21.8%). Second, in case of the location of questions, the subcategory of Questions after Reading occupied 49.2% of all in Bloom's cognitive questions, the case of Questions During Reading was 36.7%, and the subcategory of Questions Before Reading was 14.1%. The rate of understanding questions was the highest as 43.2% in the Bloom's cognitive domain, and the application questions' rate were 28.4%. Analyzed the questions located in questions, the result showed that application-level questions in textbooks were the highest with 36.7%, Regarding to the questions located after Reading, the knowledge question occupied the highest with 33.4%, and next was the understanding questions(26.8%), following the application questions(21,7%).