• 한국IT서비스학회지
• /
• 제21권2호
• /
• pp.85-95
• /
• 2022

This study analyzed the translation error factors of machine translation services such as Naver Papago and Google Translate through Self-Attention path visualization. Self-Attention is a key method of the Transformer and BERT NLP models and recently widely used in machine translation. We propose a method to explain translation error factors of machine translation algorithms by comparison the Self-Attention paths between ST(source text) and ST'(transformed ST) of which meaning is not changed, but the translation output is more accurate. Through this method, it is possible to gain explainability to analyze a machine translation algorithm's inside process, which is invisible like a black box. In our experiment, it was possible to explore the factors that caused translation errors by analyzing the difference in key word's attention path. The study used the XLM-RoBERTa multilingual NLP model provided by exBERT for Self-Attention visualization, and it was applied to two examples of Korean-Chinese and Korean-English translations.

• 한국간호교육학회지
• /
• 제18권2호
• /
• pp.197-205
• /
• 2012

Purpose: This study aimed to demonstrate correlations among self-regulated learning, attention control and Yangseng, to clarify any differences depending on general characteristics and ultimately to understand factors affecting self-regulated learning of undergraduates. Methods: Data were collected for a month from April 1st, 2011. A total of 438 undergraduate nursing students of two universities in Chungbuk and Chungnam were surveyed by using a questionnaire about self-regulated learning, attention control and Yangseng. Results: Self-regulated learning of the subjects showed statistically significant correlations with their attention control (r=.302, p=.001) and Yangseng (r=.292, p=.001). In addition, self-regulated learning could be explained by attention control (${\beta}$=3.648, p=.001), Yangseng (${\beta}$=3.645, p=.001), perceived academic achievement levels (${\beta}$=.124, p=.018), or eating breakfast (${\beta}$=.102, p=.027). In the model, the variables explained self-regulated learning by 19.0%. Conclusion: Nursing instructors should encourage undergraduate nursing students to enhance their attention control so that they can improve their self-regulated learning abilities, which will eventually develop their problem solving skills. In addition, it was shown that self-regulated learning correlates with yangseng including eating a regular breakfast. Maintaining a desirable lifestyle is also essential for students to succeed in self-regulated learning.

• 전기전자학회논문지
• /
• 제27권3호
• /
• pp.251-257
• /
• 2023

본 논문에서는 비전 트랜스포머의 셀프 어텐션이 갖는 지역적 특징 부족을 개선하는 이중 구조 셀프 어텐션 방법을 제안한다. 객체 분류, 객체 분할, 비디오 영상 인식에서 합성곱 신경망보다 연산 효율성이 높은 비전 트랜스포머는 상대적으로 지역적 특징 추출능력이 부족하다. 이 문제를 해결하기 위해 윈도우 또는 쉬프트 윈도우를 기반으로 하는 연구가 많이 이루어지고 있으나 이러한 방법은 여러 단계의 인코더를 사용하여 연산 복잡도의 증가로 셀프 어텐션 기반 트랜스포머의 장점이 약화 된다. 본 논문에서는 기존의 방법보다 locality inductive bias 향상을 위해 self-attention과 neighborhood network를 이용하여 이중 구조 셀프 어텐션을 제안한다. 지역적 컨텍스트 정보 추출을 위한 neighborhood network은 윈도우 구조보다 훨씬 단순한 연산 복잡도를 제공한다. 제안된 이중 구조 셀프 어텐션 트랜스포머와 기존의 트랜스포머의 성능 비교를 위해 CIFAR-10과 CIFAR-100을 학습 데이터를 사용하였으며 실험결과 Top-1 정확도에서 각각 0.63%과 1.57% 성능이 개선되었다.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.182-189
• /
• 2023

깊이 추정은 차량, 로봇, 드론의 자율주행을 위한 3차원 지도 생성의 핵심 기술이다. 기존의 센서 기반 깊이 추정 방식은 정확도는 높지만 가격이 비싸고 해상도가 낮다. 반면 카메라 기반 깊이 추정 방식은 해상도가 높고 가격이 저렴하지만 정확도가 낮다. 본 연구에서는 무인항공기 카메라의 깊이 추정 성능 향상을 위해 Self-Attention 기반의 비지도 단안 카메라 영상 깊이 추정을 제안한다. 네트워크에 Self-Attention 연산을 적용하여 전역 특징 추출 성능을 향상시킨다. 또한 카메라 파라미터를 학습하는 네트워크를 추가하여 카메라 칼리브레이션이 안되어있는 이미지 데이터에서도 사용 가능하게 한다. 공간 데이터 생성을 위해 추정된 깊이와 카메라 포즈는 카메라 파라미터를 이용하여 포인트 클라우드로 변환되고, 포인트 클라우드는 Octree 구조의 점유 그리드를 사용하여 3D 맵으로 매핑된다. 제안된 네트워크는 합성 이미지와 Mid-Air 데이터 세트의 깊이 시퀀스를 사용하여 평가된다. 제안하는 네트워크는 이전 연구에 비해 7.69% 더 낮은 오류 값을 보여주었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권3호
• /
• pp.721-739
• /
• 2023

Rating prediction is an important issue in recommender systems, and its accuracy affects the experience of the user and the revenue of the company. Traditional recommender systems use Factorization Machinesfor rating predictions and each feature is selected with the same weight. Thus, there are problems with inaccurate ratings and limited data representation. This study proposes a deep recommendation model based on self-attention Factorization (SAFMR) to solve these problems. This model uses Convolutional Neural Networks to extract features from user and item reviews. The obtained features are fed into self-attention mechanism Factorization Machines, where the self-attention network automatically learns the dependencies of the features and distinguishes the weights of the different features, thereby reducing the prediction error. The model was experimentally evaluated using six classes of dataset. We compared MSE, NDCG and time for several real datasets. The experiment demonstrated that the SAFMR model achieved excellent rating prediction results and recommendation correlations, thereby verifying the effectiveness of the model.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.362-367
• /
• 2019

본 논문에서는 Self-Attention을 활용한 딥러닝 기반 문맥의존 철자오류 교정 모델을 제안한다. 문맥의존 철자오류 교정은 최근 철자오류 교정 분야에서 활발히 연구되고 있는 문제 중 하나이다. 기존에는 규칙 기반, 확률 기반, 임베딩을 활용한 철자오류 교정이 연구되었으나, 아직 양질의 교정을 수행해내기에는 많은 문제점이 있다. 따라서 본 논문에서는 기존 교정 모델들의 단점을 보완하기 위해 Self-Attention을 활용한 문맥의존 철자오류 교정 모델을 제안한다. 제안 모델은 Self-Attention을 활용하여 기존의 임베딩 정보에 문맥 의존적 정보가 반영된 더 나은 임베딩을 생성하는 역할을 한다. 전체 문장의 정보가 반영된 새로운 임베딩을 활용하여 동적으로 타겟 단어와의 관련 단어들을 찾아 문맥의존 철자 오류교정을 시행한다. 본 논문에서는 성능평가를 위해 세종 말뭉치를 평가 데이터로 이용하여 제안 모델을 실험하였고, 비정형화된 구어체(Kakao Talk) 말뭉치로도 평가 데이터를 구축해 실험한 결과 비교 모델보다 높은 정확율과 재현율의 성능향상을 보였다.

• 한국지역사회생활과학회지
• /
• 제25권3호
• /
• pp.303-319
• /
• 2014

This study considers structural equation model and examines the-relationships between various model variables to identify the causal relationships of between the attention span temperament, affectionate rearing attitudes of mothers, and family support (individual external variables) to children's behavioral problems though self-reliance, psychological variable. According to the results, the attention span temperament had significant direct, indirect, and total effects on the externalization of behavioral problems, but affectionate rearing attitudes and family support had only significant indirect effects. Self-resilience had a significant direct effect. These results can be used as basic data to prevent behavioral problems of children and increase their self-resilience.

• 동의신경정신과학회지
• /
• 제23권2호
• /
• pp.49-58
• /
• 2012

Objectives : The purpose of this study is to examine the effects of Mindfulness-based concentration qigong for children (MBCQ-C) in healthy children with subjective poor attention. Methods : This study examined the effects of MBCQ-C on healthy children with subjective poor attention, who vistied Korean medicine hospital neuropsychiatry outpatient clinic. The MBCQ-C was practiced with 11 participants, 2 of them quit in the middle of the program, and hence, they were excluded for data analysis. MBCQ-C consisted of 8 sessions, and each session took about 60 minutes. The outcome measurement was Frankfurter Aufmerksamkeits-Inventar (FAIR), which measured selective attention, self-control and sustained attention. Results : The results of this study showed that selective attention, and sustained attention were significantly improved. Self-control also improved, but without any statistical significance. These results indicate MBCQ-C was effective for the improvement of attention abilities, but self-control, including upper cognition area needs more consistent exercise. Conclusions : The MBCQ-C consisting of 8 sessions were shown to be an effective intervention in improving the attention abilities of healthy children with subjective poor attention.

• 한국산학기술학회논문지
• /
• 제18권11호
• /
• pp.628-636
• /
• 2017

본 연구는 한국아동패널 7차 자료를 활용하여 부모의 자아존중감이 학령전기 아동의 자아존중감을 매개로 정서적 반응과 주의집중에 미치는 효과를 분석하고자 실시되었다. 본 연구에서는 한국아동패널 7차 년도 조사의 본조사와 어머니, 아버지 설문조사에 모두 참여한 가족 1383 가구(부모 1383쌍과 아동 1383명)을 대상으로 분석하였다. 본 연구결과 어머니의 자아존중감은 아동의 자아존중감에 직접 효과가 있는 것으로 나타났으며, 아동의 자아존중감은 아동의 정서적 반응과 주의집중에 직접효과가 있는 것으로 나타났다. 어머니의 자아존중감은 아동의 정서적 반응과 주의집중에 직접효과가 있으며, 아동의 자아존중감을 매개로 아동의 정서적 반응과 주의집중에 간접효과가 있는 것으로 나타났다. 본 연구는 부모의 자아존중감이 아동의 정서적 반응성과 주의집중에 미치는 영향을 밝히고, 학령전기 아동과 부모 교육 프로그램 개발의 기초자료를 제공하였다는데 의의가 있다. 따라서 학령전기 아동의 자아존중감 강화를 위한 교육과 어머니의 긍정적인 자아존중감 형성과 유지를 위한 프로그램을 개발하고 이를 보급하는 것이 필요하다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
• /
• pp.45-46
• /
• 2024

본 논문에서는 Self-Attention 기반 딥러닝 기법인 Dense Prediction Transformer(DPT) 모델을 MVTec Anomaly Detection(MVTec AD) 데이터셋에 적용하여 실제 산업 제품 이미지 내 이상 부분을 분할하는 연구를 진행하였다. DPT 모델의 적용을 통해 기존 Convolutional Neural Network(CNN) 기반 이상 탐지기법의 한계점인 지역적 Feature 추출 및 고정된 수용영역으로 인한 문제를 개선하였으며, 실제 산업 제품 데이터에서의 이상 분할 시 기존 주력 기법인 U-Net의 구조를 적용한 최고 성능의 모델보다 1.14%만큼의 성능 향상을 보임에 따라 Self-Attention 기반 딥러닝 기법의 적용이 산업 제품 이상 분할에 효과적임을 입증하였다.