• 제목/요약/키워드: Self-Attention

검색결과 1,163건 처리시간 0.034초

편광 셀프어텐션의 공간정보 강조 모듈을 결합한 HRNet 모델 설계 및 구현 (Design and Implementation of HRNet Model Combined with Spatial Information Attention Module of Polarized Self-attention)

  • 김진성;박준;정세훈;심춘보
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.485-487
    • /
    • 2023
  • 컴퓨터 비전의 하위 태스크(Task)인 의미론적 분할(Semantic Segmentation)은 자율주행, 해상에서 선박찾기 등 다양한 분야에서 연구되고 있다. 기존 FCN(Fully Conovlutional Networks) 기반 의미론적 분할 모델은 다운샘플링(Dowsnsampling)과정에서 공간정보의 손실이 발생하여 정확도가 하락했다. 본 논문에서는 공간정보 손실을 완화하고자 PSA(Polarized Self-attention)의 공간정보 강조 모듈을 HRNet(High-resolution Networks)의 합성곱 블록 사이에 추가한다. 실험결과 파라미터는 3.1M, GFLOPs는 3.2G 증가했으나 mIoU는 0.26% 증가했다. 공간정보가 의미론적 분할 정확도에 영향이 미치는 것을 확인했다.

SERADE : 섹션 표현 기반 문서 임베딩 모델을 활용한 긴 문서 검색 성능 개선 (SERADE: Section Representation Aggregation Retrieval for Long Document Ranking)

  • 정혜인;전현규;김지윤;이찬형;김봉수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.135-140
    • /
    • 2022
  • 최근 Document Retrieval을 비롯한 대부분의 자연어처리 분야에서는 BERT와 같이 self-attention을 기반으로 한 사전훈련 모델을 활용하여 SOTA(state-of-the-art)를 이루고 있다. 그러나 self-attention 메커니즘은 입력 텍스트 길이의 제곱에 비례하여 계산 복잡도가 증가하기 때문에, 해당 모델들은 선천적으로 입력 텍스트의 길이가 제한되는 한계점을 지닌다. Document Retrieval 분야에서는, 문서를 특정 토큰 길이 단위의 문단으로 나누어 각 문단의 유사 점수 또는 표현 벡터를 추출한 후 집계함으로서 길이 제한 문제를 해결하는 방법론이 하나의 주류를 이루고 있다. 그러나 논문, 특허와 같이 섹션 형식(초록, 결론 등)을 갖는 문서의 경우, 섹션 유형에 따라 고유한 정보 특성을 지닌다. 따라서 문서를 단순히 특정 길이의 문단으로 나누어 학습하는 PARADE와 같은 기존 방법론은 각 섹션이 지닌 특성을 반영하지 못한다는 한계점을 지닌다. 본 논문에서는 섹션 유형에 대한 정보를 포함하는 문단 표현을 학습한 후, 트랜스포머 인코더를 사용하여 집계함으로서, 결과적으로 섹션의 특징과 상호 정보를 학습할 수 있도록 하는 SERADE 모델을 제안하고자 한다. 실험 결과, PARADE-Transformer 모델과 비교하여 평균 3.8%의 성능 향상을 기록하였다.

  • PDF

Predicting Stock Prices Based on Online News Content and Technical Indicators by Combinatorial Analysis Using CNN and LSTM with Self-attention

  • Sang Hyung Jung;Gyo Jung Gu;Dongsung Kim;Jong Woo Kim
    • Asia pacific journal of information systems
    • /
    • 제30권4호
    • /
    • pp.719-740
    • /
    • 2020
  • The stock market changes continuously as new information emerges, affecting the judgments of investors. Online news articles are valued as a traditional window to inform investors about various information that affects the stock market. This paper proposed new ways to utilize online news articles with technical indicators. The suggested hybrid model consists of three models. First, a self-attention-based convolutional neural network (CNN) model, considered to be better in interpreting the semantics of long texts, uses news content as inputs. Second, a self-attention-based, bi-long short-term memory (bi-LSTM) neural network model for short texts utilizes news titles as inputs. Third, a bi-LSTM model, considered to be better in analyzing context information and time-series models, uses 19 technical indicators as inputs. We used news articles from the previous day and technical indicators from the past seven days to predict the share price of the next day. An experiment was performed with Korean stock market data and news articles from 33 top companies over three years. Through this experiment, our proposed model showed better performance than previous approaches, which have mainly focused on news titles. This paper demonstrated that news titles and content should be treated in different ways for superior stock price prediction.

공익캠페인의 정서성, 자아관련성, 시각적 주의가 캠페인 태도에 미치는 영향: 디지털 뇌파(EEG) 기반 각성의 조절된 매개효과 (The Effect of Affective Valence, Perceived Self-Relevance, and Visual Attention on Attitudes toward PSA's Issues: Moderated Mediation of Digital EEG Arousal)

  • 양병화;조아영
    • 디지털융복합연구
    • /
    • 제15권3호
    • /
    • pp.107-117
    • /
    • 2017
  • 본 연구는 조건과정모델링에 기초하여 공익광고캠페인의 정서성과 이슈에 대한 수용적 태도의 관계에서 시각적 주의와 지각된 자아관련성의 매개효과와 매개변인에 대한 EEG 각성의 조절효과를 알아보고자 했다. 이를 위해 SPSS 22.0의 Multiple Mediation 절차와 SPSS Macro(14번)를 이용하여 조절된 매개효과를 분석하였다. 본 연구결과는 첫째, 공익캠페인의 정서성은 지각된 자아관련성을 매개로 이슈에 대한 수용적 태도에 유의미한 영향을 보였다. 둘째, EEG 각성은 시각적 주의 및 지각된 자아관련성과 유의미한 상호작용효과를 나타냈다. 셋째, 정서성과 수용적 태도의 관계에서 지각된 자아관련성의 매개효과는 EEG 각성에 의해 조절되는 효과를 보였다. 본 연구결과는 공익캠페인의 부정소구보다는 긍정소구에서만 유효하였다. 이러한 결과를 바탕으로 공익광고캠페인의 정서소구를 활용하기 위해서는 공익캠페인에 대한 소비자의 지각된 자아관련성과 주의를 전략적으로 결합할 수 있음을 확인하였다.

데이트 관계에서 내면화된 수치심이 통제행동에 미치는 영향: 자기몰입의 매개효과 (The Effect of Internalized Shame on the Controlling Behavior in Dating Relationships: The Mediation Effect of Self-Absorption)

  • 박은선;박지선
    • 한국심리학회지 : 문화 및 사회문제
    • /
    • 제30권1호
    • /
    • pp.35-53
    • /
    • 2024
  • 데이트폭력이 심각한 사회문제로 부각됨에 따라, 본 연구는 데이트 관계에서 내면화된 수치심이 통제행동에 미치는 영향을 알아보았다. 특히 내면화된 수치심의 네 가지 하위요인(부적절감, 공허, 자기처벌, 실수불안)과 통제행동 간 관계에서 부적응적 자기초점적 주의인 자기몰입의 매개효과를 살펴보았다. 20-30대 미혼 남녀 200명을 대상으로 연구한 결과, 내면화된 수치심이 높을수록 자기몰입을 더 많이 하고, 데이트 관계에서 상대에 대한 통제행동을 더 많이 하였다. 또한, 자기몰입을 더 많이 하는 사람일수록 데이트 관계에서 통제행동을 더 많이 하였다. 내면화된 수치심의 하위요인(부적절감, 공허, 자기처벌, 실수불안)과 통제행동 간의 관계에서 자기몰입의 매개효과가 유의하였다. 즉, 스스로에 대해 부적절감이 높을수록, 공허감을 많이 느낄수록, 자기처벌을 많이 할수록, 실수불안이 클수록 자기몰입을 더 많이 하며, 자기몰입을 많이 할수록 데이트 관계에서 상대방에 대한 통제행동을 더 많이 하였다.

Brand Public Benefits and Consumer Engagement

  • CHOI, Nak-Hwan;WANG, Jing;CHEN, Chang
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제6권2호
    • /
    • pp.147-160
    • /
    • 2019
  • Compared with the research on consumer engagement in brand community, the research on consumer engagement in brand public has been relatively less. This research aimed at exploring how brand public characteristics such as information variety, various communications and no limitation in expressing self affect the brand public engagement. 274 questionnaires answered by Chinese consumers are used to conduct analysis. Principal component analysis is used to test the reliability and validity of each construct, and structural equation model is used to test hypotheses. The study finds the positive effects of information variety on information benefits, those of various communications on social benefits, and also positive roles of no limitation in expressing self to brand-related self-expression motivation. And each of the information benefits, social benefits and brand-related self-expression motivation is proved to positively affect brand public engagement. The study implies that marketers should give attention to characteristics of brand public, and provide the ways by which members of brand public engage the brand. Additionally, marketers should pay more attention to both direct and indirect engagement activities of consumers toward brand public in social media to better understand their target consumers.

슬픔과 기쁨, 그 정서의 소재유형이 중학생의 이타행동에 미치는 효과 (The Effect of Focus of Attention (Sadness and Joy) on Altruism)

  • 권민균;정옥분
    • 아동학회지
    • /
    • 제9권2호
    • /
    • pp.95-117
    • /
    • 1988
  • The present research was designed to study the effect of gender differences and focus of attention (on sadness and on joy) in altruistic behavior. The subjects were 74 boys and 76 girls from a junior high school in Seoul. Emotion arousing and focus of attention identifying methods were used. Statistical analyses were with two-way ANOVA and $Scheff\acute{e}$ test. There were significant differences in altruisic behavior between the sadness self-oriented group and the sadness other-oriented group. The results were explained in terms of the accessibility of cognitive contents.

  • PDF

Adaptive Attention Annotation Model: Optimizing the Prediction Path through Dependency Fusion

  • Wang, Fangxin;Liu, Jie;Zhang, Shuwu;Zhang, Guixuan;Zheng, Yang;Li, Xiaoqian;Liang, Wei;Li, Yuejun
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권9호
    • /
    • pp.4665-4683
    • /
    • 2019
  • Previous methods build image annotation model by leveraging three basic dependencies: relations between image and label (image/label), between images (image/image) and between labels (label/label). Even though plenty of researches show that multiple dependencies can work jointly to improve annotation performance, different dependencies actually do not "work jointly" in their diagram, whose performance is largely depending on the result predicted by image/label section. To address this problem, we propose the adaptive attention annotation model (AAAM) to associate these dependencies with the prediction path, which is composed of a series of labels (tags) in the order they are detected. In particular, we optimize the prediction path by detecting the relevant labels from the easy-to-detect to the hard-to-detect, which are found using Binary Cross-Entropy (BCE) and Triplet Margin (TM) losses, respectively. Besides, in order to capture the inforamtion of each label, instead of explicitly extracting regional featutres, we propose the self-attention machanism to implicitly enhance the relevant region and restrain those irrelevant. To validate the effective of the model, we conduct experiments on three well-known public datasets, COCO 2014, IAPR TC-12 and NUSWIDE, and achieve better performance than the state-of-the-art methods.

Visible Distortion Predictors Based on Visual Attention in Color Images

  • Cho, Sang-Gyu;Hwang, Jae-Jeong;Kwak, Nae-Joung
    • Journal of information and communication convergence engineering
    • /
    • 제10권3호
    • /
    • pp.300-306
    • /
    • 2012
  • An image attention model and its application to image quality assessment are discussed in this paper. The attention model is based on rarity quantification, which is related to self-information to attract the attention in an image. It is relatively simpler than the others but results in taking more consideration of global contrasts between a pixel and the whole image. The visual attention model is used to develop a local distortion predictor, named color visual differences predictor (CVDP), in color images in order to effectively detect luminance and color distortions.

Epitaxial Self-Assembly of Block Copolymer Thin Film for Nanofabrication

  • Kim, Sang-Ouk
    • 한국고분자학회:학술대회논문집
    • /
    • 한국고분자학회 2006년도 IUPAC International Symposium on Advanced Polymers for Emerging Technologies
    • /
    • pp.293-293
    • /
    • 2006
  • Self-assembled nanostructures of block copolymer thin films have gathered significant attention due to their potential applications as templates for nanofabrication. However the lack of a robust strategy to control the structure formation in thin film geometries has been considered a major obstacle for the practical application. In this presentation 'epitaxial self-assembly' will be introduced as a successful strategy to control the self-assembled nanostructure of block copolymer. Chemically patterned surfaces prepared by advanced lithographic techniques successfully registered nanodomains in block copolymer thin film without any single defect over an arbitrarily large area.

  • PDF