• 제목/요약/키워드: accuracy of attention

검색결과 670건 처리시간 0.025초

MALICIOUS URL RECOGNITION AND DETECTION USING ATTENTION-BASED CNN-LSTM

  • Peng, Yongfang;Tian, Shengwei;Yu, Long;Lv, Yalong;Wang, Ruijin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권11호
    • /
    • pp.5580-5593
    • /
    • 2019
  • A malicious Uniform Resource Locator (URL) recognition and detection method based on the combination of Attention mechanism with Convolutional Neural Network and Long Short-Term Memory Network (Attention-Based CNN-LSTM), is proposed. Firstly, the WHOIS check method is used to extract and filter features, including the URL texture information, the URL string statistical information of attributes and the WHOIS information, and the features are subsequently encoded and pre-processed followed by inputting them to the constructed Convolutional Neural Network (CNN) convolution layer to extract local features. Secondly, in accordance with the weights from the Attention mechanism, the generated local features are input into the Long-Short Term Memory (LSTM) model, and subsequently pooled to calculate the global features of the URLs. Finally, the URLs are detected and classified by the SoftMax function using global features. The results demonstrate that compared with the existing methods, the Attention-based CNN-LSTM mechanism has higher accuracy for malicious URL detection.

A Consideration of Accuracy Correction Methods in RTLS for Indoor Facility Management with Drones

  • Yeo, ChangJae;yu, Jungho
    • 국제학술발표논문집
    • /
    • The 7th International Conference on Construction Engineering and Project Management Summit Forum on Sustainable Construction and Management
    • /
    • pp.210-213
    • /
    • 2017
  • The construction industry has witnessed an exponential growth of drones used in the field over the past few years. Likewise, the field of maintenance has paid increasing attention to using drones with a view to improving the efficiency of condition checks in high-rise buildings and major space. Although operators manipulate drones to inspect buildings at present, drones are expected to autonomously move around without operators in a few years. Also, for indoor maintenance, it is important for drones to find accurate locations, which is implemented by real-time locating systems(RTLS). Yet, the accuracy of RTLS varies across the types of systems and indoor settings, which warrants a locating system suitable for indoor space and a location correction system designed to improve the accuracy. Hence, the current study investigated the accuracy of real-time locating systems(RTLS) for the maintenance of indoor space of buildings with drones and delved into the methods of correcting the location information to improve the accuracy of RTLS.

  • PDF

건설현장 MMS 라이다 기반 점군 데이터의 정확도 분석 (Accuracy Analysis of Point Cloud Data Produced Via Mobile Mapping System LiDAR in Construction Site)

  • 박재우;염동준
    • 한국산업융합학회 논문집
    • /
    • 제25권3호
    • /
    • pp.397-406
    • /
    • 2022
  • Recently, research and development to revitalize smart construction are being actively carried out. Accordingly, 3D mapping technology that digitizes construction site is drawing attention. To create a 3D digital map for construction site a point cloud generation method based on LiDAR(Light detection and ranging) using MMS(Mobile mapping system) is mainly used. The purpose of this study is to analyze the accuracy of MMS LiDAR-based point cloud data. As a result, accuracy of MMS point cloud data was analyzed as dx = 0.048m, dy = 0.018m, dz = 0.045m on average. In future studies, accuracy comparison of point cloud data produced via UAV(Unmanned aerial vegicle) photogrammetry and MMS LiDAR should be studied.

Research on data augmentation algorithm for time series based on deep learning

  • Shiyu Liu;Hongyan Qiao;Lianhong Yuan;Yuan Yuan;Jun Liu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권6호
    • /
    • pp.1530-1544
    • /
    • 2023
  • Data monitoring is an important foundation of modern science. In most cases, the monitoring data is time-series data, which has high application value. The deep learning algorithm has a strong nonlinear fitting capability, which enables the recognition of time series by capturing anomalous information in time series. At present, the research of time series recognition based on deep learning is especially important for data monitoring. Deep learning algorithms require a large amount of data for training. However, abnormal sample is a small sample in time series, which means the number of abnormal time series can seriously affect the accuracy of recognition algorithm because of class imbalance. In order to increase the number of abnormal sample, a data augmentation method called GANBATS (GAN-based Bi-LSTM and Attention for Time Series) is proposed. In GANBATS, Bi-LSTM is introduced to extract the timing features and then transfer features to the generator network of GANBATS.GANBATS also modifies the discriminator network by adding an attention mechanism to achieve global attention for time series. At the end of discriminator, GANBATS is adding averagepooling layer, which merges temporal features to boost the operational efficiency. In this paper, four time series datasets and five data augmentation algorithms are used for comparison experiments. The generated data are measured by PRD(Percent Root Mean Square Difference) and DTW(Dynamic Time Warping). The experimental results show that GANBATS reduces up to 26.22 in PRD metric and 9.45 in DTW metric. In addition, this paper uses different algorithms to reconstruct the datasets and compare them by classification accuracy. The classification accuracy is improved by 6.44%-12.96% on four time series datasets.

A New Residual Attention Network based on Attention Models for Human Action Recognition in Video

  • Kim, Jee-Hyun;Cho, Young-Im
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.55-61
    • /
    • 2020
  • 딥 러닝 기술의 발전과 컴퓨팅 파워 등의 개선으로 인해 비디오 기반 연구는 최근 많은 관심을 얻고 있다. 비디오 데이터가 이미지 데이터와 비교하여 가장 큰 차이는 비디오 데이터에는 많은 양의 시간적, 공간적 정보가 포함되어 있다는 점이다. 이처럼 비디오에 포함된 많은 양의 데이터로 인해 컴퓨터 비전 연구에 있어서 행동 인식은 중요한 연구 과제 중 하나이지만, 비디오와 같이 움직임이 있는 환경에서 인간의 행동 인식은 매우 복잡하고 도전적인 과제이다. 인간에 대한 여러 연구를 바탕으로 인공지능에서는 인간과 유사한 주의(attention)메커니즘이 효율적인 인식 모델이라는 것을 알게 되었다. 이 효율적인 모델은 이미지 정보와 복잡한 연속 비디오 정보를 처리하는 데 이상적이다. 본 논문에서는 이러한 연구배경을 기반으로, 비디오에서 인간의 행동을 효율적으로 인식하기 위해 먼저 인간의 행동에 주목한 후 비디오 행동 인식에 주의메커니즘을 도입하고자 한다. 논문의 주요내용은 두 가지 주의 메카니즘을 기반으로 컨볼루션 신경망을 이용한 새로운 3D 잔류 주의 네트워크를 제안함으로써 비디오에서 인간의 행동을 식별하고자 한다. 제안 모델의 평가 결과 최대 90.7%정도의 정확도를 보였다.

Attention 기법을 적용한 LSTM-s2s 모델 기반 댐유입량 예측 연구 (Prediction of dam inflow based on LSTM-s2s model using luong attention)

  • 이종혁;최수연;김연주
    • 한국수자원학회논문집
    • /
    • 제55권7호
    • /
    • pp.495-504
    • /
    • 2022
  • 최근 인공지능의 발전으로 시계열 자료 분석에 효과적인 Long Short-Term Memory (LSTM) 모델이 댐유입량 예측의 정확도를 높이는 데 활용되고 있다. 본 연구에서는 그 중 LSTM의 성능을 더욱 향상할 수 있는 Sequence-to-Sequence (s2s) 구조에 Attention 기법을 LSTM 모델에 첨가하여 소양강댐 유역의 유입량을 예측하였다. 분석 데이터는 2013년부터 2020년까지의 유입량 시자료와 종관기상관측기온 및 강수량 자료를 학습, 검증, 평가로 나누어 훈련한 후, 모델의 성능 평가를 진행하였다. 분석 결과, LSTM-s2s 모델보다 attention까지 첨가한 모델이 일반적으로 더 좋은 성능을 보였으며, attention 첨가 모델이 첨두값도 더 잘 예측하는 모습을 보였다. 그리고 두 모델 모두 첨두값 발생 동안 유량 패턴을 잘 반영하였지만 세밀한 시간 단위 변화량에는 어려움이 있었다. 이를 통해 시간 단위 예측의 어려움에도 불구하고, LSTM-s2s에 attention까지 첨가한 모델이 기존 LSTM-s2s의 예측 성능을 향상할 수 있음을 알 수 있었다.

효율적인 객체 검출을 위해 Attention Process를 적용한 경량화 모델에 대한 연구 (A Study on Lightweight Model with Attention Process for Efficient Object Detection)

  • 박찬수;이상훈;한현호
    • 디지털융복합연구
    • /
    • 제19권5호
    • /
    • pp.307-313
    • /
    • 2021
  • 본 논문에서는 기존 객체 검출 방법 대비 매개변수를 감소시킨 경량화 네트워크를 제안하였다. 현재 사용되는 검출 모델의 경우 정확도 향상을 위해 네트워크 복잡도를 크게 늘렸다. 따라서, 제안하는 네트워크는 EfficientNet을 특징 추출 네트워크로 사용하였으며, 후속 레이어는 저수준 세부 특징과 고수준의 의미론적 특징을 활용하기 위해 피라미드 구조로 형성하였다. 피라미드 구조 사이에 attention process를 적용하여 예측에 불필요한 노이즈를 억제하였다. 네트워크의 모든 연산 과정은 depth-wise 및 point-wise 컨볼루션으로 대체하여 연산량을 최소화하였다. 제안하는 네트워크는 PASCAL VOC 데이터셋으로 학습 및 평가하였다. 실험을 통해 융합된 특징은 정제 과정을 거쳐 다양한 객체에 대해 견고한 특성을 보였다. CNN 기반 검출 모델과 비교하였을 때 적은 연산량으로 검출 정확도가 향상되었다. 향후 연구로 객체의 크기에 맞게 앵커의 비율을 조절할 필요성이 사료된다.

시각적 어텐션을 활용한 입술과 목소리의 동기화 연구 (Lip and Voice Synchronization Using Visual Attention)

  • 윤동련;조현중
    • 정보처리학회 논문지
    • /
    • 제13권4호
    • /
    • pp.166-173
    • /
    • 2024
  • 본 연구에서는 얼굴 동영상에서 입술의 움직임과 음성 간의 동기화 탐지 방법을 제안한다. 기존의 연구에서는 얼굴 탐지 기술로 얼굴 영역의 바운딩 박스를 도출하고, 박스의 하단 절반 영역을 시각 인코더의 입력으로 사용하여 입술-음성 동기화 탐지에 필요한 시각적인 특징을 추출하였다. 본 연구에서는 입술-음성 동기화 탐지 모델이 음성 정보의 발화 영역인 입술에 더 집중할 수 있도록 사전 학습된 시각적 Attention 기반의 인코더 도입을 제안한다. 이를 위해 음성 정보 없이 시각적 정보만으로 발화하는 말을 예측하는 독순술(Lip-Reading)에서 사용된 Visual Transformer Pooling(VTP) 모듈을 인코더로 채택했다. 그리고, 제안 방법이 학습 파라미터 수가 적음에도 불구하고 LRS2 데이터 세트에서 다섯 프레임 기준으로 94.5% 정확도를 보임으로써 최근 모델인 VocaList를 능가하는 것을 실험적으로 증명하였다. 또, 제안 방법은 학습에 사용되지 않은 Acappella 데이터셋에서도 VocaList 모델보다 8% 가량의 성능 향상이 있음을 확인하였다.

전산화 인지재활이 자폐스펙트럼장애 아동의 주의력에 미치는 효과: 단일대상연구 (Effects of Computer-Based Cognitive Rehabilitation on the Attention of Children with Autism Spectrum Disorder: A Single-Subject Study)

  • 김만제;김수경
    • 대한감각통합치료학회지
    • /
    • 제21권2호
    • /
    • pp.1-11
    • /
    • 2023
  • 목적 : 본 연구는 자폐스펙트럼장애(Autism Spectrum Disorder; ASD) 아동을 대상으로 전산화 인지재활이 주의력에 미치는 효과를 알아보고자 하였다. 연구방법 : 개별대상자 실험연구 방법 중 다중 기초선 설계를 사용하였다. 총 15회기를 주 3회씩 1회기 당 30분 동안 진행하였다. 전산화 인지재활 프로그램의 주의력 영역에서 유지 주의력과 선택적 주의력 검사를 매 회기가 끝난 직후에 평가하였다. 선택적 주의력을 평가하기 위하여 사전과 사후에 별 지우기 검사(star cancellation test)를 실시하였다. 결과 : 전산화 인지재활 중재 후 유지 주의력과 선택적 주의력의 검사에서 정확도는 대상자 모두 향상되었다. 2표준편차 구간을 이용한 분석방법에서 대상자 1, 2가 유의한 증진이 나타났고 대상자 3은 유의하지 않았지만 평균값이 향상되었다. 결론 : 본 연구 결과를 통해 전산화 인지재활 프로그램을 사용한 인지재활은 ASD 아동의 주의력에 긍정적인 영향을 미치는 것을 확인할 수 있었다.

Real Scene Text Image Super-Resolution Based on Multi-Scale and Attention Fusion

  • Xinhua Lu;Haihai Wei;Li Ma;Qingji Xue;Yonghui Fu
    • Journal of Information Processing Systems
    • /
    • 제19권4호
    • /
    • pp.427-438
    • /
    • 2023
  • Plenty of works have indicated that single image super-resolution (SISR) models relying on synthetic datasets are difficult to be applied to real scene text image super-resolution (STISR) for its more complex degradation. The up-to-date dataset for realistic STISR is called TextZoom, while the current methods trained on this dataset have not considered the effect of multi-scale features of text images. In this paper, a multi-scale and attention fusion model for realistic STISR is proposed. The multi-scale learning mechanism is introduced to acquire sophisticated feature representations of text images; The spatial and channel attentions are introduced to capture the local information and inter-channel interaction information of text images; At last, this paper designs a multi-scale residual attention module by skillfully fusing multi-scale learning and attention mechanisms. The experiments on TextZoom demonstrate that the model proposed increases scene text recognition's (ASTER) average recognition accuracy by 1.2% compared to text super-resolution network.