• International Journal of Contents
• /
• 제17권4호
• /
• pp.1-15
• /
• 2021

Named entity recognition (NER) is a crucial task for NLP, which aims to extract information from texts. To build NER systems, deep learning (DL) models are learned with dictionary features by mapping each word in the dataset to dictionary features and generating a unique index. However, this technique might generate noisy labels, which pose significant challenges for the NER task. In this paper, we proposed DL-dictionary features, and evaluated them on two datasets, including the OntoNotes 5.0 dataset and our new infectious disease outbreak dataset named GFID. We used (1) a Bidirectional Long Short-Term Memory (BiLSTM) character and (2) pre-trained embedding to concatenate with (3) our proposed features, named the Convolutional Neural Network (CNN), BiLSTM, and self-attention dictionaries, respectively. The combined features (1-3) were fed through BiLSTM - Conditional Random Field (CRF) to predict named entity classes as outputs. We compared these outputs with other predictions of the BiLSTM character, pre-trained embedding, and dictionary features from previous research, which used the exact matching and partial matching dictionary technique. The findings showed that the model employing our dictionary features outperformed other models that used existing dictionary features. We also computed the F1 score with the GFID dataset to apply this technique to extract medical or healthcare information.

• 전기전자학회논문지
• /
• 제26권4호
• /
• pp.545-552
• /
• 2022

특정 분야의 특허출원수는 기술의 수명주기 및 산업의 활성화 정도와 밀접한 관계를 가지고 있다. 따라서 사전에 사업을 준비하는 기업들과 미래 유망 기술을 초기 단계에서 선발하여 투자하고자 하는 정부 기관들은 미래의 특허 출원수 예측에 대해 큰 관심을 가지고 있다. 본 논문에서는 시계열 데이터에 적합한 RNN의 기법 중 하나인 양방향 LSTM 기법을 이용하여 기존 예측 방법들보다 정확도를 높이는 방법을 제안한다. 5개 분야의 대한민국 특허 출원 데이터에 대해서 제안된 방법은 기존에 사용되던 확산 모델 중 하나인 Bass 모델과 비교하여 평균 절대 백분율 오차(MAPE)의 값이 약 16퍼센트 향상된 결과를 보여준다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.463-463
• /
• 2023

국내 수도관 보급률이 증가하면서 기존 노후화된 수도관들과 추가로 노후화된 수도관들이 증가하고 있다. 경과년수가 오래된 시설이 증가하는 것은 잠재적인 사고발생 위험을 증가시킨다. 실제 노후화된 상수도 시설물로 인해 단수, 누수, 수질오염, 지반함몰 발생이 증가하는 추세이다. 이러한 현상들은 시민들의 생활과 안전, 경제활동에 직접적인 영향을 끼치기 때문에 이에 대한 대책 마련이 시급한 상태이다. 본 연구에서는 AI를 기반으로 상수도관의 노후도 및 위험도를 예측하는 모델을 설계하고자 하였다. 대상지역을 인천광역시 서구로 선정하여 유량과 수질의 실시간 계측데이터를 수집하였다. 딥러닝 기법 중 하나인 LSTM(Long Short-Term Memory)을 이용하여 데이터를 예측하였고, 결정계수(R²)와 RMSE(Root Mean Square Error)로 학습데이터와 검증데이터의 비율을 정하여 예측도를 평가하였다. 유량과 수질 데이터 중 80%는 학습데이터로 20%는 검증 데이터로 분리하였고, LSTM의 셀과레이어 수를 해석에 적합한 범위로 설정한 결과, 실제값과 예측값이 높은 상관성을 보이는 것으로 나타났다. 예측된 유량 및 수질의 결과는 상수도 관리에 중요한 정보를 제공하며, 사고 위험도 평가와 관 노후화에 따른 대응력을 향상시키는 데 도움이 될 것으로 판단된다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2021년도 학술발표회
• /
• pp.295-295
• /
• 2021

수자원 관리 및 계획 수립에 있어 강우 유출 분석은 가장 중요하며, 기본적인 분석이다. 기존의 강우 유출 분석은 일반적으로 수문 모형을 이용한다. 강우 유출 분석은 강수와 증발산 과정, 즉 물순환에 있어 복잡한 상호 작용을 고려해야한다. 본 연구에서는 기존의 수문 모형과 데이터간의 관계를 포착할 수 있는 딥러닝 기법을 이용한 강우 유출분석 수행하였다. 우리나라의 유역 중, 비교적 풍부한 수문데이터를 보유하고 있는 IHP (International Hydrological Program)의 청미천 유역을 연구대상지역으로 연구를 수행하였다. 수문 모형으로는 SWAT (Soil and Water Assessment Tool)을 이용하였으며, 딥러닝 기법은 시계열 분석에 있어 주로 사용되는 RNN(Recurrent Neural Network) 중 LSTM (Long Short-Term Memory) 네트워크를 이용하였다. 분석결과 수문 모형의 성능 지표인 상관계수와 NSE (Nash-Sutcliffe Efficiency)는 LSTM 네트워크에서 더 높은 성능을 확인 할 수 있었다. 일반적으로 LSTM 네트워크는 보정 기간이 길수록 더욱 좋은 성능을 나타낸다. 즉, 과거 수문데이터가 충분히 확보된 유역에서 LSTM 네트워크와 같은 데이터 기반 모델은 다양한 지형 및 기상데이터를 필요하는 수문 모델보다 유용할 것이라 사료된다.

• Asia pacific journal of information systems
• /
• 제34권2호
• /
• pp.400-420
• /
• 2024

Nowadays, social media has evolved into a powerful networked ecosystem in which governments and citizens publicly debate economic and political issues. This holds true for the pros and cons of Indonesia's ore nickel export restriction to Europe, which we aim to investigate further in this paper. Using Twitter as a dependable channel for conducting sentiment analysis, we have gathered 7070 tweets data for further processing using two sentiment analysis approaches, namely Support Vector Machine (SVM) and Long Short Term Memory (LSTM). Model construction stage has shown that Bidirectional LSTM performed better than LSTM and SVM kernels, with accuracy of 91%. The LSTM comes second and The SVM Radial Basis Function comes third in terms of best model, with 88% and 83% accuracies, respectively. In terms of sentiments, most Indonesians believe that the nickel ore provision will have a positive impact on the mining industry in Indonesia. However, a small number of Indonesian citizens contradict this policy due to fears of a trade dispute that could potentially harm Indonesia's bilateral relations with the EU. Hence, this study contributes to the advancement of measuring public opinions through big data tools by identifying Bidirectional LSTM as the optimal model for the dataset.

• 한국정보통신학회논문지
• /
• 제23권10호
• /
• pp.1275-1281
• /
• 2019

무선 신호의 자동 변조 인식은 지능형 수신기의 주요한 작업으로 다양한 민간 및 군대 응용분야가 있다. 본 논문에서는 딥 뉴럴 네트워크 모델을 기반한 무선통신에서 전파신호의 변조 방식을 식별하는 방법을 제안한다. 순차적인 데이터에 대해 장기적인 패턴을 잡아내는데 용이한 LSTM 모델을 통과하여 얻은 연속적인 신호의 특징값을 딥 뉴럴 네트워크의 입력 데이터로 사용하여 신호의 변조 패턴을 분류한다. 변조된 신호의 진폭 및 위상, 동상(In-phase) 반송파, 직각 위상(Quadrature-phase) 반송파의 값을 LSTM 모델의 입력 데이터로 사용하여 분류한다. 제안된 학습 방법의 성능을 검증하기 위해, 다양한 신호 대 잡음비로 10 가지 유형의 변조 신호를 포함하는 대형 데이터 세트를 사용하여 학습하고 테스트한다. 본 논문의 변조 인식 프로그램은 신호의 사전 정보가 없는 환경에서 변조방식을 예측하는데 적용될 수 있다.

• 스마트미디어저널
• /
• 제7권4호
• /
• pp.17-23
• /
• 2018

자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화 기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해 한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지 않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권7호
• /
• pp.3599-3619
• /
• 2019

In human activity recognition system both static and motion information play crucial role for efficient and competitive results. Most of the existing methods are insufficient to extract video features and unable to investigate the level of contribution of both (Static and Motion) components. Our work highlights this problem and proposes Static-Motion fused features descriptor (SMFD), which intelligently leverages both static and motion features in the form of descriptor. First, static features are learned by two-stream 3D convolutional neural network. Second, trajectories are extracted by tracking key points and only those trajectories have been selected which are located in central region of the original video frame in order to to reduce irrelevant background trajectories as well computational complexity. Then, shape and motion descriptors are obtained along with key points by using SIFT flow. Next, cholesky transformation is introduced to fuse static and motion feature vectors to guarantee the equal contribution of all descriptors. Finally, Long Short-Term Memory (LSTM) network is utilized to discover long-term temporal dependencies and final prediction. To confirm the effectiveness of the proposed approach, extensive experiments have been conducted on three well-known datasets i.e. UCF101, HMDB51 and YouTube. Findings shows that the resulting recognition system is on par with state-of-the-art methods.

• International Journal of Advanced Culture Technology
• /
• 제12권3호
• /
• pp.148-158
• /
• 2024

We investigate Autism Spectrum Disorder (ASD), which is typified by deficits in social interaction, repetitive behaviors, limited vocabulary, and cognitive delays. Traditional diagnostic methodologies, reliant on expert evaluations, frequently result in deferred detection and intervention, particularly in South Korea, where there is a dearth of qualified professionals and limited public awareness. In this study, we employ advanced deep learning algorithms to enhance early ASD screening through automated video analysis. Utilizing architectures such as Convolutional Long Short-Term Memory (ConvLSTM), Long-term Recurrent Convolutional Network (LRCN), and Convolutional Neural Networks with Gated Recurrent Units (CNN+GRU), we analyze video data from platforms like YouTube and TikTok to identify stereotypic behaviors (arm flapping, head banging, spinning). Our results indicate that the LRCN model exhibited superior performance with 79.61% accuracy on the augmented platform video dataset and 79.37% on the original SSBD dataset. The ConvLSTM and CNN+GRU models also achieved higher accuracy than the original SSBD dataset. Through this research, we underscore AI's potential in early ASD detection by automating the identification of stereotypic behaviors, thereby enabling timely intervention. We also emphasize the significance of utilizing expanded datasets from social media platform videos in augmenting model accuracy and robustness, thus paving the way for more accessible diagnostic methods.

• 한국컴퓨터정보학회논문지
• /
• 제29권8호
• /
• pp.11-21
• /
• 2024

본 연구는 가상현실 (Virtual Reality, VR) 기술을 활용하여 골프 스윙의 주요 구간을 식별하고 레이블링 (Labeling) 하는 방법을 탐구한다. 기존 가상현실 기기의 제한점을 해결하기 위해 OpenVR SDK (Software Development Kit)와 SteamVR을 활용하여 다양한 VR 기기에서 운동 데이터를 수집할 수 있는 플랫폼을 개발하였다. 또한, 장단기 메모리 (Long Short-Term Memory) 기반의 시계열 데이터 분석을 통해 운동 동작의 시간적 변화를 식별하고 레이블링하는 반자동 레이블링 기술을 개발하였다. 실험은 소년, 청년, 중년, 장년 세대별 각 20명씩 총 80명의 참가자가 각 5회의 스윙 데이터를 수집하여 총 400개의 운동 데이터 세트를 구축하였다. 제안하는 기술은 골프 스윙의 7가지 주요 구간에 대해 모든 연령대에서 일관되게 높은 정확도(0.94 이상)와 F1 점수(0.95 이상)를 달성하였다. 이 기술은 운동 데이터를 세분화하고 구간별로 운동 능력을 정밀하게 평가할 수 있는 기반을 마련하여, 향후 교육 및 훈련 과정에서 개별 사용자에게 맞춤형 피드백을 제공하는 데 목적이 있다.