A Deep Learning Model for Disaster Alerts Classification

Abstract

Disaster alerts are text messages sent by government to people in the area in the event of a disaster. Since the number of disaster alerts has increased, the number of people who block disaster alerts is increasing as many unnecessary disaster alerts are being received. To solve this problem, this study proposes a deep learning model that automatically classifies disaster alerts by disaster type, and allows only necessary disaster alerts to be received according to the recipient. The proposed model embeds disaster alerts via KoBERT and classifies them by disaster type with LSTM. As a result of classifying disaster alerts using 3 combinations of parts of speech: [Noun], [Noun + Adjective + Verb] and [All parts], and 4 classification models: Proposed model, Keyword classification, Word2Vec + 1D-CNN and KoBERT + FFNN, the proposed model achieved the highest performance with 0.988954 accuracy.

재난문자는 재난 발생 시 국가에서 해당 지역에 있는 시민들에게 보내는 문자 메시지다. 재난문자의 발송 건수는 점점 증가하여, 불필요한 재난문자가 많이 수신됨에 따라 재난문자를 차단하는 사람들이 증가하고 있다. 이와 같은 문제를 해결하기 위하여, 본 연구에서는 재난문자를 재난 유형별로 자동으로 분류하고 수신자에 따라 필요한 재난의 재난문자만 수신하게 하는 딥러닝 모델을 제안한다. 제안 모델은 재난문자를 KoBERT를 통해 임베딩하고, LSTM을 통해 재난 유형별로 분류한다. [명사], [명사 + 형용사 + 동사], [모든 품사]의 3가지 품사 조합과 제안 모델, 키워드 분류, Word2Vec + 1D-CNN 및 KoBERT + FFNN의 4종류 분류 모델을 활용하여 재난문자를 분류한 결과, 제안 모델이 0.988954의 정확도로 가장 높은 성능을 달성하였다.

I. Introduction

재난문자(Disaster Alerts)는 재난이 일어났을 시 국가에서 대피나 주의 발생 등의 내용으로 해당 지역에 있는 시민들에게 보내는 문자 메시지이다. 코로나바이러스 감염증-19(이하 코로나19)는 2020년 1월 20일 국내 첫 감염사례가 보고된 이후 2021년 3월 26일 0시 기준 국내 누적 확진자가 10만 명을 초과하였다. 빠르게 확산하는 코로나 19에 대응하기 위해, 대한민국 정부는 코로나19 확진자 발생 현황 등을 재난문자를 통해 실시간으로 전송하였고, 이로 인해 전염병에 관한 재난문자 발송 건수가 크게 증가하였다. 코로나19에 관한 재난문자 이외에도 태풍, 호우 등 다른 재난에 대한 재난문자의 발송 건수 또한 꾸준히 증가하였다. 이는 2017년 10월부터 행정안전부뿐만 아니라 타부처 및 지자체 또한 재난문자 송출 권한을 가짐에 따라 시·군청에서 각 지역에 맞는 재난문자를 발송할 수 있었기 때문이다[1]. 그럼에도 불구하고 현재 재난문자 송출 기관이나 재난문자를 조회할 수 있는 국민 재난 안전 포털에서는 재난문자를 재난별로 분류하여 발송하거나 보관하고 있지 않다.

2020년 한 해에 발송된 재난문자 수는 총 54, 734건으로 2019년 911건에 비해 약 60배 증가하였으며, 개인이 받는재난문자의 수신량이 늘어남에 따라 최근 2~3년간 재난 문자 미수신에 대한 문제점은 줄어들고 재난문자 수신에 대한 문제점이 증가하였다[2]. 개인 방역수칙 준수와 같은 일상적인 내용이 수신되는 것, 유사한 내용이 반복하여 수신되는 것, 안전한 곳으로 대피하라며 안전한 곳의 위치는 알려주지 않는 등의 불명확성, 현재 위치에 맞지 않는 지역의 재난문자를 수신하는 것 등이 재난문자를 많이 수신함으로써 증가하는 문제들로 제기되고 있다[3]. 이처럼 재난 문자에 대한 문제와 불만들로 인하여 재난문자의 알림을 차단하거나 내용을 확인하지 않는 사람들이 증가하고 있다. 하지만 재난문자를 차단하거나 확인하지 않으면 정작 중요한 재난문자를 놓칠 수도 있다. 2021년 5월 현재까지 행정안전부에서 ‘재난문자 운영 매뉴얼’을 여러 번 개선하여 이를 해결하고자 노력했지만, 여전히 재난 문자에 대한 문제가 존재하고 있다.

이와 같은 문제를 해결하기 위해 본 연구에서는 재난 문자를 재난 유형(Disaster Type)별로 자동으로 분류하고, 수신자에 따라 필요한 재난의 재난문자만 수신하게 하는 딥러닝 기반 모델을 제안한다. 이를 위하여 재난문자를 행정안전부에서 시행한 ‘재난문자 방송 기준 및 운영 규정’ 에 명시된 재난 유형으로 구분한 후, KoBERT를 통해 임 베딩(Embedding)하고 LSTM을 통해 재난문자를 분류하는 모델을 제시한다. 제안 모델의 분류 성능은 비교 모델들과 실험적으로 비교하며. 추가적으로 재난문자의 형태소분석을 통해 [명사], [명사+형용사+동사], [모든 품사]의 3 가지 품사 조합에 따른 분류 성능을 비교하여 재난문자 분류에 대한 최적의 모델을 제시한다.

II. Related Research

최근 뉴스, 영화 리뷰, 트위터 등 말뭉치 데이터를 분류하기 위하여 딥러닝 기반 텍스트 분류 모델에 대한 연구가 많이 수행되고 있다. 딥러닝 기반으로 텍스트를 분류하기 위해서는 먼저 문장 또는 단어를 공간상의 벡터로 표현하는 임베딩 과정을 거친 다음, 임베딩을 통해 얻은 벡터를 딥러닝 모델의 입력으로 하여 의도한 결과를 출력되도록 학습시키는 과정이 필요하다. 임베딩 모델로는 Word2Vec 과 BERT(Bidirectional Encoder Representations from Transformers)가 대표적이다.

Word2Vec은 분산 표현 단어 임베딩 방식의 일종으로, 분포 가설에 의해 만들어진 표현 방법이다[4]. 분포 가설은 ‘비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가진다’라는 가설로, 이를 이용하여 단어 집합을 학습하고 단어의 의미를 다차원 벡터에 분산하여 표현한다. Word2Vec의 학습 방법에는 CBOW와 Skip-Gram이 있으며, 중심 단어를 예측하기 위하여 윈도우를 정해 앞뒤로 몇 개의 단어를 고려할 지를 결정하고 윈도우를 계속 움직이면서 학습을 위한 데이터를 구축한다.

BERT는 2018년 구글에서 공개한 Transformer 기반의 사전 학습 단어 임베딩 모델이며. 문맥에 의존하는 특징적인 표현의 전이학습을 실시하는 대응을 바탕으로 구축되었다[5]. BERT는 위키피디아에서 25억 개의 단어와 BooksCorpus에서 8억 개의 단어 등 레이블이 없는 텍스트 데이터를 이용하여 훈련되었으며, 레이블이 있는 다른 작업에서 추가 훈련과 함께 하이퍼 파라미터를 재조정하고, 성능이 높게 나오는 기존의 사례들을 참고하여 파라미터를 수정하는 Fine-Tuning을 통해 높은 성능을 확보하게 되었다. BERT의 기본 구조는 Transformer의 인코더를 쌓아 올린 구조이며 입력은 임베딩 층을 지난 768차원의 임베딩 벡터들이다. BERT의 연산을 거친 후의 출력 벡터는 문장의 문맥을 모두 참고한 문맥을 반영하며, 15%의 단어가 가려진 언어 모델을 이용하여 가려진 위치의 원본 단어를 맞추는 방향으로 학습을 진행한다. BERT는 문장한 개 분류, 문장 두 개의 관계 분류, 개체명 인식과 같은 문장 내 단어 Labeling, 묻고 답하기 등에서 매우 뛰어난 성능을 보여준다.

BERT를 개발한 구글에서는 영어 버전의 BERT와 다국어를 지원하는 BERT-Multilingual을 제공하지만, 한국어에 특화되어있지 않아 성능적 한계가 존재한다. 이를 극복하기 위해 SKT-Brain에서 기존 BERT 모델에 한국 위키피디아, 뉴스 등에서 수집한 수백만 개의 한국어 문장으로 이루어진 대규모 말뭉치를 학습하였으며, 한국어의 불규칙한 언어 변화의 특성을 반영하기 위해 데이터 기반 토큰화 기법을 적용한 KoBERT를 공개하였다[6].

자연어 처리 분야에서의 딥러닝 모델로는 1D-CNN과 RNN, LSTM 등에 관한 연구가 많이 수행되고 있다. CNN(Convolutional Neural Networks)은 자연어 처리보다는 2차원 이미지나 영상 처리 분야에 사용되는 것으로 더 잘 알려져 있지만, 자연어 처리 분야에서 1차원 필터를 사용하는 방식(1D-CNN)으로 활용되기도 한다[7]. 1D-CNN은 자연어가 단어나 표현의 등장 순서가 중요한 Sequential Data임에서 착안하여 1차원 필터를 통해 텍스트의 지역적인 정보인 단어 등장 순서와 문맥 정보를 보존한다. 1D-CNN은 N개의 단어로 이뤄진 문장을 각 단어별로 K차원의 행벡터로 임베딩하여 필터를 거친 뒤, Max-Pooling 과정을 거쳐 스코어를 출력하는 구조이다.

RNN(Recurrent Neural Networks)은 유닛 간의 연결이 순환적 구조를 갖는 인공 신경망이다. RNN은 입력과 출력을 시퀀스 단위로 처리하는 모델로 음성 인식과 같이 관측치가 시간적 순서를 가지는 시계열 데이터를 처리하는데 주로 사용된다[8]. RNN은 FFNN(Feed-Forward Neural Network)과 달리 은닉층의 노드에서 활성화 함수를 통해 나온 결괏값을 출력층 방향으로도 보내고, 다시 은닉층 노드의 다음 계산의 입력층으로도 보내는 방법을 활용한다. 하지만 RNN은 출력 결과가 이전의 계산 결과에 의존하는 모습을 보여 Time Step이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 장기 의존성 문제를 가지고 있다.

LSTM(Long Short-Term Memory)은 RNN의 장기 의존성 문제를 해결하기 위하여 등장한 모델로, RNN에서 불필요한 기억을 지우고 기억해야 할 것을 정하는 게이트가 추가되었다[9]. 메모리 셀에 현재 정보를 기억하기 위한 입력 게이트, 기억을 삭제하기 위한 망각 게이트, 은닉 상태를 결정하는 출력 게이트가 추가되었다.

딥러닝을 이용한 한국어 텍스트 분류 관련 대표적인 연구는 다음과 같다. 김도우는 Word2Vec으로 임베딩한 벡터를 활용하여 1D-CNN으로 한국어 신문 기사를 분리하는 연구를 진행하였으며[10], 오영택은 Word2Vec으로 임 베딩 하여 RNN으로 한국어 영화 리뷰를 감성 분석 (Sentiment Analysis)하는 모델을 제안하였다[11]. 또한, 박천음은 BERT 임베딩을 활용하여 한국어 영화 리뷰를 감성 분석하였다[12].

재난문자와 같이 빠르고 신속하게 처리되어야 하거나 길이가 짧은 텍스트에 기계학습 모델을 적용한 사례는 다음과 같다. Dzmitry Bahdanau는 Bidirectional RNN을 이용한 기계 번역 모델을 제안하였으며[13], 임준엽은 나이브 베이즈 분류를 이용하여 트위터 트윗을 통한 영화 흥행 예측 모델을 제안하였다[14].

III. The Proposed Model

본 장에서는 재난문자 데이터 수집, 재난 유형별 재난 문자 라벨링, 전처리 과정, 그리고 제안 분류 모델과 비교 모델에 대하여 기술한다.

1. Training Data Collection

본 연구에서는 국민재난안전포털(National Disaster and Safety Portal; www.safekorea.go.kr)로부터 2019년 1월 1일부터 2021년 3월 29일까지 총 76, 562개의 재난 문자 데이터를 수집하였다. 재난문자 데이터를 수집하기 위하여 웹 브라우저의 자동화 기능을 제공하는 Python의 Selenium 라이브러리를 사용하였다. 은 국민 재난 안전 포털에서 재난문자를 조회하는 화면이다.

Fig. 1. Browsing Disaster Alerts on National Disaster and Safety Portal

2. Data Labeling

본 연구에서는 행정안전부에서 2019년 5월 31일에 시행한 ‘재난문자 방송 기준 및 운영 규정’의 재난문자 방송송출 기준에 명시되어 있는 재난 명칭에 따라, 수집한 재난 문자 데이터를 태풍, 호우, 홍수 등 총 20개의 재난 유형으로 라벨링 하였다. 은 수집한 76, 562개의 재난 문자 데이터를 재난 유형에 따라 라벨링 한 결과를 정렬한 것이며, 개수가 400개 미만인 재난 유형은 기타로 합산하였다. 전염병에 대한 재난문자가 67, 984개로 다른 재난 유형의 재난문자 총합보다 많아, 딥러닝 모델의 학습 과정에서 클래스 간의 균형을 위해 전염병 재난문자 중 5,000개를 무작위로 선별하여 총 13,578개의 데이터를 학습에 사용하였다.

Table 1. Number of Disaster Alerts by Disaster Type

수집한 재난문자 중 [Table 1]에서 상위 3개의 재난 유형에 해당하는 재난문자 데이터의 예시는 [Table 2]와 같다.

Table 2. Examples of Disaster Alerts

3. Data Preprocessing

분류 모델들의 정확도 향상과 오류를 줄이기 위해 재난 문자 데이터에 전처리를 진행하였다. 먼저 한글 맞춤법 검사기인 HanSpell 라이브러리를 통해 맞춤법 및 띄어쓰기를 검사하고 교정하였다. 또한, 재난문자의 시작 부분에 ‘[양산시청]’등 발송 주체를 명시하는 문구를 제외하였다. [Table 3]은 재난문자 데이터의 전처리 과정을 거친 결과를 나타낸 것이다.

Table 3. Example of Preprocessing for Disaster Alerts Data

4. Proposed Model

본 연구에서는 재난문자를 자동으로 분류하기 위하여 KoBERT를 이용하여 재난문자를 임베딩하고, 임 베딩으로 생성된 벡터를 입력값으로 하는 LSTM을 사용하여 재난 문자를 재난 유형별로 분류하는 모델을 제안한다. 는 제안 모델의 구조도이다.

Fig. 2. Proposed Model for Disaster Alerts Classification

KoBERT를 통한 임베딩 과정에서는 SentencePiece Tokenizer와 KoBERT에서 제공하는 사전 학습된 Vocab 을 사용하며, 한 문장의 최대 토큰 수는 64로 설정하였다. 재난문자를 10개의 재난 유형으로 분류하기 위한 LSTM은 KoBERT가 768차원으로 임베딩 결과를 출력하기 때문에 입력층이 768차원, 은닉층이 64차원, 출력층이 10차원으로 설정하였다. Optimizer는 Adam, 손실 함수(Loss Function)는 Cross-Entropy를 사용하였으며, Epoch 수는 15, Batch 크기는 64, 학습률(Learning Rate)은 5e-5, Dropout은 0.3으로 설정하여 학습하였다.

5. Comparison Models

본 연구에서는 재난문자를 분류하기 위한 비교 모델로 키워드 기반 분류 모델, Word2Vec을 통한 임베딩으로 얻어낸 벡터를 1D-CNN을 통해 분류하는 모델, KoBERT를통한 임베딩을 사용하여 FFNN을 통해 분류하는 모델을 구축하였다.

5.1 Keyword-Based Classification

키워드 기반 분류 모델은 딥러닝을 이용하지 않지만 재난 문자에 재난 유형별로 ‘태풍’, ‘지진’, ‘폭염’ 등의 재난명과 ‘확진’, ‘동파’, ‘침수’ 등 재난을 유추할 수 있는 단어들이 공통적으로 사용된다는 가정 하에, 재난 유형별로 키워드를 추출하여 그 키워드를 통하여 분류하는 모델이다. 먼저 형태소 분석기를 이용하여 품사들을 분리한 후, 재난유형별 키워드를 추출한다. 본 연구에서는 형태소 분석기로 Mecab 라이브러리를 사용하였으며, KR-WordRank [15]를 사용하여 키워드를 추출하였다. KR-WordRank는 Graph Ranking 알고리즘을 활용하여 키워드를 추출하는 WordRank[16]를 한국어에 적합하게 개선한 비지도 학습모델이다. [Table 4]는 재난문자 데이터에서 명사만을 추출한 후, KR-WordRank를 통해 얻은 재난 유형별 상위 15개의 키워드이다.

Table 4. Top 15 Keywords by Disaster Type

본 연구에서는 재난 유형별 추출한 키워드 중 상위 15 개의 키워드를 사용하여, 재난문자가 각 키워드를 포함하는 경우 Graph Ranking 알고리즘으로 계산된 키워드의 rank 점수를 합산하여 가장 높은 점수를 가진 재난 유형으로 분류하는 모델을 사용한다.

5.2 Word2Vec + 1D-CNN

본 모델은 Word2Vec을 통한 단어 임베딩으로 생성된 재 난문 자의 벡터를 입력값으로 하여, 1D-CNN을 사용하여 분류하는 모델이다. 한국어에 맞추어 사전 학습된 Word2Vec 모델이 있으나, 본 연구에서는 ‘코로나19’, ‘선별 진료소’ 등 새로운 단어들의 임베딩을 위해 재난 문자 데이터로 직접 학습시킨 Word2Vec 모델을 이용하였다. Word2Vec 모델 생성을 위하여 Skip-gram 방식을 사용하여 100차원의 벡터에 임베딩 시켰으며, 윈도우 크기는 7 을 사용하였다. 학습시킨 Word2Vec 모델을 통해 얻어낸 벡터를 크기가 2, 3, 5인 1차원 필터를 각각 512개씩 사용한 1D-CNN 모델의 입력으로 하고, Epoch 수는 20, Batch 크기는 100, 학습률은 0.001, Dropout은 0.2로 설정하여 학습하였다.

5.3 KoBERT + FFNN

본 모델은 제안 모델과 동일하게 KoBERT를 이용하지만 LSTM 대신 FFNN을 사용하여 분류하는 모델이다. LSTM과 동일하게 입력층이 768차원, 은닉층이 64차원, 출력층이 10차원인 FFNN을 사용하였으며, Epoch 수는 15, Batch 크기는 64, 학습률은 5e-5, Dropout은 0.3으로 설정하여 학습하였다.

IV. Experiment and Results

1. Experimental Methods

본 연구에서는 재난문자를 전염병, 태풍, 호우, 한파, 교통, 홍수, 대설, 폭염, 산사태, 기타의 10개 분류로 분류하기 위해 키워드 추출로 얻은 키워드로 분류하는 모델, Word2Vec과 1D-CNN을 활용한 모델, KoBERT와 각각 FFNN, RNN을 활용한 모델까지 4종류의 분류 모델을 사용하여 성능을 비교하였다. 13, 578개의 재난문자 데이터 중 90%인 12, 220개를 학습 셋으로, 나머지 10%인 1, 358 개를 테스트 셋으로 사용하였다.

4종류의 모델들 간의 성능 비교와 함께, 다양한 품사 조합이 재난문자 분류 성능에 영향을 미치는지에 대하여도 측정하였다. 품사 조합으로는 [명사], [명사+형용사+동사], [모든 품사]의 3가지 품사 처리 방법을 사용하였으며, Mecab을 이용하여 재난문자 데이터의 품사를 구분하고, 각 조합의 품사만을 사용한 데이터를 사용하였다[17].

성능 평가의 척도로 Accuracy(정확도)와 Precision(정밀도), Recall(재현율), F1-Score를 사용하였다. Accuracy 는 분류한 전체 재난문자 중 각 재난에 맞게 분류한 재난 문자의 비율이고(식 (1)), Precision은 각 재난 유형으로 분류한 데이터 중 그 재난으로 맞게 분류한 데이터(True Positive) 의 비율들의 평균이며(식 (2)), Recall은 각 재난 유형의 실제 데이터 중 그 재난으로 맞게 분류한 데이터의 비율들의 평균이다(식 (3)). F1-Score는 Precision과 Recall의 조화평균으로, 분류 결과가 불균형 구조일 때 모델의 성능을 정확하게 평가할 수 있는 척도이다(식 (4)).

\(\text { Accuracy }=\frac{\text { 각재난에 맞게 분류된 재난문자수 }}{\text { 분류한전체재난문자수 }}\)       (1)

\(\text { Precision }=A V G\left(\frac{\text { 그 재난 유형으로 맞게 분류한 데이터 }}{\text { 각재난유형으로 분류한데이터 }}\right)\)       (2)

\(\operatorname{Recall}=A V G\left(\frac{\text { 그재난유형으로 맞게 분류한 데이터 }}{\text { 각 재난유형의실제 데이터 }}\right)\)       (3)

\(F_{\beta}-\text { Score }=\left(1+\beta^{2}\right) \frac{\text { Precision } \times \text { Recall }}{\left(\beta^{2} \times \text { Precision }\right)+\text { Recall }}\)       (4)

2. Experimental Results

본 연구에서는 재난문자를 [명사], [명사+형용사+동사], [모든 품사]의 3가지 품사 조합과 키워드 분류, Word2Vec + 1D-CNN, KoBERT + FFNN, KoBERT + LSTM 4종류의 분류 모델을 이용하여 분류하고 각각의 성능을 비교 분석하였다. [Table 5~7]은 품사 조합에 따른 4종류의 분류 모델 성능 평가 결과이다.

Table 5. Classification Results for 4 Models with [Noun]

Table 6. Classification Results for 4 Models with [Noun + Adjective + Verb]

Table 7. Classification Results for 4 Models with [All Parts]

성능 평가 항목인 Accuracy, Precision, Recall, F1-Score를 종합적으로 고려했을 때, [명사], [명사+형용사+동사], [모든 품사] 모든 경우에서 KoBERT + LSTM 모델이 가장 좋은 성능을 보였다. 그 다음으로는 KoBERT + FFNN 모델, Word2Vec + 1D-CNN 모델, 키워드 분류모델 순으로 성능이 좋았으며, 키워드 분류 모델이 임 베딩과 딥러닝 모델을 활용한 나머지 3종류의 모델보다 성능이 현저하게 낮은 것으로 평가되었다. 이는 재난문자 송출 권한을 가진 기관이 늘어나면서 내용과 형식이 다양해져, 추출한 키워드를 포함하지 않는 경우가 많기 때문인 것으로 분석되었다. [Table 8]은 [명사]에서 어느 키워드 군에도 포함되지 않아 미분류된 데이터의 예시이며, [Table 9]는해당 재난의 키워드를 1개도 포함하지 않아 다른 재난으로 분류된 재난문자 데이터의 예시이다.

Table 8. Examples of Classification Failure for the Keyword Model with [Noun]

Table 9. Examples of Misclassification for the Keyword Model with [Noun]

또한, KoBERT를 통해 임베딩 한 KoBERT + FFNN 모델과 제안 모델에 비해 Word2Vec을 통해 임베딩 한 Word2Vec + 1D-CNN 모델의 성능이 비교적 낮은 것으로 나타났다. 이를 통해 본 연구의 실험에서 임베딩 모델이 분류 모델의 성능에 영향을 많이 끼치는 것으로 판단할 수 있다. 키워드 분류 모델을 제외한 나머지 3종류의 모델은 [모든 품사]가 다른 품사 조합에 비해 성능이 좋은 반면에 키워드 분류 모델은 [명사]가 가장 성능이 좋았다. 그 이유는 키워드 추출 과정에서 ‘바랍니다’처럼 모든 재난에공통적으로 등장하는 단어가 상위 키워드로 추출됨으로써 모델의 정확도를 떨어뜨리기 때문인 것으로 분석되었다. 앞서 언급한 것과 같이 딥러닝을 이용한 모델들에서는 [모든 품사] 데이터를 활용하였을 때 가장 우수한 성능을 보였는데, 이는 재난문자와 같이 정형화된 한국어 말뭉치를 분류할 때 단어의 앞뒤 맥락을 같이 파악하는 특성을 가진 임 베딩과 분류 과정에서 ‘와’, ‘가’와 같은 조사와 ‘매우’, ‘빨리’ 등의 부사 등이 같이 포함되는 것이 문장의 유형을 파악하는데 유리하기 때문인 것으로 판단된다.

실험 결과를 종합하면, 최종적으로 [모든 품사]를 활용한 KoBERT + LSTM 모델이 98.8954%의 정확도로 가장 좋은 성능을 내었다. 하지만 정형화되어있고 전처리 과정을 거친 데이터임에도 불구하고 분류하지 못하는 재난 문자 데이터가 여전히 존재한다는 한계는 있다. [Table 10]은 가장 좋은 성능을 낸 [모든 품사]를 활용한 KoBERT + LSTM 모델의 재난 유형별 Precision, Recall, F1-Score를 나타낸 것이며, 종합적으로 교통에 대한 재난문자의 분류 성능이 가장 낮은 것으로 나타났다. [Table 11]는 제안 모델이 분류에 실패한 재난문자 데이터의 예시이다. 분류 실패의 원인을 분석한 결과, [Table 10]의 2번째 예시처럼 대설 등의 다른 재난 유형이 재난 문자 발송의 원인인 경우가 많았으며, ‘적설’ 등 다른 재난 유형으로 판단할 수 있는 단어가 있어 틀리게 분류한 것으로 사료된다. 다른 예시 또한 마찬가지로 ‘한파특보’, ‘강풍’과 같은 단어들로 인해 틀리게 분류한 것으로 분석되었다. 즉, 현재 버전의 제안 모델은 타 재난 유형에 영향력이 큰 단어가 포함된 경우 재난문자를 타 재난 유형으로 오분류하는 경우가 발생한다는 한계점이 존재한다.

Table 10. Classification Results by Disaster Type for the Proposed Model with [All Parts]

Table 11. Examples of Classification Failure for the Proposed Model with [All Parts]

V. Conclusions

본 연구에서는 수신자에 따라 필요한 재난의 재난 문자만 수신할 수 있도록 하기 위해 ‘재난문자 운영 매뉴얼’에 따라 재난문자의 재난 유형을 구분하고 품사 조합과 분류모델에 따른 성능을 측정하였다. 품사 조합으로는 [명사], [명사 + 형용사 + 동사], [모든 품사]의 3가지를 비교하였고, 분류 모델로는 키워드 분류, Word2Vec + 1D-CNN, KoBERT + FFNN, KoBERT + LSTM 4종류를 선정하여 비교 실험을 진행하였다. 실험 결과, [모든 품사]를 활용한 제안 모델(KoBERT + LSTM)이 정확도 0.988954, F1-Score 0.98434로 가장 높은 성능을 보였다. 또한, 임 베딩 모델로 KoBERT를 사용한 두 모델과 Word2Vec을사용한 모델 간의 성능 차이가 비교적 큰 것으로 보아, 임 베딩 모델이 본 연구의 분류 모델 성능에 많은 영향을 끼친 것으로 판단할 수 있다.

그러나 제안 모델은 다른 재난 유형에 강한 영향력이 있는 단어가 포함된 경우 재난문자를 틀리게 분류할 가능성이 있다는 한계점이 존재하는데, 이는 더 많은 재난 문자 데이터를 활용하거나 재난문자의 의미역 분석을 통한 보다 정확한 문장 이해를 통해 개선할 수 있다. 아울러, 각재 난 유형별로 주의보, 경보 등의 세부 유형을 두어 이를 자동으로 분류하는 연구가 필요하다. 또한, 재난문자의 개체명 인식을 통한 시간 및 장소 데이터를 활용하면 관심 지역의 재난 정보를 확인하거나, 개인 동선 정보를 결합하여 확진자와의 접촉 여부를 실시간으로 알려주는 등의 사용자 맞춤형 재난 정보 제공 서비스로의 확장이 가능하다.