DOI QR코드

DOI QR Code

Designing a Sentiment Analysis AI Model Based on Consumer Reactions for FoodTech Business Decision-Making

푸드테크 비즈니스 의사결정을 위한 소비자 반응 기반 감정분석 AI 모델 설계

  • Su-Rak Son (Department of software, Catholic Kwandong University) ;
  • Yi-Na Jung (Department of software, Catholic Kwandong University)
  • Received : 2026.02.02
  • Accepted : 2026.02.27
  • Published : 2026.02.28

Abstract

This study proposes a multi-task KoBERT-based model to simultaneously identify the sentiment of multiple topics coexisting in a single sentence in Korean food tech comments. KoBERT serves as a shared encoder, and three classifiers (positive, neutral, and negative) are placed in parallel for each topic to perform topic-specific sentiment classification. Training was performed using BCE (pos_weight) for topic presence and CE/Focal with class weighting for sentiment. A weighted sampler was used to mitigate imbalance. Temperature compensation and topic-specific thresholds (0.1, 0.1, 0.30, 0.30) were determined on the development set and then fixed for testing. The model achieved a presence-based micro-F1 of 0.608, a macro-F1 of 0.237, an accuracy of 0.449, and a hamming error of 0.179. The F1 value for the emotion classification was 0.256 for technology acceptance, 0.265 for health concerns, and 0.103 for product evaluation. Ethics, due to insufficient sample size, was 0.000. This result suggests that data distribution and label boundaries significantly influence the model, and product evaluation items have relatively high usability.

본 연구는 푸드테크 관련 한국어 댓글에서 한 문장에 공존하는 여러 주제의 감정을 동시에 판별하기 위해 멀티태스크 KoBERT 기반 모델을 제안한다. KoBERT를 공유 인코더로 사용하고, 각 주제에 대해 3분류(긍·중·부) 헤드를 병렬로 두어 주제별 감정 분류를 수행한다. 학습은 주제 존재 여부에 대해 BCE(pos_weight), 감정에 대해 클래스 가중을 포함한 CE/Focal을 사용하였고, 가중 샘플러로 불균형을 완화하였다. 개발셋에서 온도 보정과 토픽별 임계값(0.1, 0.1, 0.30, 0.30)을 결정한 뒤 테스트에 고정 적용하였다. 그 결과 presence 기준 micro-F1 0.608, macro-F1 0.237, accuracy 0.449, hamming 0.179를 기록하였다. 감정 분류 F1은 기술수용 0.256, 건강우려 0.265, 제품평가 0.103, 윤리는 표본 부족으로 학습되지 않아 0.000으로 나타났다. 결과는 데이터 분포와 라벨 경계의 영향이 크다는 점을 시사하며, 제품평가 항목은 상대적으로 활용 가능성이 높다.

Keywords

1. 서론

푸드테크(FoodTech)는 식품 생산, 가공, 유통 및 소비 전반에 첨단 기술을 접목하여 지속가능성과 효율성을 동시에 추구하는 신산업 분야로 주목받고 있다. 대체육, 배양육, 스마트 주방기기 등 혁신적인 제품과 기술이 등장하면서, 이에 대한 소비자 반응은 제품 수용성 및 시장 성공 가능성을 결정짓는 핵심 요인으로 떠오르고 있다. 특히, 유튜브, 블로그, SNS 등 디지털 플랫폼에서 푸드테크에 대한 대중의 반응은 실시간으로 공유되며, 긍정적 기대감부터 거부감, 불신, 윤리적 비판 등 다양한 감정이 복합적으로 나타난다. 이러한 데이터는 기업이 제품 전략, 마케팅, 고객 대응 방식을 수립하는 데 있어 중요한 의사결정 자원이 될 수 있다. 그러나 이들 댓글은 대부분 비정형 텍스트로 구성되어 있어, 실질적인 분석 및 예측을 위해서는 정제된 감정 분석 모델과 고품질 학습데이터가 필요하다.

기존 연구에서는 주로 일반 뉴스 기사나 리뷰 기반 텍스트를 분석 대상으로 삼았기 때문에, 푸드테크와 같은 복합 감정 도메인을 반영하기에는 한계가 있다. 이에 본 논문은 선행 연구에서 구축한 “푸드테크 소비자 반응 기반 감정 데이터셋”을 활용하여, 푸드테크 분야에 특화된 감정 분석 AI 모델을 설계하고, 해당 모델이 대중 감정을 어떻게 효과적으로 분류하는지를 실험적으로 검증한다. 본 연구의 목적은 FoodTech 소비자 반응으로부터 토픽과 토픽별 감정을 자동으로 추출할 수 있는 분석 기반을 제시하는 데 있다. 본 연구는 모델의 분류 성능 자체를 최종 의사결정으로 간주하지 않고, 토픽별 감정 분포 및 변화 양상을 제품 개선, 위험 신호 점검, 기술 수용성 모니터링 등 후속 의사결정 지원을 위한 정량 지표로 활용할 수 있는 가능성을 제시한다. 푸드테크 담론은 제품의 맛과 가격을 둘러싼 평가, 건강과 안전에 대한 우려, 신기술 수용에 관한 기대와 망설임, 그리고 윤리적 논의를 한데 포괄한다. 이러한 텍스트는 단일 주제·단일 감정을 가정한 전통적 분류 체계로는 충분히 설명되기 어렵다. 특히 댓글 데이터는 주제별 표본 편중과 긍·부정 비대칭이 심해, 범용 모델의 출력이 특정 라벨로 쏠리거나 임계값에 민감하게 변하는 문제가 반복된다. 본 연구는 이 현실적 제약을 직접 다루기 위해, KoBERT 공유 인코더 위에 주제별 감정 헤드를 병렬 배치한 멀티태스크 구조를 택하고, 클래스 불균형을 전제한 학습·보정 절차를 설계하였다. 불균형을 고려한 손실과 샘플링, 개발셋 기반의 온도 보정과 임계값 최적화는 실제 의사결정 환경에서 요구되는 안정성을 확보하기 위한 장치다. 본문에서는 이 구조와 절차를 간결히 기술하고, 세부 실험 설정과 수치는 기존 결과 절에 준한다.

2. 관련 연구

푸드테크 댓글처럼 한 문장에 여러 주제와 감정이 공존하는 텍스트를 다루려면 ‘문장 전체의 단일 감정’을 가정한 전통적 분류로는 한계가 있다. 이 문제의 고전적 해결책이 Aspect-Based Sentiment Analysis(ABSA)로, 대상(aspect)과 그에 대한 극성(polarity)을 함께 예측하는 과제다. SemEval 2014·2016 공유과제는 리뷰 문장에서 복수의 측면과 극성을 동시에 정답화하며 이 분야의 표준 문제 설정과 평가 절차를 확립했다. 본 연구의 “주제(기술수용·제품평가·건강우려·윤리)별 감정” 은 ABSA의 관점과 동일한 문제 구도를 갖고 있으며, 데이터 특성에 맞춰 ‘주제’를 도메인 특화 측면으로 재정의했다 [1,2,3].

한국어에서는 단일어권 사전학습 언어모델(PLM)이 다국어 모델보다 일관되게 우수하다는 보고가 축적됐다. KoBERT는 한국어에 특화한 토크나이저·코퍼스를 사용해 공개된 초기 한국어 BERT로서 다양한 분류 과제의 베이스라인이 되었고, 이후 KR-BERT나 KoreALBERT 등 한국어 전용 경량/변형 모델들이 mBERT 대비 한국어 과제에서 성능 이점을 확인했다. 본 연구가 KoBERT를 공유 인코더로 채택한 것은 이러한 언어 특화 모델의 실증적 우위와 댓글 도메인의 구어·비표준 표현 처리 요구를 근거로 한다 [4,5].

한국어 감정·의견 데이터는 최근에서야 대규모 온라인 댓글 정서(KOTE) 등으로 범위를 넓혀 왔고, 한국어 ABSA 저자산 환경을 전제로 한 데이터·학습 프레임워크 연구도 등장했다. 또한 YouTube 댓글을 대상으로 한 대규모 측정·감성 연구가 보고되며, 플랫폼 특유의 장르·상호작용 편향이 감정 추정에 영향을 준다는 관찰도 제시되었다. 이러한 맥락에서 본 연구의 SNS 댓글 기반 도메인 설정은 국제적 과제 설정(ABSA)과 접점을 가지면서도, 한국어·플랫폼 특성에 맞춘 데이터 전처리· 라벨 설계가 필요함을 시사한다 [6].

불균형과 다중출력의 의사결정 안정화는 핵심 기술 축이다. 학습 단계에서는 Focal Loss가 소수 클래스에 학습 초점을 맞춰 불균형을 완화하는 표준 기법으로 자리잡았고, 추론 단계에서는 Temperature Scaling이 현대 신경망의 과신(calibration error)을 단일 매개변수로 보정하는 간단하면서도 효과적인 방법으로 널리 쓰인다 [7,8]. 다중라벨 환경에서는 라벨별 임계값 최적화가 F1을 직접적으로 개선할 수 있음이 이론·실증으로 제시되었고, 본 연구도 개발셋에서 주제별 임계값을 고정한 뒤 테스트에 일관 적용했다 [9]. 한편 PR 곡선·AP는 불균형에서 ROC보다 정보성이 높다는 것이 고전적으로 알려져 있어, 본 연구의 지표 선택 근거가 된다 [10]. 평가 지표 측면에서, 다중출력의 전체 일치성을 보는 Exact Match Accuracy(서브셋 정확도)와 라벨 단위 오류율을 보는 Hamming Loss는 상호 보완적이다. 본 연구가 presence 과제에 micro/macro-F1·정확도·Hamming을 함께 보고하고, 감정은 주제별 F1로 분리 보고한 이유가 여기에 있다. 이들 지표는 scikit-learn 사용자 가이드에서도 다중라벨 맥락의 표준 지표로 정리되어 있다 [11,12].

3. 연구 내용

본 연구는 푸드테크 관련 SNS 댓글 데이터를 기반으로 감정 분석 모델을 설계하고, 이를 통해 대중 감정 분류의 정확도를 향상시키며 비즈니스 의사결정에 실질적 도움을 줄 수 있는 AI 시스템을 구축하는 것을 목표로 한다. 전체 과정은 학습 데이터셋 구성, 텍스트 전처리 및 벡터화, 모델 설계 및 학습, 성능 평가의 4단계로 구성된다.

3.1 데이터셋 구성

학습에는 선행 연구에서 구축한 푸드테크 SNS 감성 데이터셋을 사용하였다. 데이터는 YouTube 댓글을 중심으로 수집되었고, 각 댓글에 대해 주제 분류(기술 수용, 제품 평가, 건강 우려, 윤리 논의)와 감정 분류(긍정, 부정, 중립)가 다중 주제 허용 원칙에 따라 수작업 라벨링되었다. 데이터는 학습·검증·테스트로 분할하여 사용하였으며, 분할 이후의 주제/감정 분포와 길이 통계는 학습 안정성을 점검하기 위해 확인하였다. 윤리 논의 주제는 표본 희소로 인해 정량적 평가는 제한적으로 다루었다.

3.2 텍스트 전처리 및 임베딩

모델 학습의 일관성을 위해 전처리는 정규화와 기초적 노이즈 제거를 거친 뒤 KoBERT 토크나이저로 토큰화하였다. 불필요한 특수기호·이모지 등은 최소한으로 정리하되, 도메인 특성상 의미를 갖는 비표준 표현(예: 신조어·구어체)은 보존하였다. 최종 임베딩은 KoBERT 사전학습 모델에서 직접 산출한 문맥 표현을 사용했다.

3.3 감정분석 모델 설계 및 학습

본 연구에서는 푸드테크 소비자 반응 데이터를 보다 정확하게 분류하기 위해 기존 감정 분석 모델의 한계를 분석하고, 도메인 특화 구조를 반영한 새로운 감정 분석 모델을 설계하였다. 푸드테크 도메인은 음식, 건강, 윤리 등 다양한 주제를 포함하며, 소비자 반응은 하나의 댓글에 여러 감정이 혼합되어 있는 경우가 많다. 복합 감정 분석의 필요성은 동일 댓글 내에서 서로 다른 토픽이 동시에 등장하고, 토픽별 감정 방향이 상이하게 나타날 수 있다는 점에서 발생한다. 예를 들어, '맛은 있지만 너무 비싸다'는 문장은 품질에 대한 긍정 감정과 가격에 대한 부정 감정을 동시에 포함한다. 기존의 단일 감정 분류 방식은 이러한 다중 감정을 충분히 포착하지 못한다는 한계가 있다. 이 경우 댓글 전체를 단일 감정으로 환원하면 제품 개선 신호와 위험 신호가 혼합되어 해석되며, 의사결정에 필요한 세부 정보가 손실된다. 이를 해결하기 위해 본 연구에서는 KoBERT 기반 모델 구조를 활용하였다. 한국어 감정분석 연구에서는 주로 BERT 계열의 언어모델이 사용되며, 이 중 koBERT는 SK텔레콤에서 한국어에 특화하여 사전학습(Pre-training)한 모델로, 한국어 문법과 형태소 특성을 잘 반영하는 것이 특징이다. 특히 다국어 기반의 Multilingual BERT(mBERT)와 비교했을 때, 동일한 한국어 감정분류 데이터셋에서 koBERT는 정확도 85.7%, mBERT는 77.3%를 기록하여 성능 우위를 보였다 [13]. 이는 mBERT가 다국어 처리를 위해 다양한 언어를 혼합 학습함으로써 한국어에 대한 언어적 특성 학습 비중이 낮은 반면, koBERT는 한국어 형태소 분석과 구문 구조를 반영한 학습으로 한국어 텍스트 표현에 최적화되어 있기 때문이다. 따라서 본 논문에서는 koBERT를 기반으로 토픽 존재 여부와 토픽별 감정을 분리하여 표현하는 구조를 사용하는 감정 분석 모델을 설계하여 주제별 감정 분류가 가능하도록 다중 출력 구조를 가지는 AI 모델을 설계했다.

입력된 댓글은 먼저 KoBERT 토크나이저를 통해 형태소 단위로 분해되고, 임베딩 층을 통해 의미 벡터로 변환된다. 이후 공유된 Transformer 인코더 계층을 거쳐 문맥 정보를 반영한 특성이 추출된다. 마지막 단계에서는 기술 수용, 제품 평가, 건강 우려, 윤리 논의의 네 가지 주제에 대해 각각 독립된 Fully Connected 층을 통해 감정 분류가 이루어진다. 각 주제별 출력은 긍정, 중립, 부정의 3클래스로 분류되며, 이를 통해 하나의 댓글에서 다중 감정 예측이 가능하도록 하였다.

이 모델 구조의 가장 큰 특징은 문장 내 복수 주제에 대한 감정 분석이 가능하다는 점이다. 이는 단일 감정 분류 방식에서 발생할 수 있는 정보 손실 문제를 해결하며, 실제 소비자 반응의 세밀한 감정 차이를 반영하는 데 효과적이다. 또한, 도메인 특화 감정 어휘(예를 들어, '개맛있다', 'ㅈㄴ 별로' 등)에 민감한 KoBERT를 활용함으로써, 비표준 표현이나 은어의 의미까지 고려한 정교한 분석이 가능하다.

모델 학습을 위해 데이터셋은 6:2:2의 비율로 학습, 검증, 테스트 세트로 분할되었으며, 주제별 감정 라벨은 수작업 검수를 통해 정확성을 확보하였다. 학습 과정에서는 Adam 옵티마이저와 CrossEntropyLoss를 활용하였고, 드롭아웃(dropout) 및 학습률(lr) 조정을 통해 과적합을 방지하였다. 하이퍼파라미터 튜닝은 grid search를 기반으로 하였으며, 각 실험의 성능은 Macro F1-score를 중심으로 비교하였다.

또한, 본 연구에서는 감정 강도 회귀 기반 보조 실험도 함께 진행하였다. 기존 분류 방식은 감정의 강도 차이를 반영하지 못하는 한계가 있으므로, 동일한 구조에서 출력층을 연속값 회귀 형태로 수정하여 감정 강도를 -1.0에서 +1.0 사이의 점수로 예측하도록 하였다. 이후 해당 점수를 기준으로 부정, 중립, 긍정을 재분류함으로써, 감정의 미묘한 차이를 반영할 수 있는 가능성을 실험적으로 평가하였다.

그림 1은 설계된 모델의 전체 구조를 나타내며, 입력 임베딩에서부터 주제별 감정 예측까지의 전체 흐름이 시각적으로 정리되어 있다. 특히, 공유된 Transformer 인코더와 병렬 구조의 Fully Connected 출력층이 본 연구의 주요 요소이며, 이는 복합적 감정 구조를 가진 푸드테크 소비자 반응 데이터를 효과적으로 분류하는 데 있어 핵심적인 역할을 한다. 이와 같은 모델 구조는 기존의 일반 감정 분석 모델이 가진 한계를 극복하고, 푸드테크 도메인의 언어적 특성과 실제 소비자 반응의 다층적 감정을 반영할 수 있는 기반을 제공한다.

JBJTBH_2026_v19n1_142_3_f0001.png 이미지

그림 1. 기존 BERT 구조와 제안한 감정 분석 모델의 구조

Fig.1. Structure of the conventional BERT model and the proposed sentiment analysis model

3.4 모델 평가

모델은 다중 출력 구조의 특성을 고려하여 분류 지표와 구조 일치 지표를 함께 사용하였다. 주제 존재 판별에 대해서는 Accuracy, Precision, Recall, micro/macro F1, Hamming Loss를 산출하여 전반적 검출력과 오류율을 평가하였다. 주제별 감정 분류는 각 주제 단위의 Precision·Recall·F1을 별도로 보고하여, 데이터 분포와 라벨 경계에 따른 성능 편차를 해석하였다. 또한 다중 출력의 일치성을 확인하기 위해 Exact Match Accuracy를 병행하였고, 혼동행렬(Confusion Matrix) 시각화를 통해 오분류 패턴을 사례 분석과 연결하였다. 보조 실험으로 동일 구조의 감정 강도 회귀(-1.0~+1.0)를 수행하고 MSE를 제시하되, 회귀 점수의 재분류 결과는 분류 성능과 함께 정성적으로 비교하였다. 평가 절차 전반은 개발셋에서 보정 온도와 임계값을 확정하고, 이를 테스트에 그대로 적용하는 방식으로 재현성을 담보하였다. 최종 수치와 사례 해석은 결과 절에 수록하였다.

4. 실험 설계 및 수행

본 연구에서는 푸드테크 관련 SNS 댓글 데이터셋을 활용하여 제안한 멀티태스크 KoBERT 모델을 학습하고 성능을 평가하였다.

표 1~3은 데이터셋 규모, 분할별 토픽 양성 비율, 그리고 토픽별 감정분포를 제시한 것이다. product_evaluation 토픽이 상대적으로 높은 비율을 차지하는 반면, technology_acceptance 및 ethics 토픽은 희소하며, 토픽 내부 감정 분포 또한 불균형한 경향을 보인다. 이러한 분포 특성은 토픽별 성능 편차 및 macro/weighted 평균 지표 해석의 전제로 고려하였다. 데이터 불균형을 완화하기 위해 Focal Loss와 Weighted Sampler를 적용하였다. 그림 2~4의 PR 곡선은 모델 출력 로직에 대해서 개발셋에서 학습한 temperature T로 온도 스케일링을 적용하여 확률을 보정한 뒤, 보정된 확률을 사용해 산출하였다. 즉, 토픽 존재 확률은 p = σ (z/T)로 계산했으며, 학습된 T는 테스트 단계에서 고정하여 적용했다. 본 연구에서 사용한 토픽별 T는 [0.8, 3.0, 1.6, 0.5]이다.

표 1. 데이터셋 규모 및 학습/검증/테스트 분할

Table 1. Dataset size and train/validation/test splits

JBJTBH_2026_v19n1_142_5_t0001.png 이미지

표 2. 분할별 토픽 양성 비율

Table 2. Topic positivity rate by segment

JBJTBH_2026_v19n1_142_5_t0002.png 이미지

표 3. 분할별 토픽 감정(긍/중/부) 분포

Table 3. Topic sentiment distribution by segment

JBJTBH_2026_v19n1_142_5_t0003.png 이미지

JBJTBH_2026_v19n1_142_5_f0001.png 이미지

그림 2. 제품 평가 토픽의 PR 곡선

Fig. 2. The PR curve of product evaluation topic

JBJTBH_2026_v19n1_142_5_f0002.png 이미지

그림 3. 건강 우려 토픽의 PR 곡선

Fig. 3. The PR curve of health concern topic

JBJTBH_2026_v19n1_142_6_f0001.png 이미지

그림 4. 기술 수용 토픽의 PR 곡선

Fig. 4. The PR curve of technology acceptance topic

그림 2~4는 세 토픽의 토픽 존재 여부에 대한 PR 곡선을 비교한 결과이다. 본 연구에서는 테스트 시 토픽 존재 확률에 temperature scaling을 적용한 뒤, 임계값을 연속적으로 변화시키며 precision–recall trade-off를 확인하였다.

PR 곡선은 임계값 변화에 따른 정밀도–재현율 관계를 보여주며, AP(average precision)는 이를 요약하는 지표로 사용된다. 세 토픽 중 product_evaluation은 AP가 가장 높아 토픽 존재 검출이 상대적으로 안정적이었고, health_concern는 AP가 더 낮아 재현율 확보를 위해 임계값을 낮출수록 정밀도가 빠르게 저하되는 경향을 보였다. technology_acceptance는 AP가 매우 낮아 토픽 존재 검출 단계에서부터 신뢰도 확보가 어려웠으며, 이는 후속 감정 분류 성능의 상한을 제한하는 요인으로 작용하였다. 실제 운용 임계값은 모두 개발셋에서 탐색한 값을 테스트셋에 고정 적용하였으며, product_evaluation과 technology_acceptance는 0.1, health_concern는 0.3을 사용하였다. 표 4는 제안 모델의 토픽별 감정 분류 상세 성능을 나타낸다.

표 4. 제안 모델의 토픽별 감정 분류 상세 성능

Table 4. Detailed performance of the proposed model's topic-specific sentiment classification

JBJTBH_2026_v19n1_142_6_t0001.png 이미지

그림 5~7은 각 토픽의 감정 분류 결과를 행 정규화 혼동행렬로 제시한 것으로, 행 정규화 값은 실제 클래스 기준 분류 비율을 나타내므로 클래스 불균형 상황에서 오분류 패턴을 직관적으로 해석하는 데 유용하다. 세 토픽 모두에서 공통적으로 특정 예측 클래스 열에 오분류가 집중되는 경향이 관찰되었으며, 이로 인해 비우세 클래스의 FN이 증가하고 클래스별 F1 및 macro-F1 저하가 발생하였다. 구체적으로 product_evaluation에서는 예측이 negative 열로 강하게 집중되어 실제 negative의 recall은 높게 유지되었으나, 실제 neutral의 100.0%와 실제 positive의 97.4%가 negative로 오분류되어 neutral, positive 성능이 크게 저하되었다. health_concern에서는 예측이 주로 positive 열에 집중되어 실제 neutral의 95.5%가 positive로 오분류되고 neutral 대각 성분이 0.0%로 나타났으며, 실제 negative의 50.0%도 positive로 분류되어 neutral 및 negative 클래스의 F1 저하가 두드러졌다. 반면 실제 positive는 100.0%가 positive로 분류되어 positive recall은 높게 나타났다. technology_acceptance에서는 예측이 neutral 열에 집중되어 실제 negative와 positive가 각각 100.0% neutral로 오분류되었고, 실제 neutral는 83.3%가 neutral로 분류되어 neutral recall은 상대적으로 높게 유지되었다.

JBJTBH_2026_v19n1_142_6_f0002.png 이미지

그림 5. 제품 평가 토픽의 혼동행렬

Fig. 5. The Confusion matrix for product evaluation topics

JBJTBH_2026_v19n1_142_6_f0003.png 이미지

그림 6. 건강 우려 토픽의 혼동행렬

Fig. 6. The Confusion matrix for health concern topics

JBJTBH_2026_v19n1_142_7_f0001.png 이미지

그림 7. 기술 수용 토픽의 혼동행렬

Fig. 7. The Confusion matrix for technology acceptance topic

다만 technology_acceptance 토픽은 표본 수가 작아 혼동행렬 패턴과 F1 score의 변동성이 크므로, 결과 해석 시 표본 불균형 및 지원 수의 한계를 함께 고려할 필요가 있다.

다음으로 동일한 데이터 분할 및 동일한 평가 절차에서 TF-IDF와 Logistic Regression 기반의 전통적 텍스트 분류기와 제안 모델을 비교하였다. 본 연구에서는 각 토픽을 동일한 중요도로 해석하기 위해 토픽 동일 가중 평균을 주요 비교 기준으로 함께 제시하였다. 표 5는 기존 모델과 제안 모델의 평가 결과를 나타낸다.

표 5. 기존 모델과 제안 모델의 macro-F1과 weighted-F1의 차이

Table 5. Differences between macro-F1 and weighted-F1 of the existing model and the proposed model

JBJTBH_2026_v19n1_142_7_t0001.png 이미지

결과적으로 제품평가 토픽에서의 성능 감소는 크지 않으면서, 다른 토픽들의 성능이 월등히 증가했다. 이러한 결과는 제안 모델이 일부 토픽에서 감정 분류 성능 개선을 보이면서도, 토픽별 데이터 분포 및 불균형 정도에 따라 성능 변동성이 존재함을 시사한다.

5. 결론

본 연구에서는 푸드테크 도메인 소비자 반응을 정밀하게 분석하기 위해 멀티태스크 KoBERT 기반 감정 분석 모델을 설계하고, 토픽별 감정 분류를 동시에 수행할 수 있는 구조를 제안하였다. 실험 결과, 제품 평가 토픽의 존재 탐지에서는 비교적 양호한 성능을 확인할 수 있었으나, 감정 분류 단계에서는 긍정·부정의 불균형으로 인해 성능이 저하되었다. 건강 우려와 기술 수용 토픽의 경우 데이터 희소성 탓에 토픽 존재 검출 단계부터 성능이 낮아, 이후 감정 분류까지 이어지지 못하였다. 윤리 논의 토픽은 표본 부족으로 유의미한 분석 자체가 어려웠다.

이러한 결과는 제안한 모델이 갖는 구조적 장점에도 불구하고, 데이터의 분포와 라벨링 체계가 성능의 상한선을 결정한다는 점을 분명히 보여준다. 본 연구의 주요 기여는 멀티태스크 구조와 캘리브레이션 기법을 통해 푸드테크 도메인 감정 분석에 적용 가능한 기본 틀을 마련하였다는 데 있다. 그러나 실제 활용을 위해서는 부정·중립 클래스 및 희소 토픽에 대한 데이터 보강이 반드시 필요하다. 특히 하나의 댓글에 여러 토픽이 혼재할 수 있는 도메인 특성을 고려할 때, 향후 연구에서는 토픽별 개별 감정 라벨링을 도입하는 것이 성능 개선의 핵심 방향이 될 것이다.

결론적으로, 제안 모델의 출력은 비즈니스 의사결정에 직접적인 자동 결정을 내리기 위한 도구라기보다, 소비자 반응을 토픽별로 구조화하여 의사결정자의 해석을 지원하는 보조 지표로 활용될 수 있다. 예를 들어 product_evaluation 토픽의 부정 감정 비중 증가는 제품 개선 우선순위 재조정의 근거가 될 수 있으며, health_concern 토픽에서 부정 또는 중립 반응이 증가하는 경우 안전성 관련 커뮤니케이션 및 FAQ 보완의 필요성을 점검하는 신호로 활용 가능하다. 또한 technology_acceptance 토픽 감정 분포는 도입 장벽 또는 수용성 저하 요인을 파악하는 모니터링 지표로 사용할 수 있다.

본 연구 데이터는 토픽별 샘플 수와 토픽 내부 감정 분포가 불균형한 특성을 가지며, 이는 소수 클래스 성능 저하와 토픽별 성능 편차로 이어질 수 있다. 또한 복수 토픽-토픽별 감정 라벨 구조는 라벨 공간을 확장시키므로, 경계가 모호한 댓글에서 라벨링 일관성 및 오류 전파문제가 발생할 수 있다. 특히 토픽 존재 여부 판단의 오류는 후속 감정 분류 단계 성능에 영향을 미칠 수 있어, 단일 단계 분류보다 해석 시 주의가 필요하다.

본 연구에서는 이러한 한계를 완화하기 위해 토픽 존재 확률에 대한 temperature scaling 및 개발셋 기반 임계값 고정, 행 정규화 혼동행렬을 통한 오분류 패턴 점검, 클래스별 precision/recall/F1 및 macro/weighted 평균과 support를 함께 보고하는 방식으로 성능을 분석하였다. 또한 토픽별 비교 시 특정 대규모 토픽이 전체 결론을 과도하게 지배하지 않도록 토픽 동일 가중 평균 결과를 병기하였다.

향후에는 희소 토픽 및 소수 감정 클래스 중심의 데이터 추가 수집/재균형화, 경계 사례 및 오분류 사례에 대한 재라벨링(인간 검수) 절차 강화, 클래스 불균형 완화를 위한 샘플링/손실 재가중 전략의 체계적 비교, 토픽 간 상관성과 라벨 의존성을 반영하는 구조적 모델링을 통해 데이터 불균형 및 라벨 구조 한계를 추가로 개선할 필요가 있다.

References

  1. M. Pontiki, D. Galanis, J. Pavlopoulos, H. Papageorgiou, I. Androutsopoulos, and S. Manandhar, "SemEval-2014 Task 4: Aspect Based Sentiment Analysis", Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014), pp.27-35, 2014. DOI: 10.3115/v1/S14-2004.
  2. M. Pontiki, D. Galanis, H. Papageorgiou, I. Androutsopoulos, S. Manandhar, et al., "SemEval-2016 Task 5: Aspect Based Sentiment Analysis", Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval 2016), pp.19-30, 2016. DOI: 10.18653/v1/S16-1002.
  3. C. Sun, L. Huang, and X. Qiu, "Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence", Proceedings of NAACL-HLT 2019, pp.380-385, 2019. DOI: 10.18653/v1/N19-1035.
  4. SK Telecom, "KoBERT: Korean BERT (Bidirectional Encoder Representations from Transformers)", SKT Open Source, 2021. URL: https://sktelecom.github.io/en/project/kobert/
  5. S. Lee, H. Jang, Y. Baik, S. Park, and H. Shin, "KR-BERT: A Small-Scale Korean-Specific Language Model", arXiv preprint arXiv:2008.03979, 2020. DOI: 10.48550/arXiv.2008.03979.
  6. D. Jeon, J. Lee, and C. Kim, "User Guide for KOTE: Korean Online That-gul Emotions Dataset", Proceedings of LREC-COLING 2024, pp.17254-17270, 2024. URL: https://aclanthology.org/2024.lrec-main.1499/
  7. C. Guo, G. Pleiss, Y. Sun, and K. Q. Weinberger, "On Calibration of Modern Neural Networks", Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70, pp.1321-1330, 2017. URL: https://proceedings.mlr.press/v70/guo17a.html
  8. T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, "Focal Loss for Dense Object Detection", Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp.2999-3007, 2017. DOI: 10.1109/ICCV.2017.324.
  9. Z. C. Lipton, C. Elkan, and B. Narayanaswamy, "Thresholding Classifiers to Maximize F1 Score", arXiv preprint arXiv:1402.1892, 2014. DOI: 10.48550/arXiv.1402.1892.
  10. T. Saito and M. Rehmsmeier, "The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets", PLOS ONE, Vol.10, No.3, e0118432, 2015. DOI: 10.1371/journal.pone.0118432.
  11. scikit-learn developers, "3.4. Metrics and scoring: quantifying the quality of predictions (Classification metrics)", scikit-learn documentation (stable, v1.8.0). URL: https://scikit-learn.org/stable/modules/model_evaluation.html
  12. scikit-learn developers, "accuracy_score - scikit-learn documentation", scikit-learn documentation (stable, v1.8.0). URL: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy_score.html
  13. Jiwon Hyeona, Joonil Leeb, Hyunkwon Choc. "Sentiment Analysis of News on Corporation Using KoBERT", Korean Accounting Review 47(4):33-54, 2022. https://doi.org/10.24056/KAR.2022.08.002