• 제목/요약/키워드: Machine Learning

검색결과 5,492건 처리시간 0.04초

Deep Convolution Neural Networks 이용하여 결함 검출을 위한 결함이 있는 철도선로표면 디지털영상 재 생성 (Regeneration of a defective Railroad Surface for defect detection with Deep Convolution Neural Networks)

  • 김현호;한석민
    • 인터넷정보학회논문지
    • /
    • 제21권6호
    • /
    • pp.23-31
    • /
    • 2020
  • 본 연구는 철도표면상에 발생하는 노후 현상 중 하나인 결함 검출을 위해 학습데이터를 생성함으로써 결함 검출 모델에서 더 높은 점수를 얻기 위해 진행되었다. 철도표면에서 결함은 선로결속장치 및 선로와 차량의 마찰 등 다양한 원인에 의해 발생하고 선로 파손 등의 사고를 유발할 수 있기 때문에 결함에 대한 철도 유지관리가 필요 하다. 그래서 철도 유지관리의 자동화 및 비용절감을 위해 철도 표면 영상에 영상처리 또는 기계학습을 활용한 결함 검출 및 검사에 대한 다양한 연구가 진행되고 있다. 일반적으로 영상 처리 분석기법 및 기계학습 기술의 성능은 데이터의 수량과 품질에 의존한다. 그렇기 때문에 일부 연구는 일반적이고 다양한 철도표면영상의 데이터베이스를 확보하기위해 등간격으로 선로표면을 촬영하는 장치 또는 탑재된 차량이 필요로 하였다. 본연구는 이러한 기계적인 영상획득 장치의 운용비용을 감소시키고 보완하기 위해 대표적인 영상생성관련 딥러닝 모델인 생성적 적대적 네트워크의 기본 구성에서 여러 관련연구에서 제시된 방법을 응용, 결함이 있는 철도 표면 재생성모델을 구성하여, 전용 데이터베이스가 구축되지 않은 철도 표면 영상에 대해서도 결함 검출을 진행할 수 있도록 하였다. 구성한 모델은 상이한 철도 표면 텍스처들을 반영한 철도 표면 생성을 학습하고 여러 임의의 결함의 위치에 대한 Ground-Truth들을 만족하는 다양한 결함을 재 생성하도록 설계하였다. 재생성된 철도 표면의 영상들을 결함 검출 딥러닝 모델에 학습데이터로 사용한다. 재생성모델의 유효성을 검증하기 위해 철도표면데이터를 3가지의 하위집합으로 군집화 하여 하나의 집합세트를 원본 영상으로 정의하고, 다른 두개의 나머지 하위집합들의 몇가지의 선로표면영상을 텍스처 영상으로 사용하여 새로운 철도 표면 영상을 생성한다. 그리고 결함 검출 모델에서 학습데이터로 생성된 새로운 철도 표면 영상을 사용하였을 때와, 생성된 철도 표면 영상이 없는 원본 영상을 사용하였을 때를 나누어 검증한다. 앞서 분류했던 하위집합들 중에서 원본영상으로 사용된 집합세트를 제외한 두 개의 하위집합들은 각각의 환경에서 학습된 결함 검출 모델에서 검증하여 출력인 픽셀단위 분류지도 영상을 얻는다. 이 픽셀단위 분류지도영상들과 실제 결함의 위치에 대한 원본결함 지도(Ground-Truth)들의 IoU(Intersection over Union) 및 F1-score로 평가하여 성능을 계산하였다. 결과적으로 두개의 하위집합의 텍스처 영상을 이용한 재생성된 학습데이터를 학습한 결함 검출모델의 점수는 원본 영상만을 학습하였을 때의 점수보다 약 IoU 및 F1-score가 10~15% 증가하였다. 이는 전용 학습 데이터가 구축되지 않은 철도표면 영상에 대해서도 기존 데이터를 이용하여 결함 검출이 상당히 가능함을 증명하는 것이다.

국지예보모델과 위성영상을 이용한 극상림 플럭스 관측의 공간연속면 확장 및 우리나라 산림의 일일 탄소흡수능 격자자료 산출 (Gridded Expansion of Forest Flux Observations and Mapping of Daily CO2 Absorption by the Forests in Korea Using Numerical Weather Prediction Data and Satellite Images)

  • 김근아;조재일;강민석;이보라;김은숙;최철웅;이한림;이태윤;이양원
    • 대한원격탐사학회지
    • /
    • 제36권6_1호
    • /
    • pp.1449-1463
    • /
    • 2020
  • 최근 지구온난화에 따른 기후변화 문제의 심각성이 커지면서 국가 온실가스 배출량을 상쇄시킬 수 있는 산림의 탄소흡수에 대한 중요성이 높아지고 있으며, 기후변화협약에 따라 국가의 산림 탄소흡수량을 국지적인 수준에서 과학적이고 정밀하게 산출할 것이 요구되고 있다. 본 연구에서는 위성영상과 일기상 자료를 함께 활용함으로써 산림 광합성의 민감한 일변화를 반영하고, 안정된 산림으로서 대표성을 가지는 광릉숲(Gwangneung Forest) 극상림(climax forest)의 플럭스관측 자료를 참조하여 GPP(gross primary production) 재현 모델을 수립하고, 수종 및 임령에 따른 탄소흡수량 조견표를 적용하여, 우리나라의 국지지역에 최적화된 Tier 2.5 수준의 일일 탄소흡수능 격자자료를 산출하였다. 2013년 1월 1일부터 2015년 12월 31일까지 1,095일간의 실험에서, 일일 기준탄소흡수능(reference amount of CO2 absorption, RACA) 산출 모델은 상관계수 0.948의 높은 정확도를 나타냈으므로, 향후 Tier 3 수준의 일일 실제탄소흡수능(actual amount of CO2 absorption, AACA)을 정확히 산출하기 위해서는 장기간의 상세산림조사 자료와의 결합이 필요할 것이다.

기계학습을 활용한 특허수명 예측 및 영향요인 분석 (Prediction of patent lifespan and analysis of influencing factors using machine learning)

  • 김용우;김민구;김영민
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.147-170
    • /
    • 2022
  • 특허의 사적 가치(private value)를 나타내는 특허수명 추정은 오래전부터 연구되었으나 추정과정에서 선형모델에 의존하는 경우가 대부분이었고, 기계학습 방법을 사용하더라도 변수 간 관계에 대한 해석이나 설명이 부족하였다. 본 연구에서는 특허의 생존 기간이 특허의 가치를 대리한다는 기존 연구결과를 바탕으로 특허 등록 이후의 생존 기간(연장횟수) 예측을 통해 특허의 가치를 추정한다. 이를 위해 1996~2017년까지 미국 특허청(USPTO)에 출원하여 등록된 특허 4,033,414개를 수집하였다. 특허수명을 예측하기 위해 기존 연구에서 특허수명에 영향을 미친다고 밝혀진 특허의 특성, 특허의 소유자 특성, 특허의 발명가 특성을 반영할 수 있는 다양한 변수가 사용되었다. 서로 다른 4개의 모델(Ridge Regression, Random Forest, Feed-forward Neural Network, Gradient Boosting Models)을 생성하고, 모델 학습 과정에서는 5-fold Cross Validation으로 초매개변수 조정이 이루어졌다. 이후 생성된 모델의 성능을 평가하고 특허수명을 추정할 수 있는 예측변수의 상대적 중요도를 제시하였다. 또한, 성능이 우수했던 Gradient Boosting Model을 기반으로 Accumulated Local Effects Plot을 제시하여 예측변수와 특허수명 간 관계를 시각적으로 나타내었다. 마지막으로 모델에 의해서 평가된 개별 특허의 평가 근거를 제시하기 위하여 Kernal SHAP(SHapley Additive exPlanations)을 적용하고 특허평가 시스템에의 적용 가능성을 제시한다. 본 연구는 기존에 특허수명을 추정하는 연구에 누적적으로 기여한다는 점 그리고 선형성을 바탕으로 진행된 기존 특허수명 추정 연구들의 한계를 보완하고 복잡한 비선형 관계를 설명가능한 방식으로 제시하였다는 점에서 학문적 의의가 있다. 또한, 개별 특허의 평가 근거를 도출하는 방법을 소개하고 특허평가 시스템에의 적용 가능성을 제시하였다는 점에서 실무적 의의가 있다.

차원축소를 활용한 해외제조업체 대상 사전점검 예측 모형에 관한 연구 (Preliminary Inspection Prediction Model to select the on-Site Inspected Foreign Food Facility using Multiple Correspondence Analysis)

  • 박혜진;최재석;조상구
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.121-142
    • /
    • 2023
  • 수입식품의 수입 건수와 수입 중량이 꾸준히 증가함에 따라 식품안전사고 방지를 위한 수입식품의 안전관리가 더욱 중요해지고 있다. 식품의약품안전처는 통관단계의 수입검사와 더불어 통관 전 단계인 해외제조업소에 대한 현지실사를 시행하고 있지만 시간과 비용이 많이 소요되고 한정된 자원 등의 제약으로 데이터 기반의 수입식품 안전관리 방안이 필요한 실정이다. 본 연구에서는 현지실사 전 부적합이 예상되는 업체를 사전에 선별하는 기계학습 예측 모형을 마련하여 현지실사의 효율성을 높이고자 하였다. 이를 위해 통합식품안전정보망에 수집된 총 303,272건의 해외제조가공업소 기본정보와 2019년도부터 2022년 4월까지의 현지실사 점검정보 데이터 1,689건을 수집하였다. 해외제조가공업소의 데이터 전처리 후 해외 제조업소_코드를 활용하여 현지실사 대상 데이터만 추출하였고, 총 1,689건의 데이터와 103개의 변수로 구성되었다. 103개의 변수를 테일유(Theil-U) 지표를 기준으로 '0'인 변수들을 제거하였고, 다중대응분석(Multiple Correspondence Analysis)을 적용해 축소 후 최종적으로 49개의 특성변수를 도출하였다. 서로 다른 8개의 모델을 생성하고, 모델 학습 과정에서는 5겹 교차검증으로 과적합을 방지하고, 하이퍼파라미터를 조정하여 비교 평가하였다. 현지실사 대상업체 선별의 연구목적은 부적합 업체를 부적합이라고 판정하는 확률인 검측률(recall)을 최대화하는 것이다. 머신러닝의 다양한 알고리즘을 적용한 결과 Recall_macro, AUROC, Average PR, F1-score, 균형정확도(Balanced Accuracy)가 가장 높은 랜덤포레스트(Random Forest)모델이 가장 우수한 모형으로 평가되었다. 마지막으로 모델에 의해서 평가된 개별 인스턴스의 부적합 업체 선정 근거를 제시하기 위해 SHAP(Shapley Additive exPlanations)을 적용하고 현지실사 업체 선정 시스템에의 적용 가능성을 제시하였다. 본 연구결과를 바탕으로 데이터에 기반한 과학적 위험관리 모델을 통해 수입식품 관리체계의 구축으로 인력·예산 등 한정된 자원의 효율적 운영방안 마련에 기여하길 기대한다.

1시간 호우피해 규모 예측을 위한 AI 기반의 1ST-모형 개발 (Development of 1ST-Model for 1 hour-heavy rain damage scale prediction based on AI models)

  • 이준학;이하늘;강나래;황석환;김형수;김수전
    • 한국수자원학회논문집
    • /
    • 제56권5호
    • /
    • pp.311-323
    • /
    • 2023
  • 집중호우, 홍수 및 도시침수와 같은 재해를 저감시키기 위하여 자연 재난으로 인한 재해의 발생 여부를 사전에 파악하는 것은 중요하다. 현재 국내는 기상청에서 운영하고 있는 호우주의보 및 호우경보를 발령하고 있지만, 이는 전국에 일괄적인 기준으로 적용하고 있어 사전에 호우로 인한 피해를 명확하게 인지하지 못하고 있는 실정이다. 따라서, 일괄된 기준을 지역적 특성을 반영한 호우특보 기준으로 재설정하고 1시간 후에 강우로 발생할 수 있는 피해의 규모를 예측하고자 하였다. 연구 대상 지역으로는 호우피해가 가장 빈번하게 발생하였던 경기도 지역으로 선정하였고, 강우량 및 호우 피해액 자료를 활용하여 지역적 특성을 고려한 시간단위 재해 유발 강우를 설정하였다. 강우에 의한 호우피해 발생 여부를 예측하는 모형을 개발하기 위해 재해 유발 강우 및 강우 자료를 활용하였으며, 머신러닝 기법인 의사 결정 나무 모형과 랜덤 포레스트 모형을 활용하여 분석 및 비교하였다. 또한 1시간 후의 강우를 예측하기 위한 모형으로는 장단기 메모리, 심층 신경망 모형을 활용하여 분석 및 비교하였다. 최종적으로 예측 모형을 통해 예측된 강우를 훈련된 분류 모형에 적용하여 1시간 후 호우에 의한 규모별 피해 발생 여부를 예측하였고, 이를 1ST-모형이라고 정의하였다. 본 연구를 통해 개발된 1ST-모형을 활용하여 예방 및 대비 차원의 재난관리를 실시한다면 호우로 인한 피해를 저감하는데 기여 할 수 있을 것으로 판단된다.

위성영상과 머신러닝 활용 도시열섬 지역 옥상녹화 효과 예측과 이산화탄소 흡수량 평가 (Predicting the Effects of Rooftop Greening and Evaluating CO2 Sequestration in Urban Heat Island Areas Using Satellite Imagery and Machine Learning)

  • 김민주;박정우;박주현;박지수;현창욱
    • 대한원격탐사학회지
    • /
    • 제39권5_1호
    • /
    • pp.481-493
    • /
    • 2023
  • 고밀도 도심지의 열섬현상이 도시 기온을 더 높이고 있으며 이로부터 대기오염 악화, 냉방 에너지 소비 증가 및 온실가스 배출 증대와 같은 부정적 영향들이 발생한다. 녹지의 추가 확보가 어려운 도시 환경에서 옥상녹화는 효율적인 온실가스 감축 전략이다. 본 연구에서는 열섬현상 현황 분석에서 더 나아가 고해상도 위성자료 및 공간정보를 활용하여 연구 지역 내 옥상녹화 가용면적 산정 후 옥상녹화가 가져오는 온도 분포 예측을 통한 열섬현상 완화도 및 이산화탄소 흡수량 평가를 수행하였다. 이를 위해 WorldView-2 위성자료를 활용하여 부산시 도시열섬 지역의 기존 토지피복을 분류하고 머신러닝 기법을 적용하여 옥상녹화 전 후 온도 분포 예측 모델을 개발하였다. 옥상녹화 면적 변화에 따른 열섬현상 완화도를 평가하기 위해 랜덤포레스트 기법을 통해 온도가 종속변수인 온도 분포 예측모델을 구축하였고, 이 과정에서 랜덤포레스트 모델의 훈련자료로 사용될 고해상도 지표 온도 도출을 위해 Google Earth Engine을 활용하여 Landsat-8과 Sentinel-2 위성자료를 융합하는 다중회귀모델을 적용하였다. 또한, 옥상녹화용 초본식생별 이산화탄소 흡수량을 기반으로 녹화 면적에 따른 이산화탄소 흡수량을 평가하였다. 연구 결과를 통해 개발된 위성자료 활용 도시 열섬현상 평가 및 랜덤포레스트 모델 기반 온도 분포 예측 기술은 도시열섬 취약 지역에 확대 적용이 가능할 것으로 기대된다.

GK2A/AMI와 GK2B/GOCI-II 자료를 융합 활용한 주간 고해상도 안개 탐지 알고리즘 개발 (Development of High-Resolution Fog Detection Algorithm for Daytime by Fusing GK2A/AMI and GK2B/GOCI-II Data)

  • 유하영;서명석
    • 대한원격탐사학회지
    • /
    • 제39권6_3호
    • /
    • pp.1779-1790
    • /
    • 2023
  • 위성 자료의 성능이 크게 개선됨에 따라 최근에는 위성을 이용하여 광범위한 영역에 대한 실시간 안개 탐지 알고리즘들이 개발되고 있다. 한반도 주변을 관측하는 기상위성 중 관측주기가 10분으로 시간해상도가 가장 우수한 GEO-KOMPSAT-2A/Advanced Meteorological Imager (GK2A/AMI)는 공간해상도가 500 m이다. 반면 GEO-KOMPSAT-2B/Geostationary Ocean Color Imager-II (GK2B/GOCI-II)는 해상도가 250 m지만, 1시간 주기로 관측하고 가시채널만 보유하고 있다. 따라서 본 연구에서는 한반도 주변에서 발생하는 안개를 10분 및 250 m 해상도로 탐지하기 위해 GK2AB 융합 안개 탐지 알고리즘(Fog Detection Algorithm, FDA)인 GK2AB FDA를 개발하였다. GK2AB FDA는 세 파트로 구성된다. 첫 번째로 현업 운용중인 GK2A 안개 탐지 알고리즘(GK2A FDA)으로 10분 및 500 m 해상도로 안개를 탐지한다. 두 번째 단계에서는 두 위성 자료 간 시공간 일치, 태양천정각과 파장역 차이를 보정한 GK2A normalized visible (NVIS)의 10분 변화량을 이용하여 GK2B NVIS를 10분 간격으로 외삽한다. 마지막 단계에서는 외삽된 GK2B NVIS, 태양천정각, GK2A FDA 산출물 등을 입력자료로 기계학습(의사결정나무)을 이용하여 개발된 GK2AB FDA로 지리적위치에 따라 안개를 탐지(250 m, 10분)한다. GK2AB FDA의 훈련에는 6개 사례, 검증에는 4개 사례가 이용되었다. GK2AB FDA의 정량적 검증에는 지상관측 시정, 풍속 그리고 상대습도 자료를 이용하였다. GK2AB FDA는 GK2A FDA에 비해 공간해상도가 4배 증가함에 따라 안개 및 비안개 화소가 보다 자세히 구분되었다. 또한 검증방법에 관계없이 GK2A FDA에 비해 probability of detection (POD)은 높고 Hanssen-Kuiper Skill score (KSS)는 높거나 비슷함을 보여 안개 탐지 수준이 개선된 것으로 보인다. 하지만 일부 사례에서는 GK2AB FDA의 false alarm ratio (FAR)와 Bias가 크게 나타나 안개를 과대탐지하는 문제를 보이고 있다.

3D 프린팅 소재 화학물질의 독성 예측을 위한 Data-centric XAI 기반 분자 구조 Data Imputation과 QSAR 모델 개발 (Data-centric XAI-driven Data Imputation of Molecular Structure and QSAR Model for Toxicity Prediction of 3D Printing Chemicals)

  • 정찬혁;김상윤;허성구;;신민혁;유창규
    • Korean Chemical Engineering Research
    • /
    • 제61권4호
    • /
    • pp.523-541
    • /
    • 2023
  • 3D 프린터의 활용이 높아짐에 따라 발생하는 화학물질에 대한 노출 빈도가 증가하고 있다. 그러나 3D 프린팅 발생 화학물질의 독성 및 유해성에 대한 연구는 미비하며, 분자 구조 데이터의 결측치로 인해 in silico 기법을 사용한 독성예측 연구는 저조한 실정이다. 본 연구에서는 화학물질의 분자구조 정보를 나타내는 주요 분자표현자의 결측치를 보간하여 3D 프린팅의 독성 및 유해성을 예측한 Data-centric QSAR 모델을 개발하였다. 먼저 MissForest 알고리즘을 사용해 3D 프린팅으로 발생되는 유해물질의 분자표현자 결측치를 보완하였으며, 서로 다른 4가지 기계학습 모델(결정트리, 랜덤포레스트, XGBoost, SVM)을 기반으로 Data-centric QSAR 모델을 개발하여 생물 농축 계수(Log BCF)와 옥탄올-공기분배계수(Log Koa), 분배계수(Log P)를 예측하였다. 또한, 설명 가능한 인공지능(XAI) 방법론 중 TreeSHAP (SHapley Additive exPlanations) 기법을 활용하여 Data-centric QSAR 모델의 신뢰성을 입증하였다. MissForest 알고리즘 기반 결측지 보간 기법은, 기존 분자구조 데이터에 비하여 약 2.5배 많은 분자구조 데이터를 확보할 수 있었다. 이를 바탕으로 개발된 Data-centric QSAR 모델의 성능은 Log BCF, Log Koa와 Log P를 각각 73%, 76%, 92% 의 예측 성능으로 예측할 수 있었다. 마지막으로 Tree-SHAP 분석결과 개발된 Data-centric QSAR 모델은 각 독성치와 물리적으로 상관성이 높은 분자표현자를 통하여 선택함을 설명할 수 있었고 독성 정보에 대한 높은 예측 성능을 확보할 수 있었다. 본 연구에서 개발한 방법론은 다른 프린팅 소재나 화학공정, 그리고 반도체/디스플레이 공정에서 발생 가능한 오염물질의 독성 및 인체 위해성 평가에 활용될 수 있을 것으로 사료된다.

다종 위성자료와 인공지능 기법을 이용한 한반도 주변 해역의 고해상도 해수면온도 자료 생산 (Generation of Daily High-resolution Sea Surface Temperature for the Seas around the Korean Peninsula Using Multi-satellite Data and Artificial Intelligence)

  • 정시훈;추민기;임정호;조동진
    • 대한원격탐사학회지
    • /
    • 제38권5_2호
    • /
    • pp.707-723
    • /
    • 2022
  • 위성기반 해수면온도는 광역 모니터링이 가능한 장점이 있지만, 다양한 환경적 그리고 기계적 이유로 인한 시공간적 자료공백이 발생한다. 자료공백으로 인한 활용성의 한계가 있으므로, 공백이 없는 자료 생산이 필수적이다. 따라서 본 연구에서는 한반도 주변 해역에 대해 극궤도와 정지궤도 위성에서 생산되는 해수면온도 자료를 두 단계의 기계학습을 통해 융합하여 4 km의 공간해상도를 가지는 일별 해수면온도 합성장을 만들었다. 첫번째 복원 단계에서는 Data INterpolate Convolutional AutoEncoder (DINCAE) 모델을 이용하여 다종 위성기반 해수면온도 자료를 합성하여 복원하였고, 두번째 보정 단계에서는 복원된 해수면온도 자료를 현장관측자료에 맞춰 Light Gradient Boosting Machine (LGBM) 모델로 학습시켜 최종적인 일별 해수면온도 합성장을 만들었다. 개발된 모델의 검증을 위해 복원 단계에서 무작위 50일의 자료 중 일부분을 제거하여 복원한 뒤 제거된 영역에 대해 검증하였으며, 보정 단계에서는 Leave One Year Out Cross Validation (LOYOCV) 기법을 이용하여 현장자료와의 정확도를 검증하였다. DINCAE 모델의 해수면온도 복원 결과는 상당히 높은 정확도(R2=0.98, bias=0.27℃, RMSE=0.97℃, MAE=0.73℃)를 보였다. 두번째 단계의 LGBM 보정 모델의 정확도 개선은 표층 뜰개 부이와 계류형 부이 현장자료와의 비교에서 모두 상당한 향상(RMSE=∆0.21-0.29℃, rRMSE=∆0.91-1.65%, MAE=∆0.17-0.24℃)을 보여주었다. 특히, 모든 현장 자료를 이용한 보정 모델의 표층 뜰개 부이와의 정확도는 동일한 현장 자료가 동화된 기존 해수면온도 합성장보다 나은 정확도를 보였다. 또한 LGBM 보정 모델은 랜덤포레스트(random forest)를 사용한 선행연구에서 보고된 과적합의 문제를 상당부분 해결하였다. 보정된 해수면온도는 기존의 초고해상도 해수면온도 합성장들과 유사한 수준으로 수온 전선과 와동 등의 중규모 해양현상을 뚜렷하게 모의하였다. 본 연구는 다종위성 자료와 기계학습 기법을 사용해 시공간적 공백 없는 고해상도 해수면온도 합성장 제작 방법을 제시하였다는 점에서 가치가 있다.

스마트폰 다종 데이터를 활용한 딥러닝 기반의 사용자 동행 상태 인식 (A Deep Learning Based Approach to Recognizing Accompanying Status of Smartphone Users Using Multimodal Data)

  • 김길호;최상우;채문정;박희웅;이재홍;박종헌
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.163-177
    • /
    • 2019
  • 스마트폰이 널리 보급되고 현대인들의 생활 속에 깊이 자리 잡으면서, 스마트폰에서 수집된 다종 데이터를 바탕으로 사용자 개인의 행동을 인식하고자 하는 연구가 활발히 진행되고 있다. 그러나 타인과의 상호작용 행동 인식에 대한 연구는 아직까지 상대적으로 미진하였다. 기존 상호작용 행동 인식 연구에서는 오디오, 블루투스, 와이파이 등의 데이터를 사용하였으나, 이들은 사용자 사생활 침해 가능성이 높으며 단시간 내에 충분한 양의 데이터를 수집하기 어렵다는 한계가 있다. 반면 가속도, 자기장, 자이로스코프 등의 물리 센서의 경우 사생활 침해 가능성이 낮으며 단시간 내에 충분한 양의 데이터를 수집할 수 있다. 본 연구에서는 이러한 점에 주목하여, 스마트폰 상의 다종 물리 센서 데이터만을 활용, 딥러닝 모델에 기반을 둔 사용자의 동행 상태 인식 방법론을 제안한다. 사용자의 동행 여부 및 대화 여부를 분류하는 동행 상태 분류 모델은 컨볼루션 신경망과 장단기 기억 순환 신경망이 혼합된 구조를 지닌다. 먼저 스마트폰의 다종 물리 센서에서 수집한 데이터에 존재하는 타임 스태프의 차이를 상쇄하고, 정규화를 수행하여 시간에 따른 시퀀스 데이터 형태로 변환함으로써 동행 상태분류 모델의 입력 데이터를 생성한다. 이는 컨볼루션 신경망에 입력되며, 데이터의 시간적 국부 의존성이 반영된 요인 지도를 출력한다. 장단기 기억 순환 신경망은 요인 지도를 입력받아 시간에 따른 순차적 연관 관계를 학습하며, 동행 상태 분류를 위한 요인을 추출하고 소프트맥스 분류기에서 이에 기반한 최종적인 분류를 수행한다. 자체 제작한 스마트폰 애플리케이션을 배포하여 실험 데이터를 수집하였으며, 이를 활용하여 제안한 방법론을 평가하였다. 최적의 파라미터를 설정하여 동행 상태 분류 모델을 학습하고 평가한 결과, 동행 여부와 대화 여부를 각각 98.74%, 98.83%의 높은 정확도로 분류하였다.