• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 스마트미디어저널
• /
• 제12권4호
• /
• pp.27-40
• /
• 2023

많은 추천 시스템 연구에서는 다양한 이종 데이터를 상호 호환적으로 통합하여 추천 시스템의 고질적인 데이터 부족 문제를 해결하고자 한다. 하지만, 지식 그래프를 활용하여 이종 데이터의 통합을 달성한 추천 시스템 연구는 거의 없으며, 대부분 연구에서는 기구축된 지식 그래프 상의 개체 간 연결이 명시적 관계로만 구성되어있다는 한계가 존재한다. 본 논문에서는 이종 데이터의 통합을 위해 다중 지식 베이스로부터 추출한 데이터 간 관계 모델링을 수행하고, 이를 통해 지식 그래프를 확장하는 방법을 제안한다. 또한, 딥러닝 기반의 잠재적 관계 모델링을 통해 지식 그래프 상 개체 간 관계 정보의 신뢰성을 높이고자 한다. 본 논문에서 제안하는 확장된 지식 그래프를 사용하면 개체의 특성 벡터 품질이 개선되고, 최종적으로 예측된 사용자 선호도의 정확성을 높일 수 있다. 또한, 실험을 통해 확장된 지식 그래프 기반 추천 정확도가 기존 지식 그래프 기반 추천 정확도에 비해 향상되었음을 확인하였다.

• 스마트미디어저널
• /
• 제11권1호
• /
• pp.46-57
• /
• 2022

본 논문에서는 딥러닝을 기반으로 입력영상의 옵티컬 플로우(optical flow)와 그래디언트(gradient)를 이용하여 종단간 행동인식이 가능한 다중영역 기반 방사성 GCN(MRGCN: Multi-region based Radial Graph Convolutional Network) 알고리즘에 대해 기술한다. 이 방법은 데이터 취득이 어렵고 계산이 복잡한 스켈레톤 정보를 사용하지 않기 때문에 카메라만을 주로 사용하는 일반 CCTV 환경에도 활용이 가능하다. MRGCN의 특징은 입력영상의 옵티컬플로우와 그래디언트를 방향성 히스토그램으로 표현한 후 계산량 축소를 위해 6개의 특징 벡터로 변환하여 사용한다는 것과 시공간 영역에서 인체의 움직임과 형상변화를 계층적으로 전파시키기 위해 새롭게 고안한 방사형 구조의 네트워크 모델을 사용한다는 것이다. 또 데이터 입력 영역을 서로 겹치도록 배치하여 각 노드 간에 공간적으로 단절이 없는 정보를 입력으로 사용한 것도 중요한 특징이다. 30가지의 행동에 대해 성능평가 실험을 수행한 결과 스켈레톤 데이터를 입력으로 사용한 기존의 GCN기반 행동인식과 동등한 84.78%의 Top-1 정확도를 얻을 수 있었다. 이 결과로부터 취득이 어려운 스켈레톤 정보를 사용하지 않는 MRGCN이 복잡한 행동인식이 필요한 실제 상황에서 더욱 실용적인 방법임을 알 수 있었다.

• 스마트미디어저널
• /
• 제11권1호
• /
• pp.17-30
• /
• 2022

기존 컴퓨터 비전의 연구 동향과 마찬가지로, 위성영상을 이용한 연구도 GPU 기반의 컴퓨터 연산능력과 이미지 처리와 관련된 딥러닝 방법론의 발전으로 많이 이루어지고 있다. 그로 인해 다양한 분야에 위성영상이 활용되고 있고, 위성 영상을 활용에 관한 연구도 증가하고 있다. 본 연구에서는 위성영상의 연구 활용 분야와 위성영상을 활용한 연구에 이용할 수 있는 데이터셋에 대해 소개하도록 한다. 먼저, 위성영상을 활용한 연구를 수집하여 연구 방법에 따라 분류하였다. 크게 분류 기반 연구와 회귀 기반 연구로 분류하였고, 그 이외의 방법으로 활용한 논문들을 정리하였다. 다음으로 위성영상을 활용한 연구들에서 이용한 데이터셋을 정리하였다. 본 연구에서는 데이터셋의 정보와 연구에서의 활용 방법에 대해 제안한다. 이와 함께 최근 AI hub에서 개방한 국내 위성영상 데이터셋의 정리와 활용 방안에 대해 소개한다. 마지막으로, 위성 이미지 관련 연구의 한계점과 앞으로의 동향을 간략하게 제시하였다.

• 스마트미디어저널
• /
• 제12권5호
• /
• pp.28-35
• /
• 2023

본 연구에서는 음성감정인식의 적용 가능성과 실용성 향상을 위해 적은 수의 파라미터를 가지는 새로운 경량화 모델 RoutingConvNet(Routing Convolutional Neural Network)을 제안한다. 제안모델은 학습 가능한 매개변수를 줄이기 위해 양방향 MFCC(Mel-Frequency Cepstral Coefficient)를 채널 단위로 연결해 장기간의 감정 의존성을 학습하고 상황 특징을 추출한다. 저수준 특징 추출을 위해 경량심층 CNN을 구성하고, 음성신호에서의 채널 및 공간 신호에 대한 정보 확보를 위해 셀프어텐션(Self-attention)을 사용한다. 또한, 정확도 향상을 위해 동적 라우팅을 적용해 특징의 변형에 강인한 모델을 구성하였다. 제안모델은 음성감정 데이터셋(EMO-DB, RAVDESS, IEMOCAP)의 전반적인 실험에서 매개변수 감소와 정확도 향상을 보여주며 약 156,000개의 매개변수로 각각 87.86%, 83.44%, 66.06%의 정확도를 달성하였다. 본 연구에서는 경량화 대비 성능 평가를 위한 매개변수의 수, 정확도간 trade-off를 계산하는 지표를 제안하였다.

• 스마트미디어저널
• /
• 제12권5호
• /
• pp.17-27
• /
• 2023

최근 사용자에게 의미있는 정보만을 자동으로 간추리는 텍스트 자동 요약이 꾸준히 연구되고 있으며, 특히 인공신경망 모델인 트랜스포머를 활용한 텍스트 요약 연구가 주로 수행되고 있다. 다양한 연구 중 특히 문장 단위 마스킹을 통해 모델을 학습시키는 GSG 방식이 가장 주목을 받고 있지만, 전통적인 GSG는 문장의 의미가 아닌 토큰의 중복 정도에 기반을 두어 마스킹 대상 문장을 선정한다는 한계를 갖는다. 따라서 본 연구에서는 텍스트 요약의 품질을 향상시키기 위해, 문장의 의미를 고려하여 GSG의 마스킹 대상 문장을 선정하는 SbGSG(Semantic-based GSG) 방법론을 제안한다. 뉴스기사 370,000건과 요약문 및 레포트 21,600건을 사용하여 실험을 수행한 결과, ROUGE와 BERT Score 측면에서 제안 방법론인 SbGSG가 전통적인 GSG에 비해 우수한 성능을 보임을 확인하였다.

• 문화기술의 융합
• /
• 제9권5호
• /
• pp.111-117
• /
• 2023

본 연구는 외국인 유학생을 대상으로 한 교양 영어 수업의 실질적인 수업 방안을 제시하는 것이다. 외국인 학습자가 대학 학업 수준의 한국어 능력을 갖추지 못했을 경우 한국어 교수자가 진행하는 교양 영어 수업 내용을 이해하는데 어려움을 겪을 수 있다. 이를 위해 본 연구에서는 각종 미디어를 활용한 주제 중심의 참여 수업 활동을 제시하였다. 이에 대한 학습자들의 태도와 인식을 분석하기 위해 설문 조사를 실시하였다. 설문 조사 결과 주제 기반 수업에 대한 학습자들의 만족도는 높게 나타났으며(75%) 그 이유로는 배려하는 교수자의 태도, 편안한 수업 분위기, 수업에 대한 재미로 나타났다. 다양한 참여 수업 활동에 대한 학습자들의 만족도 또한 매우 높게 나타났으며 (81.9%) 그 이유로는 학습에 유익, 흥미와 동기 유발, 참여 수업의 효율성인 것으로 나타났다. 국제화 시대 외국인 유학생의 증가 추세에 발맞추어 그들에게 맞는 현실적인 수업 방안과 다양한 수업 활동의 개발이 필요하다.

• 스마트미디어저널
• /
• 제12권9호
• /
• pp.89-94
• /
• 2023

추천 시스템은 사용자가 아이템에 남긴 익스플리싯 또는 임플리싯 피드백을 바탕으로 각 사용자가 선호할 법한 아이템들을 추천하는 기술이다. 최근, 추천 시스템에 사용되는 딥 러닝 기반 모델의 사이즈가 커짐에 따라, 높은 추천 정확도를 유지하며 추론 시간은 줄이기 위한 목적의 연구가 활발히 진행되고 있다. 대표적으로 지식증류기법을 이용한 추천 시스템에 관한 연구가 있으며, 지식증류기법이란 큰 사이즈의 모델(즉, 교사)로부터 추출된 지식을 통해 작은 사이즈의 모델(즉, 학생)을 학습시킨 뒤, 학습이 끝난 작은 사이즈의 모델을 추천 모델로서 이용하는 방법이다. 추천 시스템을 위한 지식증류기법들에 관한 기존의 연구들은 주로 임플리싯 피드백 환경만을 대상으로 수행되어 왔었으며, 본 논문에서 우리는 이들을 익스플리싯 피드백 환경에 적용할 경우의 성능 및 정확도를 관찰하고자 한다. 실험을 위해 우리는 총 5개의 최신 지식증류기법들과 3개의 실세계 데이터셋을 사용하였다.

• 스마트미디어저널
• /
• 제12권9호
• /
• pp.28-37
• /
• 2023

쌀 수확량 감소에 크게 영향을 주는 것은 집중호우나 태풍에 의한 도복 피해이다. 도복 피해 면적 산정 방법은 직접 피해 지역을 방문하는 현장 조사를 기반으로 육안 검사 및 판단하여 객관적인 결과 획득이 어렵고 많은 시간과 비용이 요구된다. 본 논문에서는 무인 항공기로 촬영된 RGB 영상을 Vision Transformer 기반 Segformer을 활용한 벼 도복 영역 추정 및 진단을 제안한다. 제안된 방법은 도복, 정상, 그리고 배경 영역을 추정하고 종자관리요강 내 벼 포장 검사를 통해 도복률을 진단한다. 진단된 결과를 통해 벼 도복 피해 분포를 관찰할 수 있게 하며, 정부 보급종 포장 검사에 활용할 수 있다. 본 연구의 벼 도복 영역 추정 성능은 평균 정확도 98.33%와 mIoU 96.79%의 성능을 나타내었다.