• 스마트미디어저널
• /
• 제11권8호
• /
• pp.55-64
• /
• 2022

최근 교육시장은 4차산업혁명과 정보통신기술의 발전으로 인해 다양한 디지털 기술이 교육과 접목된 에듀테크가 확산되고 있으며, 그중에도 특히 가상공간에서 실제와 같이 몰입감 있는 학습효과가 가능한 실감체험형 학습콘텐츠가 교육분야에서 각광을 받고 있다. 하지만 한의학 분야에서는 한의학 교육의 특징인 도제식 교육, 정량적 교육의 어려움, 객관적 평가시스템의 부재로 인해 ICT의 도입이 늦어지고 있다. 이에 본 연구에서는, 한의학에서 특히 실습이 중요한 경혈학 교육의 디지털 기술 적용 방안을 제안한다. AR, MR, IoT 및 터치디스플레이 테이블을 이용한 다양한 경혈학 교육방법은 한의학 교육의 패러다임에 변화의 계기를 마련하고, 나아가 한의학의 세계화에도 기여할 수 있을 것이다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 스마트미디어저널
• /
• 제11권9호
• /
• pp.64-74
• /
• 2022

해양자원을 활용하기 위한 수중 로봇과 관련된 연구가 다수 진행되고 있다. 그러나 일반 드론과 다르게 수중 로봇은 매개체가 공기가 아닌 물이기 때문에 위치 파악이 쉽지 않은 문제점이 존재한다. 수중 위치를 확인하기 위한 기존 연구인 수중 로봇의 모니터링 및 포지셔닝 프로그램은 대규모 공간에서 활용하기 위한 목적을 가지고 있기 때문에 소규모의 공간에서 위치 파악 및 모니터링에 어려움을 가지고 있다. 이에 본 논문에서는 소규모 공간에서 지속적인 모니터링과 명령 전달을 위한 3차원 포지셔닝 프로그램을 제안한다. 제안된 프로그램은 수중 로봇의 위치에 깊이를 확인할 수 있도록 다차원 포지셔닝 모니터링 기능과 3차원 화면을 통해 이동 경로 제어할 수 있는 기능으로 구성된다. 성능평가를 통해 수중 로봇이 수조 모습과 동일하게 출력되어 3차원 화면으로 다양한 각도에서 모니터링 확인이 가능하였으며, 설정 경로와 실제 위치의 차이가 평균 6.44m 이내로써 상정 범위 내의 오차를 확인하였다.

• 스마트미디어저널
• /
• 제11권11호
• /
• pp.25-31
• /
• 2022

자율주행 자동차에서 딥러닝 기반 영상처리는 매우 중요하다. 자동차를 비롯한 SoC(System on Chip) 환경에서 실시간으로 도로 영상을 처리하기 위해서는 영상처리 모델을 딥러닝 연산에 특화된 NPU(Neural Processing Unit) 상에서 실행해야 한다. 본 연구에서는 GPU 서버 환경에서 개발된 7종의 오픈소스 딥러닝 영상처리 모델들을 TIDL (Texas Instrument Deep Learning) NPU 환경에 이식하였다. 성능 평가와 시각화를 통해 본 연구에서 이식한 모델들이 SoC 가상환경에서 정상 작동함을 확인하였다. 본 논문은 NPU 환경의 제약으로 인해 이식 과정에 발생한 문제들과 그 해결 방법을 소개함으로써 딥러닝 모델을 SoC 환경에 이식하려는 개발자 및 연구자가 참고할 만한 사례를 제시한다.

• 스마트미디어저널
• /
• 제11권11호
• /
• pp.92-98
• /
• 2022

섬유산업에서 생산된 직물의 결함을 식별하는 것은 품질관리를 위한 핵심적인 절차이다. 본 연구는 직물의 이미지를 분석하여 결함을 검출하는 모델을 만들고자 하였다. 연구에 사용된 모델은 딥러닝 기반의 VGGNet 과 ResNet이었고, 두 모델의 결함 검출 성능을 비교하여 평가하였다. 정확도는 VGGNet 모델이 0.859, ResNet 모델이 0.893으로 ResNet 모델의 정확도가 더 높은 결과를 보여주었다. 추가적으로 딥러닝 모델이 직물의 이미지 내에서 결함으로 인식한 부분의 위치를 알아보기 위하여 XAI(eXplainable Artificial Intelligence)기법인 Grad-CAM 알고리즘을 사용하여 모델의 관심영역을 도출하였다. 그 결과 딥러닝 모델이 직물의 결함으로 인식한 부분이 육안으로도 실제 결함이 있는 것으로 확인되었다. 본 연구의 결과는 직물의 결함 검출에 있어서 딥러닝 기반의 인공지능을 활용함으로써 섬유의 생산과정에서 발생하는 시간과 비용을 줄일 수 있을 것으로 기대된다.

• 스마트미디어저널
• /
• 제12권4호
• /
• pp.41-46
• /
• 2023

UWB는 실내 측위를 위해 사용되는 기술의 일종으로 RSSI 기반의 기법들보다 정확도가 높은 특징이 있다. ROS(Robot Operating System) 기반으로 동작하는 이동체 장비는 라이다와 카메라를 사용하여 장비 주변의 환경을 모니터링할 수 있다. 이러한 모니터링 과정에서 처음 시작하는 위치를 파악하는 루프 클로징 기법 적용 시 기존의 방법은 영상 상에 특징점이 있어야 클로징 작업이 일어나기 때문에 정확도가 낮은 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 이동체 장비에 UWB 태그를 탑재하여 위치 정보를 제공함으로써 루프 클로징 작업의 정확도를 높이는 시스템을 설계하였다. 또한 실험을 통해서 UWB 기반 실내 측위 시스템의 정확도를 평가하였고 이를 루프 클로징 기법에 활용할 수 있는지 검증하였다.

• 스마트미디어저널
• /
• 제11권2호
• /
• pp.18-24
• /
• 2022

많은 소셜 서비스 상에서 악성 댓글로 인한 문제가 발생되고 있으며, 특히 매체로서의 성격이 강한 유튜브는 모바일기기를 이용한 쉬운 접근성으로 인해 악성 댓글로 인한 폐해가 더욱 커지고 있는 실정이다. 본 논문에서는 LSTM 기반의 자연어 처리를 통해 유튜브 콘텐츠에 대한 악성 댓글을 판별하고 악성 댓글의 비율, 악플러들의 닉네임, 그리고 빈도를 시각적으로 표현해 주기 위한 유튜브 악성 댓글 탐지 시스템을 설계하고 구현하였으며, 성능을 평가하였다. 약 5만 개의 댓글 데이터셋을 통해 악성 댓글 여부를 판별하였을 때, 약 92%의 정확도로 악성 댓글을 검출해 낼 수 있었으며, 이를 활용하여 악성 댓글의 통계가 자동으로 생성되도록 함으로써 많은 유튜버들이 겪는 악성 댓글로 인한 사회적 문제를 해결할 수 있을 것으로 기대한다.

• 스마트미디어저널
• /
• 제11권1호
• /
• pp.46-57
• /
• 2022

본 논문에서는 딥러닝을 기반으로 입력영상의 옵티컬 플로우(optical flow)와 그래디언트(gradient)를 이용하여 종단간 행동인식이 가능한 다중영역 기반 방사성 GCN(MRGCN: Multi-region based Radial Graph Convolutional Network) 알고리즘에 대해 기술한다. 이 방법은 데이터 취득이 어렵고 계산이 복잡한 스켈레톤 정보를 사용하지 않기 때문에 카메라만을 주로 사용하는 일반 CCTV 환경에도 활용이 가능하다. MRGCN의 특징은 입력영상의 옵티컬플로우와 그래디언트를 방향성 히스토그램으로 표현한 후 계산량 축소를 위해 6개의 특징 벡터로 변환하여 사용한다는 것과 시공간 영역에서 인체의 움직임과 형상변화를 계층적으로 전파시키기 위해 새롭게 고안한 방사형 구조의 네트워크 모델을 사용한다는 것이다. 또 데이터 입력 영역을 서로 겹치도록 배치하여 각 노드 간에 공간적으로 단절이 없는 정보를 입력으로 사용한 것도 중요한 특징이다. 30가지의 행동에 대해 성능평가 실험을 수행한 결과 스켈레톤 데이터를 입력으로 사용한 기존의 GCN기반 행동인식과 동등한 84.78%의 Top-1 정확도를 얻을 수 있었다. 이 결과로부터 취득이 어려운 스켈레톤 정보를 사용하지 않는 MRGCN이 복잡한 행동인식이 필요한 실제 상황에서 더욱 실용적인 방법임을 알 수 있었다.

• 스마트미디어저널
• /
• 제12권1호
• /
• pp.62-76
• /
• 2023

사용자가 경험할 수 있는 차원이나 경험 요소들의 특성을 이해하는 것은 박물관 모바일 애플리케이션 사용자 경험을 디자인할 때 매우 중요한 일이다. 본 논문은 박물관 모바일 애플리케이션의 사용과 관련된 경험에 대한 일련의 실험연구와 분석을 통하여 4가지 차원과 19가지 요소로 구성된 박물관 모바일 애플리케이션의 사용자 경험 프레임워크를 도출하고, 타당성도 검증하였다. 연구에 의하면 이들 4가지 사용자 경험 차원은 모두 애플리케이션 사용 만족도에 긍정적인 영향을 미쳤으나 각 차원의 미치는 영향 정도는 각기 달랐다. 본 논문의 실험에서는 4가지 차원 중 사용감성과 사용편의성이 가장 큰 영향을 미치며 사용유용성과 기능다양성은 상대적으로 적은 영향을 미치는 것으로 분석되었다. 또한 실험 결과를 통해 애플리케이션의 사용 경험이 사용자의 향후 추천이나 지속 사용의도, 또는 박물관의 실제 관람에 영향을 줄 수 있음을 확인하였다.