• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.212-215
• /
• 2021

본 논문에서는 딥러닝의 CNN(Convolution Neural Network) 학습을 통하여 악성코드를 실행시키지 않고서 악성코드 변종을 패밀리 그룹으로 분류하는 방법을 연구한다. 먼저 데이터 전처리를 통해 3가지의 서로 다른 방법으로 악성코드 이미지와 메타데이터를 생성하고 이를 CNN으로 학습시킨다. 첫째, 악성코드의 byte 파일을 8비트 gray-scale 이미지로 시각화하는 방법이다. 둘째, 악성코드 asm 파일의 opcode sequence 정보를 추출하고 이를 이미지로 변환하는 방법이다. 셋째, 악성코드 이미지와 메타데이터를 결합하여 분류에 적용하는 방법이다. 이미지 특징 추출을 위해서는 본고에서 제안한 CNN을 통한 학습 방식과 더불어 3개의 Pre-trained된 CNN 모델을 (InceptionV3, Densnet, Resnet-50) 사용하여 전이학습을 진행한다. 전이학습 시에는 마지막 분류 레이어층에서 본 논문에서 선택한 데이터셋에 대해서만 학습하도록 파인튜닝하였다. 결과적으로 가공된 악성코드 데이터를 적용하여 9개의 악성코드 패밀리로 분류하고 예측 정확도를 측정해 비교 분석한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.1004-1007
• /
• 2020

본 논문에서는 청각 장애인이 가정에서 듣지 못해 발생하는 낭비와 위험을 미리 예방하기 위하여 가정에서 현재 발생하고 있는 소리를 알려주는 시스템을 구현하였다. 무지향성 마이크로 일상 소리 감지 후 음향 데이터에서 Mel-Spectogram 특징 벡터를 추출하여 Convolutional Neural Network(CNN) 모델의 Resnet 알고리즘을 진행한다. 서버에서 소리에 대한 분석을 진행한 후 그 결과를 안드로이드에서 실시간으로 5 초마다 확인하여 사용자에게 알림 서비스를 제공한다. 이를 통해 낭비를 줄이고 위험에 대처할 수 있게 한다. 청각 장애인의 소리에 대한 접근성을 다양한 측면으로 고려해야 한다는 사회적 인식을 확산시키고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.351-353
• /
• 2020

급변하는 현대사회에서 각종 범죄가 고도로 지능화, 전문화 되고 있을 뿐 만 아니라 매년 범죄율이 증가하고 있다. 범죄수사에서 범죄자를 검거하기 위해서는 '골든 타임'인 초기 단계가 가장 중요하다. 따라서 CCTV를 일일이 돌려보던 기존의 비효율적인 수사방식이 아닌, 얼굴인식기술을 활용해 골든타임 안에 범죄자를 검거 할 수 있도록 도와주는 얼굴인식기반 범죄수사 시스템을 제안한다. 얼굴인식 프로그램을 사용하여 CCTV 영상 속 범죄자가 있다면, 곧바로 얼굴을 인식해 표시 해줌으로써 단시간 안에 범죄자의 이동경로를 파악한다. 이후 이동경로 및 수사정보를 웹페이지를 통해 다른 경찰관들과 공유해 범죄자를 빠르게 검거하는 시스템을 제작하였다. 제작과정에서 얼굴인식관련 기술은 Deep Metric CNN(triplet), Resnet, Knn classification을 사용해 python으로 구현하였다. 통신을 위한 웹서버는 Bitnami를 통해 구축했으며, NAT, DHCP, Port Fowarding 기술을 사용했다. 마지막으로 웹페이지는 HTML, PHP, CSS 등을 통해 제작해 수사정보를 주고 받을 수 있게 제작하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.244-247
• /
• 2020

Data augmentation has been helpful in improving the performance in deep learning, when we have a limited data and random erasing is one of the augmentations that have shown impressive performance in deep learning in multiple domains. But the main issue is that sometime it loses good features when randomly selected region is erased by some random values, that does not improve performance as it should. We target that problem in way that good features should not be lost and also want random erasing at the same time. For that purpose, we introduce new augmentation technique named Intra-Class Random Erasing (ICRE) that focuses on data to learn robust features of the same class samples by randomly exchanging randomly selected region. We perform multiple experiments by using different models including resnet18, VGG16 over variety of the datasets including ESC10, UrbanSound8K. Our approach has shown effectiveness over others methods including random erasing.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.33-36
• /
• 2020

Virtual try on is getting interested from researchers these days because its application in online shopping. But single pose virtual try on is not enough, customer may want to see themselves in different pose. Multiple pose virtual try on is getting input as customer image, an in-shop cloth and a target pose, it will try to generate realistic customer wearing the in-shop cloth with the target pose. We first generate the target segmentation layout using conditional generative network (cGAN), and then the in-shop cloth are warped to fit the customer body in target pose. Finally, all the result will be combine using a Resnet-like network. We experiment and show that our method outperforms stage of the art.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.232-234
• /
• 2021

본 논문에서는 딥러닝 얼굴 인식을 이용하여 실시간 360 공간 Classroom 과 실시간을 기반으로 한 가상 360 공간 Classroom 을 제안한다. MTCNN 을 이용한 얼굴 검출 및 Inception Resnet V1 모델을 이용한 딥러닝 기법을 통해 얼굴인식을 진행하고 HSV 색공간 기반의 화자 판별, 아바타 Rendering, 출석 체크 등을 진행한다. 이후 시각화를 위해 제작한 Web UI/UX 를 통해 사용자에게 현실과 가상 공간을 넘나드는 Twin Classroom 을 제공한다. 따라서 사용자는 새로운 화상 교육 플랫폼에서 보다 개선되고 생동감 있는 Classroom 에서 교육을 받을 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.873-876
• /
• 2020

매실의 병충해 이미지를 Tensorflow hub에서 제공하는 Resnet50모델에 Transfer Learning기법을 이용하여 학습시키고, 학습된 모델을 Flask를 이용하여 연동시킨다. 이렇게 완성된 웹앱은 사용자가 매실의 이미지를 업로드 하면, 어떤 병충해를 가지고 있는 지 알려주며, 사용자는 얻은 결과를 통해 육안으로 구분하기 어려운 병충해의 정보를 얻어 매실이 손상이 가는 것을 예방할 수 있다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
• /
• pp.33-35
• /
• 2020

이전 연구에 존재했던 영상에서 이미지를 추출하여 학습 데이터로 사용 할 때 시계열성을 고려하지 않은 상태에서의 검증은 정확하지 않을 수 있음을 설명한다. 정확한 형체를 가진 물체의 경우 매 프레임 마다 일정한 모양을 유지할 가능성이 크지만, 기체나 액체처럼 유동성이 큰 형태를 분사 혹은 방류 할 때 순간적인 간섭 혹은 분산에 의해 실제 값이 분사 량 혹은 방류량과 다를 수 있다. 본 연구에서는 이전 연구 중 Yolov3와 youtube 영상을 이용하여 연기 형태를 추출하고, 이를 Resnet에 학습시킨 연구를 이용하여 이와 비슷한 사례의 연구에서 나타날 수 있는 검증 오류들을 설명한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1232-1235
• /
• 2022

최근 자동차, 철도차량 등 사용자가 있는 기계 시스템에서의 고장 발생 시 사용자의 안전과 관련된 사고로 이어질 수 있어 부품에 대한 모니터링 및 고장 여부 판단은 매우 중요하다. 이러한 부품 중에서 베어링은 회전체와 회전하지 않는 물체 사이에서 회전이 원활하게 이루어질 수 있도록 하는 부품인데, 베어링에 결함이 발생하게 될 경우, 기계 시스템이 정지하거나, 마찰 열에 의해 화재 등의 치명적인 위험이 발생한다. 본 논문에서는 Resnet과 오토인코더를 활용하여 진동 신호 기반의 베어링의 고장을 감지하고 분류할 수 있는 모델을 제안한다. 제안 방법은 raw data를 이미지로 변환하여 입력으로 사용하는데, 이러한 접근을 통해 수집된 데이터의 손실을 최소화하고 데이터가 가지는 정보를 최대한 분석에 활용할 수 있다. 제안 모델의 검증을 위하여 공개된 데이터셋으로 학습/검증 하였고, 제안 방법이 기존 방법과 비교하여 더 높은 F1 Score와 정확도를 보임을 확인하였다.

• 지능정보연구
• /
• 제27권3호
• /
• pp.139-156
• /
• 2021

이미지 분류에서 딥러닝 모형을 사용하는 가장 큰 이유는 이미지의 전체적인 정보에서 각 지역 특징을 추출하여 서로의 관계를 고려할 수 있기 때문이다. 하지만 이미지의 지역 특징이 없는 감정 이미지 데이터는 CNN 모델이 적합하지 않을 수 있다. 이러한 감정 이미지 분류의 어려움을 해결하기 위하여 매년 많은 연구자들이 감정 이미지에 적합한 CNN기반 아키텍처를 제시하고 있다. 색깔과 사람 감정간의 관계에 대한 연구들도 수행되었으며, 색깔에 따라 다른 감정이 유도된다는 결과들이 도출되었다. 딥러닝을 활용한 연구에서도 색깔정보를 활용하여 이미지 감성분류에 적용하는 연구들이 있어왔으며, 이미지만을 가지고 분류 모형을 학습한 경우보다 이미지의 색깔 정보를 추가로 활용한 경우가 이미지 감성 분류 정확도를 더 높일 수 있었다. 본 연구는 사람이 이미지의 감정을 분류하는 기준 중 많은 부분을 차지하는 색감을 이용하여 이미지 감성 분류 정확도를 향상시키는 방안을 제안한다. 이미지의 RGB 값에 K 평균 군집화 방안을 적용하여 이미지를 대표하는 색을 추출하여, 각 감성 클래스 별 해당 색깔이 나올 확률을 가중치 식으로 변형 후 CNN 모델의 최종 Layer에 적용하는 이-단계 학습방안을 구현하였다. 이미지 데이터는 6가지 감정으로 분류되는 Emotion6와 8가지 감정으로 분류되는 Artphoto를 사용하였다. 학습에 사용한 CNN 모델은 Densenet169, Mnasnet, Resnet101, Resnet152, Vgg19를 사용하였으며, 성능 평가는 5겹 교차검증으로 CNN 모델에 이-단계 학습 방안을 적용하여 전후 성과를 비교하였다. CNN 아키텍처만을 활용한 경우보다 색 속성에서 추출한 정보를 함께 사용하였을 때 더 좋은 분류 정확도를 보였다.