• 융합신호처리학회논문지
• /
• 제24권1호
• /
• pp.34-41
• /
• 2023

최근 인간의 활동 범위가 증가함에 따라 외래종의 유입이 잦아지고 있고 환경에 적응하지 못해 유기된 외래종 중 2020년부터 유해 지정 동물로 지정된 라쿤이 문제가 되고 있다. 라쿤은 국내 토종 너구리와 크기나 생김새가 유사하여 일반적으로 포획하는데 있어서 구분이 필요하다. 이를 해결하기 위해서 이미지 분류에 특화된 CNN 딥러닝 모델인 VGG19, ResNet152V2, InceptionV3, InceptionResNet, NASNet을 사용한다. 학습에 사용할 파라미터는 많은 양의 데이터인 ImageNet으로 미리 학습된 파라미터를 전이 학습하여 이용한다. 너구리와 라쿤 데이터셋에서 동물의 외형적인 특징으로 분류하기 위해서 이미지를 회색조로 변환한 후 밝기를 정규화하였으며, 조정된 데이터셋에 충분한 학습을 위한 데이터를 만들기 위해 좌우 반전, 회전, 확대/축소, 이동을 이용하여 증강 기법을 적용하였다. 증강하지 않은 데이터셋은 FCL을 1층으로, 증강된 데이터셋은 4층으로 구성하여 진행하였다. 여러 가지 증강된 데이터셋의 정확도를 비교한 결과, 증강을 많이 할수록 성능이 증가함을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.1215-1218
• /
• 2021

한국을 방문하는 외국인들은 매년 증가하고 있고 방한 목적 중 식도락관광이 3위에 오를 만큼 세계에서 한국 음식은 위상이 높아지고 있다. 하지만, 한국에서의 알레르기 성분 표시는 법적 의무가 아니기 때문에 대부분의 한식당에서는 이를 표시하지 않고 있고 알레르기가 있는 외국인 관광객들은 한국 음식 섭취에 있어서 상당한 위험과 불편함을 부담하고 있다. 이에 본 논문에서는 머신러닝을 활용하여 사진 촬영만으로 쉽고 정확하게 알레르기 성분을 제공하고자 사물 이미지 데이터 전처리를 위한 HSV(Hue, Saturation, Value) 데이터 전처리 기법을 제안한다. 제안하는 기법은 이미지의 HSV의 평균 및 분산, 표준편차를 통해 불필요한 데이터를 제거한다. 성능평가에서는 비빔밥, 불고기, 제육볶음 등 사진 약 500장의 데이터 셋을 구성하여 HSV의 평균 및 분산을 통해 이미지를 제거하는 방식으로 구축한 데이터 셋을 TensorFlow를 통해 정확도와 학습시간을 측정한다. 측정결과, 제안하는 기법으로 구축한 데이터 셋은 최소 15%에서 최대 25% 높은 정확도와 최소 37.96%에서 최대 42.85% 높은 정도 낮은 학습시간을 보여주었다. 향후 HSV를 활용한 데이터 전처리 기법은 더 많은 데이터를 통해 더욱 구체적인 성능 분석이 필요하다. 또한, 실질적인 개발 및 구현을 통해 제안하는 데이터 전처리 기법의 더욱 현실적인 검증이 필요하다.

• 한국정보전자통신기술학회논문지
• /
• 제12권6호
• /
• pp.629-635
• /
• 2019

여러 분야에서 사용되는 이미지 분류를 위한 딥러닝(Deep Learning) 모델은 오류 역전파 방법을 통해 미분을 구현하고 미분 값을 통해 예측 상의 오류를 학습한다. 엄청난 계산량을 향상된 계산 능력으로 해결하여, 복잡하게 설계된 모델에서도 파라미터의 전역 (혹은 국소) 최적점을 찾을 수 있다는 것이 장점이다. 하지만 정교하게 계산된 데이터를 만들어내면 이 딥러닝 모델을 '속여' 모델의 예측 정확도와 같은 성능을 저하시킬 수 있다. 이렇게 생성된 적대적 사례는 딥러닝을 저해할 수 있을 뿐 아니라, 사람의 눈으로는 쉽게 발견할 수 없도록 정교하게 계산되어 있다. 본 연구에서는 임의의 잡음 신호를 추가하는 방법을 통해 적대적으로 생성된 이미지 데이터셋을 탐지하는 방안을 제안한다. 임의의 잡음 신호를 추가하였을 때 일반적인 데이터셋은 예측 정확도가 거의 변하지 않는 반면, 적대적 데이터셋의 예측 정확도는 크게 변한다는 특성을 이용한다. 실험은 공격 기법(FGSM, Saliency Map)과 잡음 신호의 세기 수준(픽셀 최댓값 255 기준 0-19) 두 가지 변수를 독립 변수로 설정하고 임의의 잡음 신호를 추가하였을 때의 예측 정확도 차이를 종속 변수로 설정하여 시뮬레이션을 진행하였다. 각 변수별로 일반적 데이터셋과 적대적 데이터셋을 구분하는 탐지 역치를 도출하였으며, 이 탐지 역치를 통해 적대적 데이터셋을 탐지할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.180-182
• /
• 2021

본 논문은 눈 랜드마크 위치 검출과 시선 방향 벡터 추정이 하나의 딥러닝 네트워크로 통합된 시선 추정 네트워크를 제안한다. 제안하는 네트워크는 Stacked Hourglass Network[1]를 백본(Backbone) 구조로 이용하며, 크게 랜드마크 검출기, 특징 맵 추출기, 시선 방향 추정기라는 세 개의 부분으로 구성되어 있다. 랜드마크 검출기에서는 눈 랜드마크 50개 포인트의 좌표를 추정하며, 특징 맵 추출기에서는 시선 방향 추정을 위한 눈 이미지의 특징 맵을 생성한다. 그리고 시선 방향 추정기에서는 각 출력 결과를 조합하고 이를 통해 최종 시선 방향 벡터를 추정한다. 제안하는 네트워크는 UnityEyes[2] 데이터셋을 통해 생성된 가상의 합성 눈 이미지와 랜드마크 좌표 데이터를 이용하여 학습하였으며, 성능 평가는 실제 사람의 눈 이미지로 구성된 MPIIGaze[3] 데이터 셋을 이용하였다. 실험을 통해 시선 추정 오차는 0.0396 MSE(Mean Square Error)의 성능을 보였으며, 네트워크의 추정 속도는 42 FPS(Frame Per Second)를 나타내었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.235-238
• /
• 2022

본 논문은 인식이 어려운 조명 환경에도 강인한 seven-segment 문자 인식을 위해서, 영상 내에 다양한 조명 연출이 가능하도록 합성 데이터 셋을 생성하고 학습할 수 있는 OCR 방법을 제안한다. 기존 연구에서는 deblurring 과 같이 영상 이미지의 해상도를 높여 문자 인식의 정확도를 향상시키는 것에 초점을 두었으나, 여러 조명 환경에 대비할 수 있는 OCR 관련 연구들은 부족하다. 이를 해결하기 위해 본 논문에서는 문자가 포함된 자연스러운 배경 영상에, seven-segment 문자를 합성시킨 후 relighting 을 적용함으로써 실제 환경과 유사한 장면을 연출해 새로운 합성 데이터 셋을 생성한다. 그리고 생성된 데이터 셋을 딥러닝 기반 학습시켜 다양한 조명에도 강인한 문자 인식기를 만들고자 한다. 합성 데이터 셋의 사용여부와 일반적인 데이터 augmentation 기법의 사용 여부를 비교하여, 본 논문에서 제안한 방법의 효과를 확인할 수 있었다. 이를 통해서 seven-segment 문자 인식 뿐만 아니라, 다양한 문자에 대해서도 적용될 수 있는 초석이 될 것으로 기대된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.177-179
• /
• 2022

딥러닝의 발전과 함께 합성곱 신경망 기반의 이미지 내 글자 영역 검출(Scene Text Detection) 방법들이 제안됐다. 그러나 이러한 방법들은 대부분 데이터셋이 제공하는 단어의 위치 정보만을 이용할 뿐 글자 영역이 갖는 고유한 정보인 글자 수는 활용하지 않는다. 따라서 본 논문에서는 글자 수 정보를 학습하여 효과적으로 이미지 내의 글자 영역을 검출하는 모듈을 제안한다. 제안하는 방법은 간단한 합성곱 신경망으로 구성된 이미지 내 글자 영역 검출 모델에 글자 수를 예측하는 모듈을 추가하여 학습을 진행하였다. 글자 영역 검출 성능 평가에 널리 사용되는 ICDAR 2015 데이터셋을 통해 기존 방법 대비 성능이 향상됨을 보였고, 글자 수 정보가 글자 영역을 감지하는 데 유효한 정보임을 확인했다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권2호
• /
• pp.91-98
• /
• 2023

인간-객체 상호작용 탐지는 객체 탐지와 상호작용 인식을 함께 풀어야하는 분야로 탐지 모델의 학습을 위해서 많은 데이터를 필요로 한다. 현재 공개된 데이터셋은 규모가 부족하여 데이터 증강 기법에 대한 요구가 커지고 있으나, 대부분의 연구에서 기존의 객체 탐지, 이미지 분할분야에서 활용하는 증강 기법을 활용하고 있는 실정이다. 이에 본 연구에서는 인간-객체 상호작용 탐지 분야에서 활용하는 데이터셋의 특성을 파악하고, 이를 통해 인간-객체 상호작용 탐지 모델 성능 향상에 효과적인 데이터 증강 기법을 제안한다. 본 연구에서 제안한 증강 기법에 대한 검증을 위하여 실험 환경을 구축하고, 기존의 학습 모델에 적용하여 증강 기법을 적용할 경우에 탐지 모델의 성능 향상이 가능함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.637-642
• /
• 2020

패션산업은 매년 1 조원씩 성장(연평균 2.1%)하며 많은 연구자들의 관심을 받고 있다. 전통적인 패션산업은 점차 디지털화되어 선진적인 컴퓨터 비전 기술을 적용해 소비자들에게 더 좋은 쇼핑 서비스를 제공하고 있다. 본 논문에서는 2014 년부터 2019 년 사이에 구축된 대표적인 패션 데이터셋을 연도별로 정리하고 각 데이터셋에 포함된 주석(annotation)의 특징을 정리했다. 또한 데이터셋이 패션 상품 검출(Fashion detection), 패션 이미지 생성(Fashion image generation), 가상 피팅(Virtual try-on) 그리고 패션 의류 분할(Fashion Clothing segmentation) 등 연구에서의 활용될 수 있는 여부에 대해 분석했다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.437-450
• /
• 2022

생성적 적대 신경망(GAN, Generative Adversarial Networks)는 이미지 생성 분야에서 주목할 만한 발전을 이루었다. 하지만 큰 데이터 셋에서 불안정한 모습을 보인다는 한계 때문에 다양한 응용 분야에 쉽게 적용하기 어렵다. 단일 이미지 생성적 적대 신경망은 한장의 이미지의 내부 분포를 잘 학습하여 다양한 영상을 생성하는 분야이다. 큰 데이터셋이 아닌 단 한장만 학습함으로써 안정적인 학습이 가능하며 이미지 리타겟팅, 이미지 조작, super resolution 등 다양한 분야에 활용 가능하다. 본 논문에서는 SinGAN, ConSinGAN, InGAN, DeepSIM, 그리고 One-Shot GAN 총 다섯 개의 단일 이미지 생성적 적대 신경망을 살펴본다. 우리는 각각의 단일 이미지 생성적 적대 신경망 모델들의 성능을 비교하고 장단점을 분석한다.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.209-220
• /
• 2024

스케치는 직관적으로 정보를 표현할 수 있는 수단이나 실제 이미지와 비교하였을 때 추상화가 심하고 동일한 대상에 대한 스케치 임에도 변화가 매우 크다는 문제점이 있다. 따라서 스케치에 기반한 이미지 인식에 도움이 되는 특성을 표현하기 어려웠는데, 딥뉴럴 모델의 발전은 이미지와 스케치라는 두 도메인에 공통으로 존재하는 특성을 발견할 수 있게 해 주었다. 본 논문에서는 스케치에 기반한 이미지 검색 기술의 최신 연구 동향을 소개한다. 이미지 검색 외에 스케치에 기반한 이미지 인식과 이미지 생성의 연구 동향도 함께 요약하였으며, 스케치 기반 연구에서 주로 활용되는 데이터셋 및 해당 데이터셋에 기반하여 측정한 검색 성능을 포함하였다.