• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.701-704
• /
• 2020

이미지 초해상도는 딥러닝의 발전과 함께 이를 활용하며 눈에 띄는 성능향상을 이루었다. 딥러닝을 기반으로 한 대부분의 이미지 초해상도 연구는 딥러닝 네트워크 모델의 구조에 대한 연구 위주로 진행되어 왔다. 그러나 최근 들어 딥러닝 기반의 이미지 초해상도가 합성된 데이터에 대해서는 높은 성능을 보이지만 실제 데이터에 대해서는 높은 성능을 보이지 못한다는 사실이 주목받고 있다. 이에 따라 모델 구조를 바꿔 성능을 향상 시키는 것에는 한계가 있어 데이터의 활용이나 학습 방법에 대한 연구의 필요성이 증대되고 있다. 따라서 본 논문은 이미지 초해상도를 위한 난이도 조절 기반 전이학습법(transfer learning)을 제안한다. 제안된 방법에서는 이미지 초해상도를 배율을 난이도가 쉬운 낮은 배율부터 순차적으로 전이학습을 진행한다. 이는 이미지 초해상도의 배율이 높아질수록 학습이 어렵기 때문이다. 결과적으로 본 논문에서는 높은 배율의 이미지 초해상도를 진행하기 위해 낮은 배율의 이미지 초해상도, 즉 난이도가 쉬운 학습부터 점진적으로 학습을 진행하였을 때 더욱 빠르고 효과적으로 학습할 수 있음을 보여준다. 제안된 전이학습 방법을 통해 적은 횟수의 업데이트로 학습을 진행하였을 때 일반적인 학습방법 대비 약 0.18 dB 의 PSNR 상승을 얻어, RealSR [9] 데이터셋에서 28.56 dB의 성능으로 파라미터 수 대비 높은 성능을 얻을 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제27권1호
• /
• pp.77-82
• /
• 2022

본 연구는 장소 이미지를 수집하고 학습하여 사용자가 관심이 있어 하는 이미지의 장소를 예측하여 알려주는 서비스 개발을 목적으로 한다. 이미지 학습을 위한 이미지 데이터들은 크롤링 부분을 통해 수집되도록 설계되었다. 이미지 수집 이후 수집된 이미지들은 장소별로 라벨링 되어 CNN의 다양한 층을 통하여 학습된다. 각 층을 거칠 때마다 입력받은 학습 데이터는 최적화하여 특징 맵과의 비교를 반복하며 특정 장소 이미지의 특징 정보를 뽑아낸다. 충분한 학습 데이터가 쌓이면 다양한 장소 이미지들에 대해 예측이 가능하다. 학습 결과 모델의 정확도는 79.2로 높은 학습 정확도를 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.567-569
• /
• 2023

GAN은 이미지 생성모델로서 이미지 공간에서 좋은 결과를 보여왔다. 우리는 이러한 GAN의 능력을 더욱 향상하기 위하여 본 연구에서 주파수 영역에서 이미지를 학습하고 생성하는 새로운 방법을 제안한다. 이를 위하여 먼저 학습데이터를 2D FFT로 주파수 영역으로 변환한 후 변환된 학습데이터를 GAN이 학습하게 한다. 학습 후에 GAN은 새로운 이미지를 생성하며 생성된 이미지를 2D IFFT하여 이미지 공간으로 변환한다. 이렇게 주파수 영역에서 이미지를 생성하는 방법은 이미지 공간에서 생성하는 방법보다 다양한 장점이 있다. 생성된 이미지의 품질을 평가하기 위하여 4개 데이터 셋에 4개의 평가지표를 사용하여 평가한 결과 주파수 영역에서 생성한 이미지가 IS, P&R, D&C 측면에서 더 좋은 것으로 평가되었다.

• 스마트미디어저널
• /
• 제10권1호
• /
• pp.32-38
• /
• 2021

사진 이미지에서의 딥러닝 학습을 통한 이미지 분류는 지난 수년간 매우 활발한 연구 분야로 자리하고 있다. 본 논문에서는 국내산 석재 이미지로부터 딥러닝 학습을 통해 자동으로 석재를 판별하는 방법을 제안한다. 제안된 방법은 300×300픽셀의 황등석, 고흥석, 포천석의 사진 이미지들을 파이썬의 해시 라이브러리를 이용하여 석재별 중복된 이미지를 검사하고, 검사 결과로 해시값이 같은 중복된 이미지를 제거하여 석재별 딥러닝 학습이미지를 만드는 데이터 전처리 과정을 수행한다. 또한 미리 학습된 모델인 VGGNet을 활용하기 위해 학습된 이미지 사이즈인 224×224픽셀로 석재별 이미지들의 사이즈를 재조정하고, 학습데이터와 학습을 위한 검증데이터의 비율을 80% 대 20%로 나누어 딥러닝 학습을 수행한다. 딥러닝 학습을 수행한 후 손실 함수 그래프와 정확도 그래프를 출력하고 세 종류의 석재 이미지에 대해 딥러닝 학습 모델의 예측 결과를 출력하였다.

• 한국산학기술학회논문지
• /
• 제22권1호
• /
• pp.633-640
• /
• 2021

본 연구는 동영상 학습에서 텍스트와 이미지 제시방식이 학습자의 학습몰입, 학습만족, 학업성취에 미치는 차이를 분석하였다. 이때 텍스트 제시방식은 2~3단어로 구성된 짧은 문장형태와 키워드형태로 구분하였고, 이미지 제시방식은 상세정보와 관계정보를 모두 표현하는 이미지와 관계정보만을 표현하는 이미지로 구분하였다. 실험연구를 위해 중국 형태대학교 1학년 167명을 텍스트와 이미지 제시방식에 따른 4가지 유형의 동영상 집단에 무선배정한 후 학습하게 하였다. 분석하기 위해 SPSS 25.0을 사용하여 다변량분산분석(MANOVA)을 실시하였다. 연구결과, 짧은 문장형태로 텍스트가 제시된 동영상을 학습한 집단이 키워드 형태의 텍스트가 제시된 동영상을 학습한 집단보다 학습몰입, 학습만족, 학업성취가 통계적으로 유의하게 높았다. 둘째, 상세정보와 관계정보를 모두 표현하는 이미지가 제시된 동영상을 학습한 집단이 관계정보만 표현하는 이미지가 제시된 동영상을 학습한 집단보다 학습몰입, 학습만족, 학업성취가 통계적으로 유의하게 높았다. 짧은 문장형태의 텍스트와 관계정보만 표현한 이미지가 제시된 동영상을 학습한 집단의 종속변인 평균이 가장 높았다. 반면에, 키워드 형태의 텍스트와 관계정보만 표현한 이미지가 제시된 동영상을 학습한 집단의 종속변인 평균이 가장 낮았다. 이러한 결과는 교수자 내레이션이 포함된 동영상을 설계할 때 이미지와 텍스트의 제시할 때 시사점을 준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.686-688
• /
• 2020

본 논문에서는 U-Net 모델을 이용하여 정교하고 반복되는 패턴을 가진 인쇄물에 대한 비지도 학습을 통한 딥러닝 기반 이상치탐지(Anomaly Detection) 방법을 제안하였다. 인쇄물(카드)의 비정상 패턴 검출을 위하여 촬영한 영상으로부터 카드 영역을 분리한 이미지로 구성된 Dataset을 구축하였고 정상 이미지와 동일한 이미지를 출력하기 위해, 정상 이미지와 마스크 이미지 쌍의 Training dataset을 U-Net으로 학습하였다. Test dataset의 이미지를 입력으로 넣어 생성된 마스크 결과를 원본 마스크 이미지와 비교하여 이상 여부를 판단하는 본 논문의 방법이 정상, 비정상 인쇄물을 잘 구분하는 것을 확인하였다. 또한 정상과 비정상 이미지 각각을 학습한 지도학습 기반 CNN 분류 방법을 입력 영상과 복원 영상 간의 복원 오차를 비교하여 객체의 이상 여부를 판별하는 본 논문의 방법과 비교 평가하였다. 본 논문을 통해 U-Net을 사용하여 별도로 데이터에 대한 label 취득 없이 이상치를 검출할 수 있음을 확인할 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2001년도 춘계학술발표논문집
• /
• pp.177-180
• /
• 2001

본 논문에서는 신경망을 이용한 내용 기반 이미지 분류 방법을 제안한다. 분류 대상이미지는 인터넷상의 다양한 이미지들 중 오브젝트 이미지이대 웹 에이전트를 통하여 획득하고 정규화 과정을 거친다. 획득한 이미지를 분류하기 위한 특징은 웨이블릿 변란 후 추출된 질감 특징이다. 추출된 질감 특징을 이용하여 학습패턴을 생성하고 신경망을 학습한다. 그리고 구성된 신경망 분류기로 이미지를 분류한다. 본 연구에서는 다양한 질감 특징들 중에서 대비(contrast), 에너지(energy), 엔트로피(entropy)를 이용하여 특징을 추출한다. 실험에 사용한 데이터는 30종류에 대하여 각각 10개씩, 300개의 이미지들을 학습 데이터, 테스트 데이터로 사용하여 구성된 분류기의 인식률을 실험하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.212-215
• /
• 2021

본 논문에서는 딥러닝의 CNN(Convolution Neural Network) 학습을 통하여 악성코드를 실행시키지 않고서 악성코드 변종을 패밀리 그룹으로 분류하는 방법을 연구한다. 먼저 데이터 전처리를 통해 3가지의 서로 다른 방법으로 악성코드 이미지와 메타데이터를 생성하고 이를 CNN으로 학습시킨다. 첫째, 악성코드의 byte 파일을 8비트 gray-scale 이미지로 시각화하는 방법이다. 둘째, 악성코드 asm 파일의 opcode sequence 정보를 추출하고 이를 이미지로 변환하는 방법이다. 셋째, 악성코드 이미지와 메타데이터를 결합하여 분류에 적용하는 방법이다. 이미지 특징 추출을 위해서는 본고에서 제안한 CNN을 통한 학습 방식과 더불어 3개의 Pre-trained된 CNN 모델을 (InceptionV3, Densnet, Resnet-50) 사용하여 전이학습을 진행한다. 전이학습 시에는 마지막 분류 레이어층에서 본 논문에서 선택한 데이터셋에 대해서만 학습하도록 파인튜닝하였다. 결과적으로 가공된 악성코드 데이터를 적용하여 9개의 악성코드 패밀리로 분류하고 예측 정확도를 측정해 비교 분석한다.

• 지능정보연구
• /
• 제15권2호
• /
• pp.49-59
• /
• 2009

내용기반 이미지 검색은 색상, 질감 등의 이미지 자체의 자질들을 이용하여 검색하므로 텍스트 기반 이미지 검색의 객관성 부족과 모든 이미지에 사람이 주석을 달아야 하는 단점을 보완할 수 있는 이미지 검색 방법이다. 이러한 내용 기반 이미지 검색에서 사용되는 방식 중 SIM(Self-organizing Image browsing Map) 방식은 SOM 알고리즘을 이용하여 이미지들을 브라우징 가능한 그룹으로 맵핑하고 그 결과를 바탕으로 이미지를 검색하게 된다. 하지만 비슷한 이미지라 할지라도 이미지의 밝기, 피사체의 움직임 등에 의하여 색상 정보가 다르게 나타나게 되면 SOM 알고리즘의 학습 과정에서 유사한 이미지들을 그룹화한 노드를 BMU로 선택하지 못하고 떨어져 있는 다른 노드를 선택하게 된다. 이 경우 학습이 진행되면서 유사한 이미지들이 군집하는 과정을 거치지만 학습이 완료될 때까지 다른 유사 이미지들을 그룹화한 노드에 맵핑이 되지 못하는 경우가 발생한다. 그 결과, 검색 결과에 나타나지 못하여 적합 이미지 검색률이 낮아 질 수 있다. 따라서 본 논문에서는 HSV 색상모델을 이용하여 양자화하고 이미지의 색상 특징 벡터를 추출한 뒤 SOM 알고리즘을 이용하여 이미지들을 브라우징 가능한 그룹으로 맵핑한다. 이때 SIM 방식의 문제점인 유사 이미지가 따로 맵핑되어 적합 이미지 검색률이 낮아지는 것을 줄이기 위하여 SOM을 두 개의 층으로 구성한다. 첫 번째 층에서 이미지의 색상 자질을 이용하여 학습을 완료한 후, 학습이 완료된 첫 번째 층 맵의 각 노드들의 연결 가중치를 이용하여 두 번째 층에서 다시 한번 학습을 수행한다. 두 개의 층으로 학습이 완료된 두 번째 층의 SOM에 질의 이미지의 특징 벡터를 입력하여 BMU를 선택하고 BMU와 연결된 첫 번째 층의 노드를 최종 선택하여 이미지를 검색한다. 실험결과, 제안된 이미지 검색 방법이 기존의 이미지 검색 방법 보다 적합 이미지의 검색 성공률이 높은 것을 확인 할 수 있었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.303-305
• /
• 2023

본 논문에서는 트랜스포머를 사용한 이미지 캡셔닝 방법과 비디오 캡셔닝 방법을 제안한다. 트랜스포머의 입력으로 사전 학습된 이미지 클래스 분류모델을 거쳐 추출된 특징을 트랜스포머의 입력으로 넣고 인코더-디코더를 통해 이미지와 비디오의 캡션을 출력한다. 이미지 캡셔닝의 경우 한글 데이터 세트를 학습하여 한글 캡션을 출력하도록 학습하였으며 비디오 캡셔닝의 경우 MSVD 데이터 세트를 학습하여 학습 후 출력 캡션의 성능을 다른 비디오 캡셔닝 모델의 성능과 비교하였다. 비디오 캡셔닝에서 성능향상을 위해 트랜스포머의 디코더를 변형한 GPT-2를 사용하였을 때 BLEU-1 점수가 트랜스포머의 경우 0.62, GPT-2의 경우 0.80으로 성능이 향상됨을 확인하였다