• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
• /
• pp.199-202
• /
• 2007

본 논문에서는 주어진 영상을 필터링하여 영상의 스타일을 제거하는 방법을 제시한다. 스타일이 제거된 영상은 영상 분류, 특징점 인식, 영상 분할 등의 다양한 용도에 쓰일 수 있다. 또한 원래 영상과 스타일이 제거된 영상을 비교하여 영상의 스타일을 유추할 수 있다. 본 논문에서는 이를 위해 주어진 영상에서 스타일 벡터를 계산한 후 계산된 스타일 벡터를 이용하여 영상에 양방향 필터링을 적용한다. 이 때 영상의 경계 부분에서 스타일을 효과적으로 분리하는 방법과 다중 해상 처리 방법을 적용하여 다양한 크기와 방향의 스타일을 찾아낸다. 그 결과 주어진 영상에서 다양한 크기와 방향의 스타일을 제거하고 영상의 중요한 내용만을 효과적으로 나타낸다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제13권3호
• /
• pp.7-10
• /
• 2007

본 논문에서는 주어진 영상을 필터링하여 영상의 스타일을 제거하는 방법을 제시한다. 스타일이 제거된 영상은 영상분류, 특징점 인식, 영상 분할 등의 다양한 용도에 쓰일 수 있다. 또한 원래 영상과 스타일이 제거된 영상을 비교하여 영상의 스타일을 유추할 수 있다. 본 논문에서는 이를 위해 주어진 영상에서 스타일 벡터를 계산한 후 계산된 스타일벡터를 이용하여 영상에 양방향 필터링을 적용한다. 이 때 영상의 경계 부분에서 스타일을 효과적으로 분리하는 방법과 다중 해상 처리 방법을 적용하여 다양한 크기와 방향의 스타일을 찾아낸다. 그 결과 주어진 영상에서 다양한 크기와 방향의 스타일을 제거하고 영상의 중요한 내용만을 효과적으로 나타낸다.

• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.31-38
• /
• 2023

딥러닝 기반 영상 처리 기술 중 최근 활발히 연구되어 많은 성능 향상을 이룬 기술 중 하나는 스타일 전이 (Style Transfer) 기술이다. 스타일 전이 기술은 콘텐츠 영상과 스타일 영상을 입력받아 콘텐츠 영상의 스타일을 변환한 결과 영상을 생성하는 기술로 디지털 콘텐츠의 다양성을 확보하는데 활용할 수 있어 중요성이 커지고 있다. 이런 스타일 전이 기술의 사용성을 향상하기 위해서는 안정적인 성능의 확보가 중요하다. 최근 자연어 처리 분야에서 트랜스포머 (Transformer) 개념이 적극적으로 활용됨에 트랜스포머의 기반이 되는 어텐션 맵이 스타일 전이 기술 개발에도 활발하게 적용되어 연구되고 있다. 본 논문에서는 그중 대표가 되는 SANet과 AdaAttN 기술을 분석하고 향상된 스타일 전이 결과를 생성 할 수 있는 새로운 어텐션 맵 기반 구조를 제안한다. 결과 영상은 제안하는 기술이 콘텐츠 영상의 구조를 보존하면서도 스타일 영상의 특징을 효과적으로 적용하고 있음을 보여준다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2007년도 추계학술발표논문집
• /
• pp.185-187
• /
• 2007

본 논문은 점진적으로 변형되는 다수의 가상 헤어스타일을 반자동적으로 생성할 수 있는 2D 가상 헤어스타일의 컬러 영상 분할 및 반자동 필드 모핑에 관한 것이다. 제안된 방법에서는 2D 실사 영상에서 컬러 영상 분할을 통해 추출한 헤어스타일을 임의의 인물 영상의 두상에 정렬시킨 상태에서 원래의 헤어스타일에서 추출한 헤어스타일로 변해가는 반자동 필드 모핑을 수행함으로써 여러 유형의 헤어스타일을 반자동적으로 생성할 수 있다. 제안된 방법은 사전에 준비된 그래픽 객체 외에도 실사 영상에서 직접 추출한 헤어스타일을 사용할 수 있고, 추출한 헤어스타일 외에도 다양한 유형의 헤어스타일을 자동으로 생성할 수 있는 이점이 있다. 또한, 반자동 필드 모핑에 기반한 편리한 사용자 인터페이스를 제공할 수 있기 때문에 작업자의 피로도를 경감시킴과 동시에 작업 시간을 단축할 수 있고 비숙련자도 간단한 사용자 입력을 통해 자연스러운 가상 헤어스타일을 생성할 수 있는 장점이 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.19-22
• /
• 2021

기존 영상 콘텐츠에 새로운 물체를 삽입하는 등의 영상 재구성 기술은 새로운 게임, 가상현실, 증강현실 콘텐츠를 생성하거나 인공신경망 학습을 위한 데이터 증대를 위해 사용될 수 있다. 하지만, 기존 기술은 컴퓨터 그래픽스, 사람에 의한 수동적인 영상 편집에 의존하고 있어 금전적/시간적 비용이 높다. 이에 본 연구에서는 인공지능 신경망을 활용하여 낮은 비용으로 영상을 재구성하는 기술을 소개하고자 한다. 제안하는 방법은 기존 콘텐츠와 삽입하고자 하는 객체를 포함하는 영상이 주어졌을 때, 객체 세그먼테이션 네트워크를 활용하여 입력 영상에서 객체를 분리하고, 스타일 변환 네트워크를 활용하여 입력 영상을 스타일 변환한 후, 사용자 입력과 두 네트워크의 결과를 활용하여 기존 콘텐츠에 새로운 객체를 삽입하는 것이다. 실험에서는 기존 콘텐츠는 온라인 영상을 활용하였으며 삽입 객체를 포함한 영상은 ImageNet 영상 분류 데이터 세트를 활용하였다. 실험을 통해 제안한 방법을 활용하면 기존 콘텐츠와 잘 어우러지게끔 객체를 삽입할 수 있음을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.1627-1630
• /
• 2005

본 논문에서는 2D 실사 영상에서 추출한 헤어스타일을 임의의 인물 영상의 두상에 정렬시킨 상태에서 원래의 헤어스타일에서 추출한 헤어스타일로 변해가는 반자동 필드 모핑을 수행함으로써 여러 유형의 헤어스타일을 자동으로 생성할 수 있는 가상 헤어스타일 생성 방법에 관한 것이다. 제안된 방법은 사전에 준비된 그래픽 객체 외에도 실사 영상에서 직접 추출한 헤어스타일을 사용할 수 있고, 추출한 헤어스타일 외에도 다양한 유형의 헤어스타일을 자동으로 생성할 수 있는 이점이 있다. 또한, 반자동 필드 모핑에 기반한 편리한 사용자 인터페이스를 제공할 수 있기 때문에 작업자의 피로도를 경감시킴과 동시에 작업 시간을 단축할 수 있고 비숙련자도 간단한 사용자 입력을 통해 자연스러운 가상 헤어스타일을 생성할 수 있는 장점이 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.104-123
• /
• 2022

신경망 기반 스타일 전이 기법은 영상의 고차원적 구조적 특징을 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 신경망 기반 스타일 전이의 GPU 메모리 제한에 따른 해상도 한계에 대한 문제를 다룬다. 신경망 출력이 가진 제한적 수용장 특징을 바탕으로, 부분 영상 기반의 스타일 전이 손실함수 경사도 연산이 전체 영상을 대상으로 구한 경사도 연산과 동일한 결과를 생성할 수 있을 것으로 기대할 수 있다. 이러한 아이디어를 기반으로, 본 논문에서는, 스타일 전이 손실함수의 각 구성 요소에 대한 경사도 연산 구조를 분석하고, 이를 통해 부분 영상의 생성 및 패딩에 대한 필요조건을 구하고, 전체 영상의 신경망 출력에 좌우되는 경사도 연산 요구 데이터를 확인하여 구조화함으로써 재귀적 초고해상도 스타일 전이 알고리즘을 개발하였다. 제안된 기법은, 사용하는 GPU 메모리가 처리할 수 있는 크기로 초고해상도 입력을 분할하여 스타일 전이를 수행함으로써, GPU 메모리 한계에 따른 해상도 제한을 받지 않으며, 초고해상도 스타일 전이에서만 감상할 수 있는 독특한 세부 영역의 전이 스타일 특징을 제공할 수 있다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.980-993
• /
• 2020

딥-러닝 기반 스타일 전이 기법은 영상의 고차원적 구조적 특성을 적절하게 반영하여 높은 품질의 스타일 전이 결과를 제공함으로써 최근 크게 주목받고 있다. 본 논문은 이러한 딥-러닝 기반 스타일 전이 방식의 안정적이고 보다 다양한 스타일 전이 결과 제공에 대한 문제를 다룬다. 스타일 전이를 위한 광범위한 초-매개변수 설정에 따른 실험 결과에 대한 고찰을 바탕으로 스타일 전이 결과의 안정성 및 다양성에 대한 문제를 정의하고, 이러한 문제를 해결하기 위한 부분 손실 정규화 방법을 제안한다. 제안된 정규화 방식을 이용한 스타일 전이는 입력 영상의 특징에 상관없이 초-매개변수 설정을 통해 동일 수준의 스타일 전이 정도를 조절할 수 있을 뿐 아니라, 스타일 손실을 정의하는 계층 별 가중치 설정의 조절을 통해 기존 방식과 달리 보다 다양한 스타일 전이 결과를 제공하며, 입력 영상의 해상도 차이에 대해 보다 안정적인 스타일 전이 결과를 제공하는 특징을 가진다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
• /
• pp.433-434
• /
• 2010

본 논문에서는 영상처리에서 많이 사용하는 bilateral filtering과 mean shift segmentation을 이용하여 일반적인 사진을 수채화 스타일로 변환하는 기법에 대하여 제안한다. 먼저 bilateral filtering을 이용하여 사진의 외곽선 부분은 보존하면서 고주파 성분을 약화시키도록 한다. 그리고 bilateral filtering된 영상에서 mean shift segmentation을 수행하여 수채화 스타일의 영상을 생성한다. 본 논문에서 제안하는 기법으로 다양한 사진에 대하여 실험한 결과 수채화 스타일로 잘 변화되는 것을 확인하였으며 특히 주광에서 촬영한 풍경 사진들에 대하여 보다 우수한 성능을 보임을 확인하였다.