• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.1-8
• /
• 2017

본 논문에서는 인체 모션 데이터를 공간적 제약이 많은 환경 속에 있는 휴머노이드의 몸체에 맞추어 리타겟팅하는 기술을 소개한다. 주어진 모션 데이터는 물체를 손으로 잡거나 장애물 사이를 피해 다니는 등의 세밀한 인터랙션을 포함하고 있다고 가정한다. 또한 휴머노이드의 관절 구조는 인체 관절 구조와 다르며 주변 환경의 모양도 원본 모션이 촬영 될 당시와 서로 다르다고 가정한다. 이러한 조건 하에서 단순히 몸체의 변화만 고려한 리타겟팅 기법을 적용한다면 원본 모션 데이터에서 나타난 인터랙션의 내용을 그대로 보존하기 어렵다. 본 논문에서는 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅하는 문제와 인터랙션의 내용을 보존하는 문제를 나누어서 독립적으로 해결하는 방법을 제안한다. 먼저 환경 모델과의 인터랙션은 무시하고 모션 데이터를 휴머노이드 몸체에 맞게 리타겟팅 한다. 다음, 환경 모델의 모양을 휴머노이드 모션에 부합하도록 변형하여 원본 데이터에서 나타난 인터랙션이 재현되도록 한다. 마지막으로 휴머노이드 몸체와 환경 모델 사이의 공간적 상관 관계에 대한 제약 조건을 설정하고 환경 모델은 다시 원래 모양으로 되돌린다. 보스턴 다이나믹 사의 아틀라스 로봇 모델을 사용한 실험을 통해 제시된 방법의 유용성을 검증하였다. 향후 모션 데이터 트레킹을 통한 휴머노이드 동작 제어 문제에 사용될 수 있을 것으로 기대된다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.9-17
• /
• 2017

본 연구는 사용자에게 새로운 가상현실 환경에서 새로운 경험과 현존감을 제공하기 위하여 3인칭 시점의 가상현실 콘텐츠 제작 공정을 제안한다. 이를 위해 우선 이야기, 재미요소 그리고 게임성을 포함하는 3인칭 관찰자 시점의 가상현실 콘텐츠를 제작한다. 이는 기존의 가상현실 콘텐츠와 다른 3인칭 시점에 적합한 인터페이스를 사용자가 사전에 학습할 수 있는 튜토리얼 장면과 배경 이야기를 토대로 게임적 요소를 활용하여 목적을 달성하는 콘텐츠 장면으로 구성한다. 다음은 3인칭 가상현실 콘텐츠에 적합한 인터페이스를 설계한다. 본 연구는 손을 사용하여 가상환경 또는 객체와 상호작용할 수 있는 인터페이스를 제안한다. 제안하는 인터페이스는 캐릭터의 이동, 다중 선택을 포함한 가상객체의 선택, 가상공간을 활용한 3차원 메뉴 제어의 3단계로 구성한다. 마지막으로 제안한 인터페이스를 통해 제작된 3인칭 가상현실 콘텐츠를 높은 만족감으로 편리하게 제어할 수 있음을 설문 실험을 통해 확인한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.31-38
• /
• 2017

본 논문에서는 도심 영상에 대해 맨하탄 좌표계를 추정하는 합성곱 신경망(Convolutional Neural Network) 기반의 시스템을 제안한다. 도심 영상에서 맨하탄 좌표계를 추정하는 것은 영상 조정, 3차원 장면 복원 등 컴퓨터 그래픽스 및 비전 문제 해결의 기본이 된다. 제안하는 합성곱 신경망은 GoogLeNet[1]을 기반으로 구성한다. 합성곱 신경망을 훈련하기 위해 구글 스트리트 뷰 API로 영상을 수집하고 기존 캘리브레이션 방법으로 맨하탄 좌표계를 계산하여 데이터셋을 생성한다. 장면마다 새롭게 합성곱 신경망을 학습해야하는 PoseNet[2]과 달리, 본 논문에서 제안하는 시스템은 장면의 구조를 학습하여 맨하탄 좌표계를 추정하기 때문에 학습되지 않은 새로운 장면에 대해서도 맨하탄 좌표계를 추정한다. 제안하는 방법은 학습에 참여하지 않은 구글 스트리트 뷰 영상을 검증 데이터로 테스트하였을 때 $3.157^{\circ}$의 중간 오차로 맨하탄 좌표계를 추정하였다. 또한, 동일 검증 데이터에 대해 제안하는 방법이 기존 맨하탄 좌표계 추정 알고리즘[3]보다 더 낮은 중간 오차를 보이는 것을 확인하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.105-113
• /
• 2017

본 논문에서는 물리 기반 가상 환경에서 참조 동작을 추적하는 캐릭터 동작을 생성할 때 캐릭터 동작에 대한 최적화와 함께 참조 동작에 대한 타임 워핑(time warping)을 동시에 수행할 수 있는 새로운 온라인 궤적 최적화(trajectory optimization) 기법을 제안한다. 일반적으로 참조 동작에 대한 샘플링 시간이 균일한 간격으로 고정되어 있는 기존의 물리 기반 캐릭터 애니메이션 기법과는 달리, 본 논문에서 제안하는 방법은 캐릭터 동작의 물리적 변화와 함께 샘플링 시간의 변화를 동시에 최적화 시킴으로써 외력에 대해 더욱 효과적으로 대응할 수 있는 참조 동작에 대한 최적의 타임 워핑을 찾아낸다. 이를 위해, 전신 캐릭터(full-body character)의 동역학과 함께 참조 동작에 대한 샘플링 시간의 변화를 함께 고려한 최적 제어 문제(optimal control problem)를 정형화하고 이 문제를 실행 시간에 시간 축을 따라 이동하는 고정된 크기의 시간 윈도우에 대해 반복적으로 풂으로써 캐릭터 동작과 샘플링 시간에 대한 최적 제어 정책(optimal control policy)을 생성하는 모델예측제어(model predictive control) 프레임워크를 제안한다. 실험을 통해, 제안된 프레임워크가 하나의 참조 동작만으로 외력에 대해 강인하게 반응하는 동작을 생성하고, 배경 음악에 따라 리드미컬한 동작을 생성하는데 효과적임을 보여준다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권5호
• /
• pp.1-9
• /
• 2019

본 논문에서는 강우시 빗방울로 인해 왜곡된 연안 파랑 비디오 영상에서 빗방울 제거와 제거된 영역에 대한 배경 정보를 복원하기 위한 적대적생성신경망을 이용한 영상 강화 방법을 제안하고자 한다. 영상 변환에 널리 사용되는 Pix2Pix 네트워크와 현재 단일 이미지에 대한 빗방울 제거에 좋은 성능을 보여주고 있는 Attentive GAN을 실험 대상 모델로 구현하고, 빗방울 제거를 위한 공개 데이터 셋을 이용하여 두 모델을 학습한 후 빗방울 왜곡 연안 파랑 영상의 빗방울 제거 및 배경 정보 복원 성능을 평가하였다. 연안 파랑 비디오에 영상에 대한 빗방울 왜곡 보정 성능을 향상시키기 위해 실제 연안에서 빗방울 유무가 짝을 이룬 데이터 셋을 직접 획득한 후 사전 학습된 모델에 대하여 전이 학습에 사용하여 빗방울 왜곡 보정에 대한 성능 향상을 확인하였다. 모델의 성능은 빗방울 왜곡 영상으로부터 파랑 정보 복원 성능을 최대 신호 대 잡음비와 구조적 유사도를 이용하여 평가하였으며, 전이 학습을 통해 파인 튜닝된 Pix2Pix 모델이 연안 파랑 비디오 영상의 빗방울 왜곡에 대한 가장 우수한 복원 성능을 보였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권1호
• /
• pp.17-25
• /
• 2020

본 논문은 비정렬 격자에 대한 광선투사 수행의 전처리 과정 중 하나인 셀 사이 연결정보 추출에 대한 멀티코어 CPU 기반 병렬처리 알고리즘을 제안한다. 본 연구는 기존의 직렬처리 알고리즘을 단순히 병렬화하였을 때 발생하는 동기화 문제를 확인하고, 이를 해결할 수 있는 3-단계 병렬처리 알고리즘을 제안한다. 제안하는 알고리즘은 각 단계 내에서의 스레드 간 동기화를 제거함으로서 병렬처리 효율을 높인다. 또한, 연결정보 추출 알고리즘의 핵심 연산인, 삼각형 중복 검사 과정의 메모리 접근에 대한 공간적 지역성을 높이고 캐시 활용 효율을 향상시킨다. 본 연구는 나아가, 스레드 마다 자체 메모리 풀을 사용하게 함으로서 병렬처리 효율을 더욱 높인다. 본 연구의 효용성을 확인하기 위해, 제안하는 알고리즘을 두 개의 옥타코어 CPU를 가지는 시스템에 구현하고 세 개의 비정렬 격자 데이터에 적용하였다. 그 결과, 제안하는 병렬처리 알고리즘은 스레드 수 증가에 따라 지속적으로 성능 향상을 보여주었다. 또한, 32개 스레드(물리코어 16개)를 사용하여 기존 직렬처리 알고리즘 대비 최대 82.9배 높은 성능을 보여주었다. 이는 제안하는 알고리즘의 높은 병렬처리 확장성 및 캐시 활용 효율 개선 효과를 증명하며, 대용량 비정렬 격자 처리에 대한 적합성을 보여주는 결과다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제21권3호
• /
• pp.1-10
• /
• 2015

최근 각광받고 있는 몰입감 있는 콘텐츠 소비 공간을 효율적으로 구축하기 위해서 전방 프로젝션 시스템이 많이 사용되고 있다. 하지만 전방 프로젝션 환경에서는 프로젝터와 투사면 사이에 사용자가 위치할 경우 그림자가 투사면 위에 나타나 중요한 정보를 가리거나 사용자의 몰입감을 저해한다. 이러한 이유로 전방 프로젝션 환경에서 그림자를 지우고자 하는 시도가 이전부터 있었다. 전방 프로젝션 환경에서 그림자를 지우는 방법은 생성된 그림자 영역을 다른 각도의 프로젝터를 이용하여 빛을 보정해주는 방식을 사용한다. 이 과정에서 그림자 영역을유추할때 정확도만을 추구하는 방법은 연산시간이 너무 오래 걸리게 되고, 단순하게 유추하는 방법은 불필요한 영역까지도 그림자 영역으로 유추하는단점이 존재한다. 따라서 본 논문에서는 깊이 카메라에서 획득할수 있는 스켈레톤 정보를 이용하여 계산량은 적지만 사용자가 생성해내는 그림자에 가까운 모양을유추하여 효과적으로 그림자를 지워주는 방법을 제안한다. 또한 사용자가 움직일때 생성되는 그림자의 잔상이 남지 않도록 디스턴스 필드(distance field)를 이용한 마스크 생성 방법을 제안한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제20권3호
• /
• pp.1-8
• /
• 2014

스마트폰의 전면 및 후면 카메라를 이용하여 동시에 획득한 전경 이미지와 배경 이미지에서, 전경 이미지의 일부분인 전경 물체를 추출하여 배경 이미지에 합성하는 방법을 제시한다. 최근의 고사양 스마트폰은 대개 두 개의 카메라를 가지고 있고, 사진을 촬영하는 과정에서 미리보기 화면을 제공한다. 전면 카메라로부터 전경 이미지를 획득하는 과정에서 미리보기 화면의 비디오에 대한 옵티컬 플로우를 이용하여 전경 물체를 추출한다. 추출된 전경 물체와 배경 화면을 단순히 합성한 후, 전경 물체와 배경화면의 경계에서 가중치 경계 블렌딩을 이용하여 시각적으로 부드러운 경계를 갖는 합성을 수행한다. 화소 수준의 조밀한 옵티컬 플로우의 계산은 고사양의 스마트폰에서도 상당히 느리기 때문에, 전경 물체 추출을 위한 마스크의 계산을 저해상도에서 수행하여 계산시간을 크게 절약할 수 있다. 실험적 결과에 의하면 제안하는 방법은 더 적은 계산 시간을 사용하며, 널리 사용되는 Poisson 이미지 합성 방법에 비하여 시각적으로 더 우수한 결과를 얻을 수 있다. 제안하는 방법은 Poisson 이미지 합성 방법에서 자주 관찰되는 색 번짐 결점을 가중치 경계 블렌딩을 이용하여 제한적인 수준에서 극복할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권2호
• /
• pp.21-28
• /
• 2018

본 논문은 운고계로부터 수집된 운고 자료와 후방산란 자료를 3차원 가상 공간에서 시각화 하는 대화형 기법을 제안한다. 운고계 관측자료는 시간과 공간 정보가 모두 연계된 다차원 대용량 정보이기 때문에 정적인 2차원 시각화 방법으로는 그 안에 내재된 전체 정보를 충분히 드러내기 어렵다. 본 논문의 시각화 방법은 실시간 3차원 렌더링 기술을 바탕으로 사용자가 원하는 대로 시점과 시야를 조절하면서 3차원 형상으로 표현된 운고계 관측자료의 전체적인 변화 양상과 국소적인 특징을 다각도로 관찰할 수 있도록 한다. 운고 및 운량 자료는 실제 지형 자료와 결합하여 다수의 구름이 지형 위에서 형성되고 소멸되는 사실적인 구름 애니메이션 형식으로 시각화 한다. 후방산란 자료는 시간과 고도에 따른 변화를 통합적으로 표현할 수 있는 3차원 지형 형태로 시각화 한다. 또한 검증하고자 하는 날짜, 지형의 상세도, 혹은 대기경계층 높이와 같은 보조자료 등을 선택할 수 있도록 함으로써 자료를 여러 관점에서 해석할 수 있도록 돕는다. 본 논문에서 제안하는 대화형 시각화 방법이 기상 자료의 분석과 검증에 활용될 수 있음을 보이기 위하여 전국 93개 관측 지점의 라이다식 운고계로부터 수집된 실제 자료를 바탕으로 다양한 실험을 수행하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권2호
• /
• pp.1-9
• /
• 2018

본 논문에서는 손상된 흑백 얼굴 이미지를 컬러로 복원하는 방법을 제안한다. 기존 연구에서는 오래된 증명사진처럼 손상된 흑백 사진에 컬러화 작업을 하면 손상된 영역 주변이 잘못 색칠되는 경우가 있었다. 이와 같은 문제를 해결하기 위해 본 논문에서는 입력받은 사진의 손상된 영역을 먼저 복원한 후 그 결과를 바탕으로 컬러화를 수행하는 방법을 제안한다. 본 논문의 제안 방법은 BEGAN(Boundary Equivalent Generative Adversarial Networks) 모델 기반 복원과 CNN(Convolutional Neural Network) 기반 컬러화의 두 단계로 구성된다. 제안하는 방법은 이미지 복원을 위해 DCGAN(Deep Convolutional Generative Adversarial Networks) 모델을 사용한 기존 방법들과 달리 좀 더 선명하고 고해상도의 이미지 복원이 가능한 BEGAN 모델을 사용하고, 그 복원된 흑백 이미지를 바탕으로 컬러화 작업을 수행한다. 최종적으로 다양한 유형의 얼굴 이미지와 마스크에 대한 실험 결과를 통해 기존 연구에 비해 많은 경우에 사실적인 컬러 복원 결과를 보여줄 수 있음을 확인하였다.