• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.445-446
• /
• 2019

최근, 현실 세계에 가상 정보를 융합하여 현실에서는 할 수 없는 경험을 제공하는 혼합현실 (MR) 기술에 관심이 쏟아지고 있다. 혼합현실은 현실과 상호 작용이 우수하며 몰입감을 극대화 시킨다는 장점이 있다. 본 논문에서는 실사 기반 전방위 3D 모델 획득 기술에 대한 필요성을 언급하며 다시점 깊이 및 RGB 카메라 시스템을 이용하여 혼합현실 콘텐츠 제작을 위한 포인트 클라우드를 획득하는 방법을 제시한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.78-79
• /
• 2022

본 논문에서는 RGB-D 카메라를 이용하여 획득한 다수 사용자의 정규화된 스켈레톤의 신체 비율 분석을 통해 각 사용자의 구분 및 위치를 추적하는 기법을 제안한다. 이를 위해 3D 포인트 클라우드로부터 각 사용자의 3D 스켈레톤을 추출한 뒤 신체 비율 정보를 저장한다. 이후 저장된 신체 비율 정보를 전체 프레임에서 출력된 신체 비율 데이터와 유사도를 비교하여 전체 영상에서의 사용자 구분 및 위치추적 알고리즘을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.187-188
• /
• 2021

본 논문에서는 Openpose의 신뢰도를 이용해 3D pose estimation의 정확도를 높이는 방법을 제안한다. 모델의 앞뒤양옆 네 방향에서 pose estimation의 진행하기 위해 3D 모델에 AABB(Axis Aligned Bound Box)를 생성한 다음, box의 네 옆면으로 모델을 투영시킨다. 각 면에 투사된 2D image에 대해 Openpose 2D pose estimation의 진행한다. 네 면에서 생성한 2D 스켈레톤들의 평균을 통해 3D 상의 교차점을 획득한다. Openpose에서 제공하는 신뢰도(confidence)를 이용하여 잘못 나온 2D 관절을 제외하는 것으로 더 정확한 pose estimation의 수행하였다. 실험적인 방법을 통해 신뢰도 0.45 이상의 값을 가지는 joint 만을 사용해 3D 교차점을 구함으로써 3D pose estimation의 정확도를 높였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.57-58
• /
• 2021

우리는 한정된 공간에 분산하여 위치한 다수 개의 카메라들을 이용하여 생성된 실사 그래픽스 체적 모델 시퀀스 기반 동적 복원 알고리즘을 제안한다. 각 프레임 단위로 생성된 정적 모델의 시퀀스로부터 일정 시간 단위로 키 프레임을 생성한다. 키 프레임과 키 프레임 사이의 모델에 대한 리메싱(Remeshing) 처리를 수행하고 이를 통해 생성된 3D 모델과 키 프레임 사이 특징 점을 획득한다. 획득된 특징 점의 3차원 좌표들 사이의 오차를 최소화 하는 최적화 알고리즘(Solver)을 이용하여 키 프레임 모델과 리 매싱된 모델의 비 강체 정합을 모든 키 프레임 단위로 반복적으로 수행한다. 제안한 정합 방법을 이용하여 생성된 모델과 키 프레임 모델 사이 에러를 비교함으로써 결과를 검증한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.47-48
• /
• 2021

본 논문에서는 대용량의 3D 데이터 시퀀스의 압축을 진행한다. 3D 데이터 시퀀스의 각 프레임에서 Pose Estimation을 통해 3D Skeleton을 추출한 뒤, 포인트 클라우드를 skeleton에 묶는 리깅 과정을 거치고, 다음 프레임과 같은 자세로 deformation을 진행한다. 다음 프레임과 같은 자세로 변형된 포인트 클라우드와 실제 다음 프레임의 포인트 클라우드를 비교하여, 두 데이터에 모두 있는 점, 실제 다음 프레임에만 있는 점, deformation한 데이터에만 있는 점으로 분류한다. 두 데이터에 모두 있는 점을 제외하고 나머지 두 분류의 점들을 저장함으로써 3D 시퀀스 데이터를 압축할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.297-299
• /
• 2020

본 논문에서는 다시점 카메라 시스템을 통해 실사기반의 3D 모델을 획득하여 모션센서와 같은 별도의 기기 없이 해당 모델에 대한 고정밀 스켈레톤 추출 기법에 대해서 제시한다. 다시점 카메라 시스템을 이용하여 생성한 3D 모델을 앞, 뒤, 좌, 우 각 위치에서의 사상 매트릭스로 사상 영상을 생성하고 딥러닝 기술을 이용하여 2D 스켈레톤을 추출한다. 그리고 사상 매트릭스의 역변환 과정을 통해 2D 스켈레톤의 삼차원 좌표를 계산하고 추가적인 후처리를 통해 고정밀 스켈레톤을 획득한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.323-324
• /
• 2020

논문에서는 3D 체적형 모델을 이용하여 홀로그램에 랜덤 위상 효과를 주는 방법을 제안한다. CGH(Computer Generated Hologram)에서 랜덤 위상의 추가는 실제 촬영하여 획득한 홀로그램에서 물체 표면의 난반사에 대한 영향을 고려한 것이다. 이 랜덤 위상은 생성한 홀로그램의 광 시야각 확장 효과가 있다. 하지만 이것은 랜덤으로 발생하기 때문에 홀로그램 시퀀스를 생성할 때 같은 객체 표면에 대해서 고정된 효과를 줄 수 없다. 본 논문에서는 CGH를 진행할 때 물체의 고유한 랜덤 위상 추가를 위해 3D 체적형 모델을 사용하는 방법을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.325-326
• /
• 2020

고해상도의 홀로그램을 얻기 위한 다양한 연구가 지속되고 있다. 본 논문은 고해상도의 위상 홀로그램을 획득하기 위하여 딥러닝 기반의 학습과 복원 결과를 가지고 분석을 진행한다. 사용된 위상 홀로그램은 보편적인 이미지와 값의 범위가 동일하다. SISR(Single Image Super Resolution)에서 좋은 결과를 보인 네트워크를 사용하여 위상 홀로그램에 대한 학습을 진행하였다. 네트워크로 획득한 홀로그램과 원본 홀로그램의 복원 결과를 비교하여, 차이점과 개선해야할 것들에 대해서 심도 있게 분석한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.591-592
• /
• 2020

본 논문에서는 Print-Cam 공격에 강인한 비가시성 워터마크 기법에 대해 제안한다. Print-Cam은 영상을 인쇄하고 다시 스캐닝 혹은 촬영하는 과정으로 워터마크에 큰 손실이 발생한다. 워터마크 삽입 및 추출은 영상을 2차원 이산웨이블릿 변환(2-Dimensional Discrete Wavelet Transform, 2D-DWT)하여 주파수 영역에서 진행하였다. 추출한 워터마크는 디지털 홀로그램이므로 이를 복원함으로써 Print-Cam 공격에 강인함을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.190-191
• /
• 2022

본 논문에서는 RGB-D 카메라와 Mediapipe 모듈을 이용한 신체 추적 및 리깅 프레임 워크를 제안한다. Openpose 및 Mediapipe를 통해 스켈레톤 정보를 추출할 수 있으며, 이 정보를 그래픽스 엔진의 입력으로 사용하여 휴머노이드 아바타 기능을 통해 각 캐릭터의 아바타가 다르더라도 리깅을 구현할 수 있다. 결과적으로 수작업을 통해 리깅을 구현하는 시간을 단축시킬 수 있다. 두 모듈과 RGB-D 카메라를 통해 획득한 3차원 스켈레톤 정보를 통해 실시간으로 사용자를 추적하고 자동 rigging하는 그래픽스 엔진 프레임 워크를 제안한다.