• 한국통신학회논문지
• /
• 제24권9A호
• /
• pp.1442-1450
• /
• 1999

본 논문에서는 MPEG-2 비디오 부호화기에서의 프레임 메모리 하드웨어 구현을 위한 DRAM의 효율적인 메모리 맵과 이에 따른 하드웨어 구조를 제안한다. 논문에서 제시된 메모리 맵은 DRAM 사용 시간과 대역폭을 줄임으로써 시스템의 성능을 개선할 수 있도록 설정되었고, 개발된 하드웨어는 MPEG-2 비디오 부호화기에 구성된 타모듈과 인터페이스를 위해 하드웨어는 VHDL을 이용하여 구현하였으며, $0.5\mu\textrm{m}$, VTI, ASIC 라이브러리인 camn5a3을 이용하여 합성하였다. 개발된 하드웨어에 대한 RT (register transfer) 수준 및 게이트 수준의 검증을 위해 VHDL 시뮬레이터와 로직 합성 툴을 사용하였고, 추후 성능 개선과 기능 검증을 위해서 하드웨어 에뮬레이터를 개발하였다. 구현된 하드웨어 MPEG-2의 MP@ML에서 요구하는 전송률로 데이터를 채널에 전송할 수 있도록 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제13권2호
• /
• pp.47-54
• /
• 2007

본 논문은 두 대의 카메라로부터 들어온 영상을 보여주는 see-through 장치의 사용 환경하에서 일반적인 사용자도 쉽고 편리하게 컴퓨터 시스템 또는 여러 프로세스들을 제어할 수 있는 사용자 인터페이스를 제안한다. 이를 위해 AR기술을 접목하여 영상이 보이는 화면에 가상의 버튼들을 합성하였으며, 화면상에 보이는 손의 위치를 추적하여 손가락에 의한 버튼의 선택 유무를 판단하고 각 상황에 따른 버튼의 색상 변경을 통해 결과를 나타내었다. 사용자는 단순히 화면을 보며 공중에서 손가락을 움직여 버튼을 선택함으로써 관련 작업을 수행 할 수 있다.

• ETRI Journal
• /
• 제38권6호
• /
• pp.1114-1123
• /
• 2016

Multi-view video plus depth (MVD) has been widely used owing to its effectiveness in three-dimensional data representation. Using MVD, color videos with only a limited number of real viewpoints are compressed and transmitted along with captured or estimated depth videos. Because the synthesized views are generated from decoded real views, their original reference views do not exist at either the transmitter or receiver. Therefore, it is challenging to define an efficient metric to evaluate the quality of synthesized images. We propose a novel metric-the reduced-reference quality metric. First, the effects of depth distortion on the quality of synthesized images are analyzed. We then employ the high correlation between the local depth distortions and local color characteristics of the decoded depth and color images, respectively, to achieve an efficient depth quality metric for each real view. Finally, the objective quality metric of the synthesized views is obtained by combining all the depth quality metrics obtained from the decoded real views. The experimental results show that the proposed quality metric correlates very well with full reference image and video quality metrics.

• 로봇학회논문지
• /
• 제14권1호
• /
• pp.22-30
• /
• 2019

For effective human-robot interaction, robots need to understand the current situation context well, but also the robots need to transfer its understanding to the human participant in efficient way. The most convenient way to deliver robot's understanding to the human participant is that the robot expresses its understanding using voice and natural language. Recently, the artificial intelligence for video understanding and natural language process has been developed very rapidly especially based on deep learning. Thus, this paper proposes robot vision to audio description method using deep learning. The applied deep learning model is a pipeline of two deep learning models for generating natural language sentence from robot vision and generating voice from the generated natural language sentence. Also, we conduct the real robot experiment to show the effectiveness of our method in human-robot interaction.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.142-152
• /
• 2019

기존 방송 콘텐츠 대비 더욱 생생한 현장감을 주는 초고해상도 콘텐츠에 대한 관심이 증가하고 있다. 하지만 기존의 방송 서비스에서 초고해상도 콘텐츠를 제공하기 위해서는 영상 획득 장치의 화각 및 개별 해상도 한계가 있다. 이러한 문제를 해결하기 위해 여러대의 입력 장치를 통한 영상합성 방법인 스티칭에 대한 연구가 다수 진행되고 있다. 본 논문에서는 기존 스티칭 연구에서의 단점 중 하나인 수평방향으로 촬영된 영상들 정합과정에서 이동하는 물체의 시불변성 훼손을 극복하기 위해, 최소 오류 경계를 활용한 동적 물체 기반 동영상 정합 방안을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.113-116
• /
• 2008

본 논문에서는 다시점 비디오(multi-view video)에서 보다 다양한 시점을 제공하기 위한 가상 시점 비디오 생성 기법을 제안한다. 제안하는 가상 시점 비디오 생성 기법은 우선적으로 대칭적 신뢰 전파 기법(symmetric belief propagation)을 기반으로, 각 시점의 깊이 정보 및 폐색 영역(occlusion region)을 추출하기 위해서 에너지를 최소화한다. 추출된 깊이 정보 및 에너지를 이용하여 참조하는 시점 간의 가중치를 적용하여, 새로운 가상 시점의 비디오를 생성하고, 추출된 폐색 영역의 값을 이용하여, 가상 시점의 비디오를 보정하는 가상 시점 비디오 생성 기법을 제안한다. 또한 제안하는 알고리즘을 한정된 중간 시점 영상에서 임의의 가상 시점으로 확장하여, 임의의 두 시점 간의 자유로운 시점(free-view point)을 제공함을 확인한다. 실험을 통하여 제안하는 기법이 다시점 비디오에서 높은 화질의 가상 시점 비디오를 제공함을 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.51-53
• /
• 2022

고정된 위치를 중심으로 회전운동만 체험할 수 있는 3 자유도(DoF: Degrees of Freedom)를 넘어 위치를 변경하며 운동시차까지 포함된 6 자유도를 지원하는 몰입형 미디어에 대한 연구가 지속해서 진행되고 있다. 특히 부드러운 시점 변경을 제공하기 위해 특정 위치에서 샘플링 된 여러 개의 텍스쳐(또는 컬러) 및 깊이맵 영상(MVD: Multiview Video plus Depth)으로 구성된 다시점 영상을 통해 실제로 획득되지 않은 위치에서의 영상을 만들어내는 가상시점 합성(virtual view synthesis) 기술이 많이 사용되고 있다. 본 논문에서는 몰입형 미디어의 대표적인 데이터 형식인 다시점 영상을 실사 및 컴퓨터 그래픽스(CG: Computer Graphics) 환경에서 획득하는 방법에 관해 설명한다.

• 기본간호학회지
• /
• 제25권2호
• /
• pp.120-133
• /
• 2018

Purpose: A meta-analysis was conducted to evaluate effectiveness of education programs using video recording and feedback in the improvement of competency in clinical skills for health care majors. Methods: Six databases were searched and inclusion criteria were randomized controlled trials (RCTs) or non-randomized controlled trials (NRTs) reporting level of skill competency using numerical measurements. Data analysis and synthesis were performed using Comprehensive Meta-Analysis software and Revman program. Results: Of 1,568 records, 11 studies met inclusion criteria. Statistically significant effectiveness of education programs using video recording and feedback was identified. A low risk of bias was detected among both RCTs and NRTs. Meta-analysis showed that the intervention groups had more effective improvements in skill competency (standardized mean difference [SMD]: 0.74; 95% CI: 0.33~1.16). Results of subgroup analysis showed higher effects when interventions dealt with one skill, used self-reflection with expert feedback, and included instruction from instructor in the education programs. Conclusion: Findings suggest that schools for health care majors should actively adopt video and feedback based skill training allowing educators to design effective programs. Potential is higher for students to achieve higher competency when they train with one skill at a time, use of instruction and receive feedback from experts.

• 한국컴퓨터정보학회논문지
• /
• 제25권5호
• /
• pp.19-26
• /
• 2020

본 논문에서는 다양한 사용자의 영상을 이용하여 축구공 리프팅과 같은 묘기 장면을 만들 수 있는 프레임워크를 제안한다. 제안된 방법은 핸드폰 등으로 촬영된 일반적인 사용자의 영상이라면 수 초 이내에 원하는 결과를 생성할 수 있다. 본 논문의 프레임워크는 크게 세 부분으로 나누어진다. 첫 번째는 사용자의 영상을 입력받아 자세를 분석하는 것이다. 이를 위해서는 딥러닝 기법으로 영상을 분석하여 사용자의 포즈를 계산하고, 원하는 신체 부위의 움직임을 추적할 수 있다. 두 번째는 지정된 신체부위의 이동 궤적을 분석하여 물체를 타격하는 위치와 시간을 계산하는 것이다. 마지막으로 분석된 타격 정보를 이용하여 물체의 이동 궤적을 생성하는 것이다. 그러면 입력된 사용자 영상과 동기화되는 자연스러운 물체 리프팅 장면을 생성할 수 있다. 사실적인 물체의 움직임을 생성하기 위해 물리 기반 최적화를 사용하였다. 본 논문의 프레임워크를 이용하면 다양한 증강현실 어플리케이션을 제작할 수 있다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.216-227
• /
• 2022

MPEG-I (Immersive) 그룹에서는 6자유도(DoF: degrees of freedom)를 제공하는 몰입형 비디오의 표준화 프로젝트를 진행 중에 있다. MPEG Immersive Video (MIV) 표준화 기술에서는 사용자에게 움직임 시차(parallax)를 제공하기 위해 취득한 다수의 영상을 깊이 맵 기반 이미지 렌더링(depth map-based image rendering, DIBR)을 바탕으로 임의의 사용자 시점의 뷰를 렌더링하게 된다. 현재 MIV에서는 효율적인 부호화를 위한 기술들이 많이 논의된 바 있지만, 전송 측면에 대해서는 여전히 논의가 필요하다. 본 논문은 사용자 시점에 적응적인 몰입형 비디오 스트리밍을 위한 품질 할당 기법을 제안한다. 현재 MIV에서 지원하고 있는 그룹 분할 기법을 통하여 독립적으로 전송, 복원이 가능한 시점 그룹 단위를 생성하여 이를 사용자 시점에 기반한 품질 할당 기법을 통해 효율적인 전송이 가능하도록 한다. 제안하는 적응적 전송 기법은 Test Model for Immersive Video (TMIV) 시험모델을 통해 구현되었으며, 주어진 합성 시점 위치에 따라 렌더링 과정에서의 기여도를 그룹별로 계산하고 우선 시점 그룹을 판단하여 고품질로 전송한다. 사용자 시점에 대한 렌더링 비교 결과를 통해 제안하는 기법이 기존 TMIV 대비 PSNR 지표에서 평균 17.0%, IV-PSNR 지표에서 14.6%의 BD-rate 감소율을 보여 효율적인 전송이 가능함을 보였다.