• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.375-384
• /
• 2016

본 논문에서는 스테레오 영상과 스테레오 영상 바깥 시점의 위성 영상 그리고 상응하는 깊이 영상이 입력으로 주어질 때 이 입력 영상들을 압축에 적합한 포맷으로 변환하고 활용하여 중간시점 영상을 합성하는 새로운 기법을 제안한다. 송출 단에서 깊이 영상들은 하나의 global 영상으로, 위성영상은 시점 이동 시에 발생하는 프레임 밖의 영역 및 가려짐 영역과 같은 홀 영역에만 해당하는 residual 영상으로 변환 후에 데이터 량을 줄이기 위하여 다운샘플링하고 주시점의 스테레오 영상과 더불어 HEVC 코덱으로 부호화 한 후 전송한다. 수신 단에서 복호화된 각 입력 영상들을 이용하여 스테레오 영상 간 그리고 스테레오 영상과 위성 영상간의 중간시점 영상을 합성한다. 실험을 통하여 제안한 포맷을 이용하여 합성한 중간 시점 영상을 MVD(Multiview Video plus Depth) 포맷을 이용하여 합성한 중간 시점 영상과 비교했을 때 전송하는 데이터의 비트율(bit-rate) 대비 객관적 그리고 주관적 화질이 뛰어남을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.130-133
• /
• 2010

멀티미디어 신호 처리 분야의 급속한 발전으로 인해 3차원 TV(3DTV)는 차세대 방송 시스템 시장에서 가장 주목을 받는 제품이 되었다. 3DTV는 사용자에게 입체감을 제공하여 사용자가 마치 그곳에 있는 듯한 효과를 줄 수 있다. 이에 최근 다시점 컬러 영상과 그에 대응되는 깊이 영상을 이용하여 다양한 위치에서의 입체 영상을 제공하는 기술이 활발히 진행되고 있다. 본 논문에서는 주어지는 다시점 컬러 영상과 깊이 영상의 정보를 동시에 이용하여 다시점 영상 부호화의 효율을 높이는데 그 목적이 있다. 이를 위해 시점 생성 기법을 통해 다시점 영상의 부호화 시 참조하는 주변 시점의 영상들로부터 계산되는 변이 벡터 정보를 줄이는 방법을 제안한다. 실험 결과, 기존의 다시점 비디오 부호화에 비해서 약 0.5~1.5 dB정도의 화질 개선이 이뤄졌고, 평균 17.5%의 비트율 감소를 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권11호
• /
• pp.5512-5526
• /
• 2019

In sports video games, especially ball games, motion capture techniques are used to reproduce the ball-driven performances. The amount of motion data needed to create different situations in which athletes exchange balls is bound to increase exponentially with resolution. This paper proposes how avatars in virtual worlds can not only imitate professional athletes in ball games, but also create and edit their actions effectively. First, various ball-handling movements are recorded using motion sensors. We do not really have to control an actual ball; imitating the motions is enough. Next, motion is created by specifying what to pass the ball through, and then making motion to handle the ball in front of the motion sensor. The ball's occupant then passes the ball to the user-specified target through a motion that imitates the user's, and the process is repeated. The method proposed can be used as a convenient user interface for motion based games for players who handle balls.

• 한국통신학회논문지
• /
• 제36권12C호
• /
• pp.738-743
• /
• 2011

고해상도 3차원 깊이 영상은 고품질의 3차원 방송을 위해 필요한 중요한 정보이다. 깊이 카메라는 정확한 깊이 정보를 실시간으로 얻을 수 있지만, 카메라 물리적 한계로 인해 저해상도의 깊이 영상만 이용한다. 본 논문에서는 저해상도의 깊이 영상과 색상 영상을 이용하여 색상 영상을 보간 하는 방법을 제안한다. 제안하는 방법은 랜덤워크 확률 모델을 이용하여 각 화소들이 초기 깊이값과 같을 확률값을 정의하여 가장 높은 확률을 가지는 초기 깊이값을 나머지 화소들에 복사한다. 제안한 방법은 인접한 화소들만을 이용하는 것이 아니라 경로를 따라 비용을 계산함으로써, 여러 화소에 걸친 색상의 변화율이 고려되어 물체의 경계 주변에서 색상 영역과 깊이 영상간의 경계가 일치하는 향상된 깊이 영상을 얻을 수 있다.

• Journal of Electrical Engineering and Technology
• /
• 제9권3호
• /
• pp.1023-1033
• /
• 2014

In this paper, performance improved hole-filling algorithm which includes the boundary noise removing pre-process that can be used for an arbitrary virtual view synthesis has been proposed. Boundary noise occurs due to the boundary mismatch between depth and texture images during the 3D warping process and it usually causes unusual defects in a generated virtual view. Common-hole is impossible to recover by using only a given original view as a reference and most of the conventional algorithms generate unnatural views that include constrained parts of the texture. To remove the boundary noise, we first find occlusion regions and expand these regions to the common-hole region in the synthesized view. Then, we fill the common-hole using the spiral weighted average algorithm and the gradient searching algorithm. The spiral weighted average algorithm keeps the boundary of each object well by using depth information and the gradient searching algorithm preserves the details. We tried to combine strong points of both the spiral weighted average algorithm and the gradient searching algorithm. We also tried to reduce the flickering defect that exists around the filled common-hole region by using a probability mask. The experimental results show that the proposed algorithm performs much better than the conventional algorithms.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.727-730
• /
• 2021

이미지와 비디오 합성 기술에 대한 수요가 늘어남에 따라, 인간의 손에만 의존하여 이미지나 비디오를 합성하는데에는 시간과 자원이 한정적이며, 전문적인 지식을 요한다. 이러한 문제를 해결하기 위해 최근에는 스타일 변환 네트워크를 통해 이미지를 변환하고, 믹싱하여 생성하는 알고리즘이 등장하고 있다. 이에 본 논문에서는 GAN을 이용한 스타일 변환 네트워크를 통한 자연스러운 스타일 믹싱에 대해 연구했다. 먼저 애니메이션 토이 스토리의 등장인물에 대한 데이터를 구축하고, 모델을 학습하고 두 개의 모델을 블렌딩하는 일련의 과정을 거쳐 모델을 준비한다. 그 다음에 블렌딩된 모델을 통해 타겟 이미지에 대하여 스타일 믹싱을 진행하며, 이 때 이미지 해상도와 projection 반복 값으로 스타일 변환 정도를 조절한다. 최종적으로 스타일 믹싱한 결과 이미지들을 바탕으로 하여 스타일 변형, 스타일 합성이 된 인물에 대한 동영상을 생성한다.

• 대한전자공학회논문지SD
• /
• 제45권11호
• /
• pp.71-76
• /
• 2008

H.264(또는 MPEG-4/AVC pt.10) 압축 표준은 고성능 영상 압축 알고리즘으로 그 적용 범위를 넓혀 가고 있다. H.264 압축 표준의 가변길이 코드(Variable Length Code)는 데이터의 통계적 중복성의 특성을 이용하여 압축을 한다. 이러한 압축된 비트 스트림은 복호기에서 연속된 비트 스트림을 잘라내는 작업과 테이블에서 비트 스트림과 비교하는 작업을 진행하는데 순수 하드웨어 구현이 까다로운 연산부이다. 본 논문에서는 HD 영상을 실시간으로 복호 가능한 가변길이 복호기 구조를 제안한다. Exp-Golomb 복호기는 연산기로 구성되어 있으며, CAVLD는 테이블과 연산기를 혼합하여 최적화된 하드웨어로 설계하였다. 비트 스트림의 분할(parsing) 작업은 배럴 쉬프터(Barrel shifter)와 1값 감지기(First 1's detector)에서 진행되며, 이 두 유닛은 Exp-Golomb 복호기와 CAVLD가 공유하는 구조로 설계하여 불필요한 하드웨어를 제거하였다. CAVLD와 재정렬(Reorder) 유닛간의 병목현상으로 가변길이 복호기 뿐만 아니라 H.264 디코더 전체의 성능 저하가 나타나는 단점을 제거하기 위해서 CAVLD와 재정렬 유닛간 FIFO와 재정렬 유닛의 최종 출력에 메모리를 두어 병목현상을 제거하였다. 제안된 가변길이 복호기는 Verilog-HDL을 이용하여 설계하고 FPGA를 통해 검증하였다. 0.18um 표준 CMOS 공정을 사용한 합성 결과는 22,604 게이트 수이며, 동작 주파수 120MHz에서 HD 영상이 복호됨을 확인하였다.

• 전자공학회논문지
• /
• 제49권12호
• /
• pp.201-208
• /
• 2012

본 논문에서는 실시간 동영상 부호화를 위한 효과적인 비트율 제어 방법을 제안하고 하드웨어로 구현한다. 제안하는 비트율 제어는 각 기본유닛 마다 R-D 파라미터 갱신에 의해 많은 연산 처리를 필요로 하는 이차원 R-D 모델을 사용하지 않고, 프레임의 평균 복잡도 가중치를 이용한 Qstep 결정 모델을 사용함으로써 연산량을 감소시킨다. 또한 적은 연산량과 빠른 MAD 예측을 위해 부호화된 기본유닛을 기반으로 영상의 공간적 및 시간적 상관관계를 이용하여 MAD를 예측한다. 제안하는 비트율 제어는 프레임 레벨 MAD 예측과 매크로블록 레벨 MAD 예측, GOP 비트 할당, 프레임 비트 할당, 가상버퍼, Qstep 결정 모델, 비트율 제어 파라미터 갱신, QP 결정 모듈을 포함하며 총 8개의 모듈로 구성된다. 비트율 제어 하드웨어는 Verilog-HDL을 이용하여 설계하였으며, Synopsys사의 Design Compiler를 이용하여 UMC 공정 $0.18{\mu}m$ 셀 라이브러리로 합성한 결과, 최대 동작 주파수는 108 MHz이고, 게이트 수는 19.1k이다. 실험 결과로부터 제안한 구조는 기존 구조 보다 게이트 수가 85% 감소하였고, 매크로블럭 당 QP를 결정하는데 평균 220 사이클 수가 소요되어 기존 구조보다 64% 단축됨을 확인하였다.

• 대한물리치료과학회지
• /
• 제9권4호
• /
• pp.83-94
• /
• 2002

Within physical therapy education, there has been increased attention to curricula and course that emphasize problem solving, clinical reasoning, and synthesis of information across traditional discipline-specific boundaries. This article describes the development implementation, and outcomes of a problem-based learning course in Physical therapy. The course was designed to help students to integrate the various elements of a physical therapy curriculum and to enhance their abilities to respond to an ever-changing health care environment. An evaluation of the course by the first 50 students who completed it revealed both strengths and weaknesses. Students responded that the course enhanced their professional behavior, including interpersonal communication skills, team work, and follow-through with professional responsibilities. The learning package was developed by the authors and implemented to a college students during three weeks of the first semester of 2001. Most studies which conducted PBL module development were short period or temporary PBL package application and evaluation rather than a whole semester's. While, this study carried on partial integrated PBL curriculum development and application with recomposing content of the two subjects to one subject Physical therapy which includes four PBL packages. This package was developed from a simple concept to complex and partial integrated PBL curriculum application systematically variable learning methods such as discussion, practice, lecture, video. There are 2 classes, each class has 25 students, in the college. Each class has 5 small groups consisting 5 students. Two tutors proceeded discussion charging each class also, they used multiple methods and materials like tutorials, self-directed learning, lecture, and video. The package is 5 grades and 5 hours per week and the rate of discussion, lecture is 4, 1 respectively. One of the most change is the increase of interaction between students and tutors. Whenever students need information and suggestion, they can visit tutors who provide reading materials and guide for the direction of self learning. Therefore, this study describes the PBL package development process and application during one semester recomposing contents of two subjects to Physical therapy concepts. Besides, it will contribute to active application of existing each subject to tutors who intend to convert as PBL methods. The study has significant meaning to show potentiality of partially integrated PBL application, using systematic PBL package development from two subjects contents. However, when students' need of yearning is over the extent of Introduction of Physical therapy and Rehabilitation medicine, tutors should set learning extent. So, there is limitation to attain completely integrated PBL education within one subject, therefore, it is high lighted to proceed development of integrated curriculum to maximize learning effects of PBL. It is exected that partial integrated PBL package development and application will distribute to prosper excellent physiotherapist in practice.

• 한국정보통신학회논문지
• /
• 제19권1호
• /
• pp.178-184
• /
• 2015

본 논문에서는 UHD(Ultra High Definition) 영상을 위한 고성능 HEVC(High Efficiency Video Coding) 디블록킹 필터 하드웨어 구조를 제안한다. 제안하는 하드웨어 구조는 필터링 수행시간 단축을 위해 두 개의 필터로 구성된 4단 파이프라인 구조를 가지며 경계강도 모듈을 병렬 구조로 설계하였다. 또한 저전력 하드웨어 구조를 위해 파이프라인의 단계를 클록 게이팅으로 설계하였고, 파이프라인 과정에서 단일 포트 SRAM에 접근할 때 발생하는 해저드 문제를 해결하기 위해 분할된 메모리 구조로 설계하였다. 전처리 단계에서 단일 포트 SRAM에 데이터를 저장할 때 발생하는 지연시간을 감소하기 위해 새로운 필터링 순서를 제안하였다. 본 논문에서 제안하는 디블록킹 필터 하드웨어 구조는 Verilog HDL로 설계 하였으며, TSMC 0.18um CMOS 표준 셀 라이브러리를 이용하여 합성한 결과 22k 개의 로직 게이트로 구현되었다. 또한, 동작 주파수는 150MHz에서 UHD급 8K 해상도인 $7680{\times}4320@60fps$ 처리가 가능하고 최대 동작 주파수는 285MHz이다. 제안하는 하드웨어 구조의 기본 처리단위 당 사이클 수를 비교 분석한 결과, 처리율이 기존 구조 대비 32% 향상된 결과를 얻었다.