• The Journal of the Korea Contents Association
• /
• v.12 no.12
• /
• pp.54-62
• /
• 2012

AUI(Advanced User Interaction) interface aims to enhance interaction between various input/output devices and scene descriptions represented by video, audio, and graphic. Recently, MPEG-U part 2 standardization for the AUI interface is under development by MPEG(moving picture experts group). This paper introduces MPEG-U part 2 standard and presents MPEG-U part 2 AUI interface system. The AUI interface system consists of user interface in/output modules and MPEG-U XML generation/interpretation modules. The former and the latter are for UID data handling and XML data processing, respectively. This system MPEG-U standards-based input/output devices and to improve the interaction with the user can be used as a framework. By implementation of the proposed AUI interface system, MPEG-U usage scenario is introduced and it is verified that the AUI interface system conforms to MPEG-U standard.

• IEIE Transactions on Smart Processing and Computing
• /
• v.5 no.4
• /
• pp.267-273
• /
• 2016

Hand posture recognition is an important technique to enable a natural and familiar interface in the human-computer interaction (HCI) field. This paper introduces a hand posture recognition method using a depth camera. Moreover, the hand posture recognition method is incorporated with the Moving Picture Experts Group Rich Media User Interface (MPEG-U) Advanced User Interaction (AUI) Interface (MPEG-U part 2), which can provide a natural interface on a variety of devices. The proposed method initially detects positions and lengths of all fingers opened, and then recognizes the hand posture from the pose of one or two hands, as well as the number of fingers folded when a user presents a gesture representing a pattern in the AUI data format specified in MPEG-U part 2. The AUI interface represents a user's hand posture in the compliant MPEG-U schema structure. Experimental results demonstrate the performance of the hand posture recognition system and verified that the AUI interface is compatible with the MPEG-U standard.

• Journal of Broadcast Engineering
• /
• v.19 no.1
• /
• pp.83-95
• /
• 2014

Hand posture recognition is an important technique to enable a natural and familiar interface in HCI(human computer interaction) field. In this paper, we introduce a hand posture recognition method by using a depth camera. Moreover, the hand posture recognition method is incorporated with MPEG-U based advanced user interaction (AUI) interface system, which can provide a natural interface with a variety of devices. The proposed method initially detects positions and lengths of all fingers opened and then it recognizes hand posture from pose of one or two hands and the number of fingers folded when user takes a gesture representing a pattern of AUI data format specified in the MPEG-U part 2. The AUI interface system represents user's hand posture as compliant MPEG-U schema structure. Experimental results show performance of the hand posture recognition and it is verified that the AUI interface system is compatible with the MPEG-U standard.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.202-205
• /
• 2012

최근 멀티미디어 분야에서 다양한 입/출력 장치들이 개발됨에 따라 입/출력 장치와 사용자 사이의 향상된 상호작용(AUI : Advanced User Interaction)을 위한 방법들이 연구되고 있다. AUI에서 정의되는 데이터는 입/출력 장치와 다양한 객체(비디오, 오디오, 2D 그래픽 객체, 애니메이션 등)로 표현되는 Scene Description 사이에서 서로 정보를 주고받기 위한 매체이다. 따라서 다양한 입/출력 장치와 사용자 사이의 향상된 상호작용을 위해서는 AUI 데이터 형식이 공통적으로 정의되어야한다. 이를 위해 ISO/IEC JTC1/SC29/WG11 Moving Picture Experts Group(MPEG)에서는 XML(Extensible Markup Language) 문서로 AUI 데이터 포맷을 표준화하기 위한 MPEG-U 프로젝트를 진행 중이다. 본 논문에서는 MPEG-U의 표준을 소개하고, 이의 타당성을 검증하기 위해서 MPEG-U 참조 소프트웨어를 설계하였다. MPEG-U 참조 소프트웨어는 크게 UID(User Interaction Device)의 데이터를 처리하는 사용자 인터페이스 입/출력부와 XML 문서를 처리하는 MPEG-U XML 생성/해석부로 구성된다. 사용자 인터페이스 입력부에서는 사용자의 손동작을 인식하여 AUI 파라미터로 저장하고, 이 파라미터를 MPEG-U XML 생성부에서 MPEG-U 표준 XML 스키마 구조로 서술하여 표준화된 AUI 데이터 포맷을 생성한다. 다시 표준화된 XML 문서를 읽어 MPEG-U XML 해석부에서 파라미터를 얻고, 사용자 인터페이스 출력부에서 GUI(Graphic User Interface)에서 그래픽 객체로 표현한다. 본 연구에서는 MPEG-U 참조 소프트웨어로 MPEG-U의 용용 예를 제시하고, 구현된 소프트웨어가 표준에 적합한지를 보였다.