• 한국CDE학회논문집
• /
• 제21권2호
• /
• pp.159-169
• /
• 2016

In order to realize the virtual prototyping (VP) of digital products, it is important to provide the people involved in product development with the appropriate visualization and interaction of the products, and the vivid simulation of user interface (UI) behaviors in an interactive 3D virtual environment. In this paper, we propose an approach to web-based 3D virtual experience using Unity and Leap Motion. We adopt Unity as an implementation platform which easily and rapidly implements the visualization of the products and the design and simulation of their UI behaviors, and allows remote users to get an easy access to the virtual environment. Additionally, we combine Leap Motion with Unity to embody natural and immersive interaction using the user's hand gesture. Based on the proposed approach, we have developed a testbed system for web-based 3D virtual experience and applied it for the design evaluation of various digital products. Button selection test was done to investigate the quality of the interaction using Leap Motion, and a preliminary user study was also performed to show the usefulness of the proposed approach.

• International journal of advanced smart convergence
• /
• 제7권2호
• /
• pp.135-142
• /
• 2018

Virtual reality (VR) technology has been increasingly more frequently used day by day in industries, entertainment and performances due to the development of AR and MR technologies. Performance arts also actively utilize $360^{\circ}$ VR technology due to the free expression of stage settings and auditoriums. However, technologies for systems in which performers wear VR devices firsthand rather than being in the sandpoint of bystanders while audiences wear VR head mounted displays(HMDs) to see performance stages have been rarely studied yet. This study investigated the technical possibilities of possible methods of expression that will enable performers to appear on the stage wearing VR devices. Since VR can maximize the sense of immersion with its closed HMD structure unlike augmented reality (AR), VR was judged to be suitable for studies centered on the mental interactions in the inner side of humans. Among them, to implement shamanistic expression methods with the phantoms of the body and soul, a motion capture technology linked with VR display devices and real-time cameras was realized on the stage. In this process, the importance of body ownership experienced by the performers (participants), reactions when they lost it, and the mental phenomena of the desire to possess the subjects of gaze could be seen. In addition, high possibility of development of this technology hereafter could be expected because this technology includes the technical openness that enables the audience to appear on the stage firsthand to become performers.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.1088-1091
• /
• 2017

최근 그래픽스 기반의 가상현실 기술의 발전과 관심이 증가하면서 3D 객체와의 자연스러운 상호작용을 위한 방법들 중 손 제스처 인식에 대한 연구가 활발히 진행되고 있다. 본 논문은 가상현실 3D 오브젝트와의 상호작용을 위한 MCSVM 기반의 손 제스처 인식을 제안한다. 먼저 다양한 손 제스처들을 립모션을 통해 입력 받아 전처리를 수행한 손 데이터를 전달한다. 그 후 이진 결정 트리로 1차 분류를 한 손 데이터를 리샘플링 한 뒤 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 MCSVM 학습을 통해 2차 분류를 수행하여 제스처를 인식한다. 실험 결과 3D 오브젝트와 상호작용을 위한 16개의 명령 제스처에 대해 평균 99.2%의 인식률을 보였고 마우스 인터페이스와 비교한 정서적 평가 결과에서는 마우스 입력에 비하여 직관적이고 사용자 친화적인 상호작용이 가능하다는 점에서 게임, 학습 시뮬레이션, 설계, 의료분야 등 많은 가상현실 응용 분야에서의 입력 인터페이스로 활용 될 수 있고 가상현실에서 몰입도를 높이는데 도움이 됨을 알 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제25권10호
• /
• pp.1535-1545
• /
• 2022

Sign language has completely different meaning depending on the direction of the hand or the change of facial expression even with the same gesture. In this respect, it is crucial to capture the spatial-temporal structure information of each movement. However, sign language translation studies based on Sign2Gloss2Text only convey comprehensive spatial-temporal information about the entire sign language movement. Consequently, detailed information (facial expression, gestures, and etc.) of each movement that is important for sign language translation is not emphasized. Accordingly, in this paper, we propose Spatial-temporal Keypoints Centered Sign2Gloss2Text Translation, named STKC-Sign2 Gloss2Text, to supplement the sequential and semantic information of keypoints which are the core of recognizing and translating sign language. STKC-Sign2Gloss2Text consists of two steps, Spatial Keypoints Embedding, which extracts 121 major keypoints from each image, and Temporal Keypoints Embedding, which emphasizes sequential information using Bi-GRU for extracted keypoints of sign language. The proposed model outperformed all Bilingual Evaluation Understudy(BLEU) scores in Development(DEV) and Testing(TEST) than Sign2Gloss2Text as the baseline, and in particular, it proved the effectiveness of the proposed methodology by achieving 23.19, an improvement of 1.87 based on TEST BLEU-4.

• 한국멀티미디어학회논문지
• /
• 제25권9호
• /
• pp.1257-1265
• /
• 2022

Recognition of sign language is challenging due to the occlusion of hands, accuracy of hand gestures, and high computational costs. In recent years, deep learning techniques have made significant advances in this field. Although these methods are larger and more complex, they cannot manage long-term sequential data and lack the ability to capture useful information through efficient information processing with faster convergence. In order to overcome these challenges, we propose a word-level sign language recognition (SLR) system that combines a real-time human pose detection library with the minimized version of the gated recurrent unit (GRU) model. Each gate unit is optimized by discarding the depth-weighted reset gate in GRU cells and considering only current input. Furthermore, we use sigmoid rather than hyperbolic tangent activation in standard GRUs due to performance loss associated with the former in deeper networks. Experimental results demonstrate that our pose-based optimized GRU (Pose-OGRU) outperforms the standard GRU model in terms of prediction accuracy, convergency, and information processing capability.

• 로봇학회논문지
• /
• 제18권1호
• /
• pp.18-28
• /
• 2023

This study introduces a smart wrist band system with pressure measurements using wrist skin curvature variation due to finger motion. It is easy to wear and take off without pre-adaptation or surgery to use. By analyzing the depth variation of wrist skin curvature during each finger motion, we elaborated the most suitable location of each Force Sensitive Resistor (FSR) to be attached in the wristband with anatomical consideration. A 3D depth camera was used to investigate distinctive wrist locations, responsible for the anatomically de-coupled thumb, index, and middle finger, where the variations of wrist skin curvature appear independently. Then sensors within the wristband were attached correspondingly to measure the pressure change of those points and eventually the finger motion. The smart wrist band was validated for its practicality through two demonstrative applications, i.e., one for a real-time control of prosthetic robot hands and the other for natural human-computer interfacing. And hopefully other futuristic human-related applications would be benefited from the proposed smart wrist band system.

• 한국엔터테인먼트산업학회논문지
• /
• 제5권2호
• /
• pp.87-95
• /
• 2011

최근 다양한 인터랙티브 인터페이스 개발로 인해 체감형 게임 환경에 관심이 모아지고 있다. 따라서 본 논문에서는 증강현실 기술의 하나인 마커인식 인터페이스와 멀티 터치 인터랙션 인터페이스를 이용한 멀티 카드 터치 기반의 인터랙티브 아케이드 시스템을 제안한다. 이를 위해 DI 기반의 인식 알고리즘을 적용하여 카드의 위치, 방향 정보를 인식한다. 또한 사용자의 손 제스처 정보를 트래킹하여 다양한 인터랙션 메타포를 제공한다. 본 시스템은 사용자에게 좀 더 높은 몰입감을 제공하며 새로운 경험을 제공한다. 따라서 제안하는 시스템은 체감형 아케이드 게임기기에 활용될 것이다.

• Journal of Information Science Theory and Practice
• /
• 제12권1호
• /
• pp.39-59
• /
• 2024

An online social network is a platform that is continuously expanding, which enables groups of people to share their views and communicate with one another using the Internet. The social relations among members of the public are significantly improved because of this gesture. Despite these advantages and opportunities, criminals are continuing to broaden their attempts to exploit people by making use of techniques and approaches designed to undermine and exploit their victims for criminal activities. The field of digital forensics, on the other hand, has made significant progress in reducing the impact of this risk. Even though most of these digital forensic investigation techniques are carried out manually, most of these methods are not usually appropriate for use with online social networks due to their complexity, growth in data volumes, and technical issues that are present in these environments. In both civil and criminal cases, including sexual harassment, intellectual property theft, cyberstalking, online terrorism, and cyberbullying, forensic investigations on social media platforms have become more crucial. This study explores the use of machine learning techniques for addressing criminal incidents on social media platforms, particularly during forensic investigations. In addition, it outlines some of the difficulties encountered by forensic investigators while investigating crimes on social networking sites.

• 정보처리학회논문지B
• /
• 제16B권5호
• /
• pp.341-346
• /
• 2009

모션 데이터 글러브는 손의 움직임을 측정하여 컴퓨터에 입력하는 대표적인 인간과 컴퓨터간의 인터페이스 도구로서, 홈 오토에이션, 가상 현실, biometrics, 모션 캡쳐 등의 컴퓨터 신기술에 사용되는 필수 장비이다. 본 논문에서는 대중화를 위하여, 별도의 특수 장비 없이 사용 가능한 저가형 비주얼 모션 데이터 글러브를 개발하고자 한다. 본 방식의 특징은 기존의 모션 데이터 글러브에 사용되었던, 고가의 모션 센싱 섬유를 사용하지 않음으로써, 저가형으로 개발이 가능하다는 것이다. 따라서 제작이 용이하고 대중화에 크게 기여할 수 있다는 장점을 가진다. 본 방식에서는 모션 센싱 섬유를 사용하는 기계적인 방식대신 광학적 모션 캡쳐 기술을 개량한 비주얼 방식을 채택한다. 기존의 비주얼 방식에 비해 본 방식은 다음과 같은 장점과 독창성을 가진다. 첫째, 기존의 비주얼 방식은 가려짐 현상을 제거하고 3차원 자세 복원을 위해 많은 수의 카메라와 장비를 사용하는 데 비해, 본 방식은 모노비전 방식을 채택하여 장비가 간소하고 저가형 개발이 가능하다. 둘째, 기존의 모노비전방삭은 가려짐 현상에 취약하여 영상에서 가려진 부분은 3차원 자세 복원이 어려웠다. 하지만 본 논문은 독창적으로 설계된 막대 모양의 지시자를 사용하여, 영상에서 가려진 부분도 3차원 자세 복원이 가능하다. 셋째, 기존의 모노 비전 방식은 비선형 수치해석 형태의 영상 해석 알고리즘을 사용하는 경우가 많아서 초기화나 계산시간 면에서 불편하였다. 하지만, 본 논문에서는 독창적인 공식화 방법을 사용하여 닫힌 형태의 영상해석 알고리즘을 도출함으로써 이와 같은 불편을 개선하였다. 넷째, 기존의 닫힌 형태의 알고리즘은 공식화 과정에서 근사화 방법을 도입하는 경우가 많아서 정확도가 떨어지고 특이점에 의한 응용분야에 제한이 있었다. 하지만 본 방식은 오일러 각과 같은 국부적인 매개화나 근사화 등을 사용하는 대신 지수형태의 트위스트좌표계를 사용하는 독창적인 공식화 방법을 사용하여, 공식화 단계에서의 근사화 방법 없이 닫힌 형태의 알고리즘을 도출함으로써 이 문제들을 개선하였다.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2005년도 추계학술대회 논문집
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.