• 제목/요약/키워드: sign language recognition

검색결과 85건 처리시간 0.027초

A Decision Tree based Real-time Hand Gesture Recognition Method using Kinect

  • Chang, Guochao;Park, Jaewan;Oh, Chimin;Lee, Chilwoo
    • 한국멀티미디어학회논문지
    • /
    • 제16권12호
    • /
    • pp.1393-1402
    • /
    • 2013
  • Hand gesture is one of the most popular communication methods in everyday life. In human-computer interaction applications, hand gesture recognition provides a natural way of communication between humans and computers. There are mainly two methods of hand gesture recognition: glove-based method and vision-based method. In this paper, we propose a vision-based hand gesture recognition method using Kinect. By using the depth information is efficient and robust to achieve the hand detection process. The finger labeling makes the system achieve pose classification according to the finger name and the relationship between each fingers. It also make the classification more effective and accutate. Two kinds of gesture sets can be recognized by our system. According to the experiment, the average accuracy of American Sign Language(ASL) number gesture set is 94.33%, and that of general gestures set is 95.01%. Since our system runs in real-time and has a high recognition rate, we can embed it into various applications.

수화소 분석을 통한 손동작 움직임 표현방법 (Advanced Representation Method of Hand Motion by Cheremes Analysis in KSL)

  • 이부형;송필재
    • 한국멀티미디어학회논문지
    • /
    • 제9권8호
    • /
    • pp.1067-1075
    • /
    • 2006
  • 본 논문에서는 손동작 인식을 위한 개선된 손동작 움직임 표현방법을 제안한다. 제안된 방법은 다양하고 통일된 손동작 움직임을 인식하기 위해서 수화(한글수화) 시 사용되는 손동작에 적용시킨 표현방법이다. 수화 특히, 한글수화(KSL)는 수화소(Cheremes)라는 요소들, 즉, 손의 이동 방향, 손가락모양, 손의 위치 등의 조합에 의해 단어 또는 문장이 완성되어 의미 있는 수화가 완성된다. 본 논문에서는 한글 수화에서 이용되는 수화소(Cheremes)를 5개의 수화소 즉, 손의 이동방향(HMO),손가락모양(FS), 손의 방향(H0), 손의 위치(HP) 및 사용하는 손의 수(HN)로 분류, 표현한다. 손의 이동방향(HMO)은 수화에서 단어 또는 문장을 표현하는데 사용되는 방향을 고려하여 17개의 방향성분으로 표현한다. 손가락 모양(FS)은 수화동작에서 사용되는 손가락의 모양에 따라 17개의 성분으로 표현할 수 있으며, 또한, 손의 바닥을 이용하는지 손등을 이용하는지에 따라 손의 방향(HO)이 2가지 특징으로 표현된다. 손의 현재 위치(HP)는 수화동작에서 손이 놓이는 위치를 의미하며, 머리영역에서 가슴영역까지 전체 8개의 영역으로 나뉘어 표현한다. 마지막으로 사용하는 손의수는 수화동작에서 손 하나만을 사용하는지 양쪽 모두를 사용하는 지를 나타내는 것으로, 2가지 특징으로 표현한다. 제안된 손동작 표현방법을 한글수화의 단어 및 문장 모두에 적용한 결과 모든 KSL이 제안된 표현방법으로 완벽하게 표현됨을 보였다.

  • PDF

2개의 비전 센서 및 딥 러닝을 이용한 도로 속도 표지판 인식, 자동차 조향 및 속도제어 방법론 (The Road Speed Sign Board Recognition, Steering Angle and Speed Control Methodology based on Double Vision Sensors and Deep Learning)

  • 김인성;서진우;하대완;고윤석
    • 한국전자통신학회논문지
    • /
    • 제16권4호
    • /
    • pp.699-708
    • /
    • 2021
  • 본 논문에서는 2개의 비전 센서와 딥 러닝을 이용한 자율주행 차량의 속도제어 알고리즘을 제시하였다. 비전 센서 A로부터 제공되는 도로 속도 표지판 영상에 딥 러닝 프로그램인 텐서플로우를 이용하여 속도 표지를 인식한 후, 자동차가 인식된 속도를 따르도록 하는 자동차 속도 제어 알고리즘을 제시하였다. 동시에 비전 센서 B부터 전송되는 도로 영상을 실시간으로 분석하여 차선을 검출하고 조향 각을 계산하며 PWM 제어를 통해 전륜 차축을 제어, 차량이 차선을 추적하도록 하는 조향 각 제어 알고리즘을 개발하였다. 제안된 조향 각 및 속도 제어 알고리즘의 유효성을 검증하기 위해서 파이썬 언어, 라즈베리 파이 및 Open CV를 기반으로 하는 자동차 시작품을 제작하였다. 또한, 시험 제작한 트랙에서 조향 및 속도 제어에 관한 시나리오를 검증함으로써 정확성을 확인할 수 있었다.

PfSGA를 이용한 MLP분류기의 구조 학습 및 수화인식에의 응용 (A Structural Learning of MLP Classifiers Using PfSGA and Its Application to Sign Language Recognition)

  • 김상운;신성효
    • 전자공학회논문지C
    • /
    • 제36C권11호
    • /
    • pp.75-83
    • /
    • 1999
  • 주어진 응용에 적합한 MLP 분류기의 위상 구조를 효율적으로 학습하기 위하여 종족 유전 알고리즘 (SGA)과 파라미터 프리 유전 알고리즘(PfGA)을 결합한 파라미터 프리 종족 유전 알고리즘(PfSGA)을 제안한다. SGA는 전체 탐색 공간을 은닉층 뉴런의 수에 따라 여러 개의 영역(종족)으로 분할한 후, 학습 과정 중 기준에 미달되는 종족에 대해서는 학습을 중단시킴으로써 불필요한 탐색을 줄이는 학습법이다. 그러나 SGA는 돌연변이나 교배 확률 등 학습 파라미터 설정에 따라 분류기의 성능이 달라진다. 따라서 이 논문에서는 SGA와 PfGA를 결합하여 파라미터 설정에 무관하도록 하였다. 벤치마크 데이터와 수화 단어에 대하여 실험한 결과 PfSGA는 기존의 SGA에 비해 학습 시간을 단축시킬 수 있으며, 파라미터의 설정에 영향을 받지 않았다. 또한 기존의 방법에 비해 오인식율과 위상 구조 등에 있어서 효율적임을 확인하였다.

  • PDF

사이버공간에서의 언어 사용이 초등학생들의 글쓰기에 미치는 영향 ((The Influences of Internet Chafing Language to the Writing of Elementary Students))

  • 김종진;김여진;김종훈
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권9호
    • /
    • pp.1129-1144
    • /
    • 2002
  • 본 연구에서는 인터넷 언어가 초등학생들의 글쓰기에 미치는 영향을 알아보기 위해 도내 초등학생들의 일기장과 편지를 조사했다. 또한 인터넷 언어에 대한 그들의 인식을 알아보기 위해 설문조사를 실시했다. 조사결과 일기장과 편지 모두에서 광범위하게 인터넷 언어의 흔적이 나타났으며, 그 정도는 구어체인 편지에서 더 심했다. 이에 컴퓨터교육분야에서는 첫째, 정보통신윤리교육을 강화하고, 둘째, 인터넷 언어를 필터링해주는 교육용 소프트웨어 개발에 박차를 가할 필요가 있다. 또한 국어교육분야에서는 첫째, 말줄임표(‘…’)를 마침표(.)대신 사용하거나, 필수문장성분을 생략하는 것이 초등학생들의 논리적인 사고방식형성과 어떤 관계를 갖고 있는가 밝혀질 필요가 있다. 또한 문장부호의 과다사용 및 오용(예: 물음표나 느낌표를 겹쳐 사용하는 것)은 '감정의 절제'를 특징으로 하는 세련된 글쓰기와 어떤 관계를 갖고 있는가 연구돼야 할 필요가 있다.

  • PDF

손의형상과 움직임 방향 정보를 이용한 수화인식 (Sign-Language Recognition using the Information of Hand Shape and Moving Direction)

  • 송효섭;장세진;신병주;양윤모
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권6호
    • /
    • pp.804-810
    • /
    • 1999
  • 본 논문은 최근 연구가 고조되고 있는 지적 인터페이스에 대한 연구로서, 장애인 복지와 공학적인 일반성을 고려하여 수화를 인식하였다. 장애인의 수화를 인식한다는 입장에서 심리적 부담을주지 않고 최소한의 제한조건만을 설정하여 수화의 흑백동영상을 입력으로 하였다. 수화인식에서 손의 형상과 움직임 방향정보가 제일 중요함을 감안하여 각각 그 정보를 추출하고 인식에 적용하는 방법을 개발하여 그 유효성을 보였다. 즉 형상정보의 추출 및 인식에 대해서는 형상정보만이 중요한 수화 지문자 자음 14자를 대상으로 하여 인식하는 과저을 보였다. 또한 손의 움직임 정보에 대해서는 움직임 방향마이 중요한 정보가되는 간단한 수화 단어 9개를 대상으로 인식하여 그 과정과 방법을 보였다.

동작 유사도와 적응 추이를 이용한 한국 수화 인식에서의 사용자에 대한 적응 (Incremental User Adaptation in Korean Sign Language Recognition Using Motion Similarity and Prediction from Adaptation History)

  • 정성훈;박광현;변증남
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2007년도 학술대회 1부
    • /
    • pp.386-392
    • /
    • 2007
  • 최근 들어 손 제스처를 인간-기계 인터페이스에 활용하는 연구가 많아지고 있다. 그 중에서 수화 인식은 청각장애인과 일반인 사이의 원활한 의사 소통을 하게 해 주는 인터페이스로서 중요성이 날로 더해가고 있다. 하지만 기존의 수화 인식 연구는 사용자 개개인의 수화 동작의 차이를 고려하지 않고 다수 사용자를 위한 모델을 사용하기 때문에 사용자에 따라 인식률이 낮아지게 된다. 이러한 점을 보완하기 위해 본 논문에서는 개개인의 수화 동작 특성을 반영하여 시스템이 사용자에게 적응해 가는 과정을 다루고자 한다. 특히 점진적인 사용자 적응에 있어서 가장 문제가 되는 것은 어떻게 비관측된 상태(unobserved state)의 파라미터를 수정할 것인가 하는 것이다. 이를 위해서 본 논문에서는 동작 유사도와 적응 추이에 의한 추정을 통해 비관측된 상태의 모델 파라미터를 수정한다. 실제 청각 장애인들로부터 획득한 데이터베이스를 사용하여 제안한 방법이 기존 방법에 비해 더욱 빠르게 사용자의 특성을 시스템에 반영하고 인식률을 향상시킨다는 것을 실험을 통해 보인다.

  • PDF

수화통역시스템 설계 및 구현 (Design and Implementation of Text Recognition Algorithm for Sign Language Interpretating System)

  • 오영준;장훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.691-693
    • /
    • 2002
  • 수화통역시스템은 청각장애인과 건청인의 사이에 수화를 통역하고 의사소통을 원활하게 하는 역할을 하는 멀티미디어시스템이다. 현재 다양한 수화통역시스템연구개발이 진행되고 있으나 기술상의 문제로 아직 널리 보급되지 못하고 있다. 본 논문에서는 청각장애인의 입장에서 이해할 수 있는 수화동작을 구현하는 문자인식 알고리즘을 제안한다. 이 알고리즘은 문장을 인식하고 단어별, 형태소별로 구분하여 지화그림 및 수화 데이터베이스에 있는 수화그림에 매칭시키고 수화단어들을 조합하여 수화동작을 움직이게 할 수 있는 그림을 생성한다. 알고리즘의 진행과정은 한글문장, 전처리, 형태소분리, 수화단어검색, 수화단어출력, 수화문장재배열과 동작표현으로 이루어진다.

  • PDF

LeapMotion을 이용한 수화인식 시스템의 관한 연구 (A Study on Sign Language Recognition System Using LeapMotion)

  • 문혁진;김선재;정준호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.1041-1044
    • /
    • 2017
  • 말하기와 듣기가 불가능한 언어장애인들은 수화를 통하여 그들끼리 혹은 일반인과 의사소통을 해야 한다. 수화 또한 공용어이기에 전문통역사 없이도 서로간의 의사소통이 원활해야 하지만, 현실은 그렇지 않다. 이 시스템은 LeapMotion장비를 연결 및 각종 손동작을 인식 받아 데이터 세트 내에서 처리하여 이를 자연어로 변환함으로써 의사소통의 불편함을 해소할 수 있다. 또한 머신러닝을 이용하여 반복 학습할 수 있게 설계함으로써 처리율 향상을 기대할 수 있다.

수정된 퍼지 최대-최소 신경망 모델을 이용한 수화 인식 기법 (Sign Language Recognition using a Modified Fuzzy Min-Max Neural Network Model)

  • 박소정;김호준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.257-260
    • /
    • 2011
  • 본 논문에서는 수화인식을 위한 신경망에서 특징추출과 분류단계의 방법론과, 특징 선별 기법을 통하여 분류기의 규모를 최적화 하는 방법을 고찰한다. 색상 및 움직임정보로부터 특징영역의 시간에 따른 변화를 3 차원 볼륨형태의 데이터로 표현하며, 이로부터 특징지도를 생성하는 과정에서 특징영역의 위치에 대한 변이를 보완하는 방법을 고려한다. 특징추출과정과 패턴 분류과정에서 점진적 학습이 가능한 모델과 특징 수를 효과적으로 줄일 수 있는 방법론을 제시하였으며, 학습된 신경망으로부터 특징과 패턴 클래스간의 상대적 연관성 척도를 정의하여 특징을 선별하도록 하였다. 제안된 내용에 대하여 여섯 가지 수화패턴에 대상으로 한 실험을 통하여 그 유용성을 평가하였다.