• 제목/요약/키워드: Language as Sign

검색결과 143건 처리시간 0.026초

ART2 알고리즘을 이용한 수화 인식 (Sign Language Recognition Using ART2 Algorithm)

  • 김광백;우영운
    • 한국정보통신학회논문지
    • /
    • 제12권5호
    • /
    • pp.937-941
    • /
    • 2008
  • 수화는 청각 장애인에게 있어 중요한 의사소통 수단이며, 청각 장애인들은 수화를 통해 대인관계를 넓히며 또한 불편함 없는 일상생활이 가능하다. 그러나 최근 인터넷 통신의 발전으로 증가하고 있는 많은 화상 채팅 및 화상 통화서비스에서는 건청인과 청각 장애인 사이에 통역을 하는 시스템이 없어 청각 장애인들이 불편을 겪고 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 수화 인식기법을 제안하였다. 제안된 기법에서는 화상 카메라를 통해 얻어진 영상에서 각각 RGB, YUV, HSI 색상 정보를 이용하여 두 손의 위치를 추적하여 잡음을 제거 한 후, 두 손의 영역을 추출한다. 추출된 손의 영역은 잡음과 훼손에 강한 ART2 알고리즘을 이용하여 학습한 후 인식한다. 본 논문에서 제안된 수화 인식 방법을 실험한 결과, 수화에 사용된 지 숫자 1부터 10을 효율적으로 인식하는 것을 확인하였다.

지화인식 기반의 음성 및 SNS 공유 시스템 구현 (System implementation share of voice and sign language)

  • 강정훈;양대식;오민석;서정욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.644-646
    • /
    • 2016
  • 본 논문에서는 청각 장애인은 소리를 듣고 음성으로 표현하는 의사소통에 어려움이 있기 때문에 주로, 구화, 수화, 필담 등을 이용하여 의사소통을 진행한다. 청각 장애인과 건청인과의 의사소통을 위해서는 수화가 가장 좋은 방법이지만 수화 사용방법을 이해해야만 하는 어려움이 따른다. 청각 장애인과 건청인간의 의사소통을 위한 수단으로 지화번역 시스템을 설계 및 구현 하였다. 지화 입력 수단 으로는 손가락 모양과 손동작을 추적 할 수 있는 립 모션을 사용하였다. 입력된 정보를 처리하고 번역하기 위해서 저전력 싱글 보드 컴퓨터인 라즈베리 파이를 활용 하였다.

  • PDF

기호로서의 신체적 연기: 그것의 연극적 특성과 인지과학적 원리 (The Physical Acting as a Sign: Its Theatrical Features and Cognitive Science Principles.)

  • 김용수
    • 한국연극학
    • /
    • 제52호
    • /
    • pp.271-317
    • /
    • 2014
  • This essay studied the acting theories of Diderot, Delsarte, Meyerhold, and Artaud to know the historical formation of 'sign acting' and its theoretical and aesthetic appropriateness. The sign acting so far discussed shows the repetitive patterns of idea as follows. The sign acting (1) emphasizes the physical expression such as gesture and movement, (2) assumes that the physical expression functions as a sign evoking special emotion and thought, (3) thus recommends the imitation of the outer sign, (4) uses a tableau for the effective reception of outer sign, (5) aims for the spectator oriented aesthetics as it stresses the result of outer sign rather than the creative process of a role, (6) assumes that the emotional reaction or the intellectual understanding springs from the physical experience, (7) thus emphasizes the physical language rather than speech, (8) can attain the appropriateness of physical language by the recent theories of cognitive science. Besides having such commonness, the sign acting also reveals the individual differences. For instance, the intended sign for Diderot and Delsarte was the sign of emotion, for Meyerhold the stylized sign of circus and acrobatics, and for Artaud the spiritual sign. If Diderot and Meyerhold demands the cool consciousness for the correct sign acting, Artaud's sign acting tends to pursue the state of trance. And if Diderot, Delsarte, and Meyerhold think the sign acting on the level of sensory appeal, Artaud insists that the sign acting should dismantle the spectator's sense. As such the discussion of sign acting shows both recurrent ideas and new visions, forming an unity out of diversity. Perhaps the sign acting is a matter of practice before we consider it as a theory. It is not only supposed to have been existed practically since ancient theatre, but also used by actors consciously and unconsciously in expressing certain emotion and thought. We need to study the sign acting more academically, considering its long history and aesthetic potentials. In fact the sign acting has been an essential element of acting, in spite of bad reputation judging it as a banal and worn-out style. It is true that the sign acting, in the worst case, could produce a stereotypical expression. It was this aspect of sign acting that caused a fierce negative reaction of the realists who sought the natural expression based upon psychological truth. Of course the sign acting has a serious problem when it stays banal and artificial. But we need to see this issue from a different perspective. What is the natural expression of emotion? How is it free from the learned way of expression? In some respect, we use, in reality, a learned expression of emotion that could be accepted socially. For instance, when we attend a funeral, we use the outer sign of mourning gestures learned socially. If a semiotic expression pervades various aspects of our life, the acting, being the representation of life, seems not to be free from codified expression. The sign acting could be used consciously and unconsciously in all kinds of acting.

청각장애인의 의사소통 경험 (A Phenomenological Study on the Communication Experiences of the Deaf)

  • 김미옥;이미선
    • 한국사회복지학
    • /
    • 제65권2호
    • /
    • pp.155-177
    • /
    • 2013
  • 이 연구는 현상학적 연구방법을 활용하여, 청각장애인의 의사소통 경험을 이해하고자 한 것이다. 연구결과 청각장애인의 의사소통 경험은 '홀로 소리없는 세계에 갇힘', '소통하는 법을 터득함', '농사회구성원으로 정체성을 찾음'인 것으로 분석되었다. 이를 통해 청각장애인의 의사소통 경험을 "소리없는 혼자만의 세계에서 통(通)함을 배우고, 들을 수 있는 사람이 아닌 '잘 볼 수 있는 사람인 농아인'으로서 동병상련(同病相憐)의 정(情))을 나누며 살아감"으로 맥락화하였다. 홀로 소리없는 세계에서 소통을 경험하게 하는 중요한 도구는 수화였으며, 이는 청각장애인들이 세상과 소통을 배우고 이해하게 하는 가장 핵심적인 매개체 역할을 하는 것으로 나타났다. 수화를 통한 청각장애인의 의사소통 경험은 사회로 한발을 내딛을 수 있는 힘이면서, 스스로를 들을 수 없는 사람으로부터 잘 볼 수 있는 사람으로 정체성을 변화시키는 의미를 가지고 있었다. 이러한 결과를 통하여, 청각장애인의 의사소통과 관련된 사회 복지적 함의를 제시하였다.

  • PDF

인터넷상에 3차원 모델을 이용한 한-일간 실시간 수화 통신 시스템의 구축을 위한 기초적인 검토 (A Study on the Construction of a Real-time Sign-language Communication System between Korean and Japanese Using 3D Model on the Internet)

  • 김상운;오지영
    • 전자공학회논문지S
    • /
    • 제36S권7호
    • /
    • pp.71-80
    • /
    • 1999
  • 수화 통신은 이종 언어간의 통신 수단으로 사용될 수 있다. 이 논문에서는 3차원 모델을 이용하여 한-일간 수화 통신 시스템을 구현하여 그 가능성을 실험하였다. 실시간 통신을 위하여 통신 시스템을 클라이언트/서버 구조로 하였으며, 지적 통신방식을 도입하였다. 각 클라이언트에 3차원 모델을 준비하여 놓고, 실제의 수화영상 대신에 애니메이션 생성을 위한 파라미터 만을 전송하였다. 클라이언트에서 입력된 문장은 서버로 전송되어 한국 또는 일본 수화 파라미터로 변환한 다음 다시 클라이언트로 전송되어 수화 애니메이션으로 재생된다. 또한 자연스러운 수화 애니메이션을 위하여 감정 표현과 가변 프레임 방식 및 3차 스플라인 보간식을 이용하였다. 실험을 위한 통신 시스템은 윈도우 플랫폼에서 Visual $C^{++}$ 와 Open Inventor 라이브러리를 이용하여 구현하였다. 실험 결과 제안 시스템이 언어의 장벽을 넘을 수 있는 비언어 통신수단으로 이용될 수 있는 가능성을 보였다.

  • PDF

수어 번역을 위한 3차원 컨볼루션 비전 트랜스포머 (Three-Dimensional Convolutional Vision Transformer for Sign Language Translation)

  • 성호렬;조현중
    • 정보처리학회 논문지
    • /
    • 제13권3호
    • /
    • pp.140-147
    • /
    • 2024
  • 한국에서 청각장애인은 지체장애인에 이어 두 번째로 많은 등록 장애인 그룹이다. 하지만 수어 기계 번역은 시장 성장성이 작고, 엄밀하게 주석처리가 된 데이터 세트가 부족해 발전 속도가 더디다. 한편, 최근 컴퓨터 비전과 패턴 인식 분야에서 트랜스포머를 사용한 모델이 많이 제안되고 있는데, 트랜스포머를 이용한 모델은 동작 인식, 비디오 분류 등의 분야에서 높은 성능을 보여오고 있다. 이에 따라 수어 기계 번역 분야에서도 트랜스포머를 도입하여 성능을 개선하려는 시도들이 제안되고 있다. 본 논문에서는 수어 번역을 위한 인식 부분을 트랜스포머와 3D-CNN을 융합한 3D-CvT를 제안한다. 또, PHOENIX-Wether-2014T [1]를 이용한 실험을 통해 제안 모델은 기존 모델보다 적은 연산량으로도 비슷한 번역 성능을 보이는 효율적인 모델임을 실험적으로 증명하였다.

Modularity and Modality in ‘Second’ Language Learning: The Case of a Polyglot Savant

  • Smith, Neil
    • 한국영어학회지:영어학
    • /
    • 제3권3호
    • /
    • pp.411-426
    • /
    • 2003
  • I report on the case of a polyglot ‘savant’ (C), who is mildly autistic, severely apraxic, and of limited intellectual ability; yet who can read, write, speak and understand about twenty languages. I outline his abilities, both verbal and non-verbal, noting the asymmetry between his linguistic ability and his general intellectual inability and, within the former, between his unlimited morphological and lexical prowess as opposed to his limited syntax. I then spell out the implications of these findings for modularity. C's unique profile suggested a further project in which we taught him British Sign Language. I report on this work, paying particular attention to the learning and use of classifiers, and discuss its relevance to the issue of modality: whether the human language faculty is preferentially tied to the oral domain, or is ‘modality-neutral’ as between the spoken and the visual modes.

  • PDF

순차 램 기반 누적 신경망을 이용한 수화 인식 (Sign Language recognition Using Sequential Ram-based Cumulative Neural Networks)

  • 이동형;강만모;김영기;이수동
    • 한국인터넷방송통신학회논문지
    • /
    • 제9권5호
    • /
    • pp.205-211
    • /
    • 2009
  • 가중치가 없는 램 기반 신경망은 가중치를 재조정하는 기존 신경망에 비해 계산량 및 인식 시간이 적은 장점을 가지고 있다. 특히 연속적인 연관성을 갖는 제스처와 같은 행위 정보는 각각의 정보들이 시계열적 상관관계를 갖는다. 이와 같은 행위 정보를 인식하려면 일반적으로 많은 계산량과 처리 시간이 요구된다. 이런 문제점을 해결하기 위해 일반적으로 전처리 과정의 삽입 및 하드웨어 인터페이스 활용 등을 이용한다. 본 논문에서는 이와 같은 추가적인 방법 없이 순차 램 기반 누적 신경망으로 연속적인 행위 정보인 한글 복합어 수화 인식 시스템을 구현하였다. 제안된 모델의 성능을 검증하기 위하여 카메라로부터 입력받은 연속적인 복합어 수화 영상을 최소한의 이미지 처리인 경계선 검출만으로 수화 인식을 실험하였다. 경계선 검출 후 이진 영상을 전처리 과정 없이 제안된 순차 램 기반 누적 신경망 시스템으로 처리된 결과는 93%의 인식률을 얻었다.

  • PDF

아바타를 내장한 한글 지문자 학습 게임 개발에 관한 연구 (A Study on the Development of a Korean Manual Alphabet Learning Game with Avatar)

  • 오영준;정기철
    • 한국게임학회 논문지
    • /
    • 제9권4호
    • /
    • pp.67-80
    • /
    • 2009
  • 본 논문은 아바타를 내장한 한글 지문자 학습 게임 개발에 관한 논문으로써, 초보자가 수화아바타에게서 지문자를 쉽게 배우고 쉽게 연습할 수 있도록 한글 지문자 인식 게임 프로그램개발을 제안한다. 지문자는 단어를 철자로 표현하는 한국수화의 어휘에 대응한다. 지문자 자모가 한글 자모에 일치하고 사용자에 의하여 한글이 손 모양으로 표현되었다. 시스템은 OpenGL에 기반한 수화아바타강사 GUI 팝업윈도우와 지문자 인식모듈, 여러 한글 자음 글자가 아래로 이동하는 게임 모듈, USB 카메라로 구성된다. 지문자는 한글 자모를 표현하는 것으로써, 사용자는 아바타로부터 지문자를 배우고 USB 카메라를 이용하여 시스템에 지문자를 간단하게 입력한다. 우리는 사용자들의 검증을 통하여 개발된 시스템의 성능을 평가하였다.

  • PDF

수화 패턴 인식을 위한 2단계 신경망 모델 (Two-Stage Neural Networks for Sign Language Pattern Recognition)

  • 김호준
    • 한국지능시스템학회논문지
    • /
    • 제22권3호
    • /
    • pp.319-327
    • /
    • 2012
  • 본 논문에서는 착용식 추적장치나 표식 등의 보조 도구를 사용하지 않는 환경의 동영상 데이터로부터 수화 패턴을 인식하는 방법론에 관하여 고찰한다. 시스템 설계 및 구현에 관한 주제로서 특징점의 추출기법, 특징데이터의 표현기법 및 패턴 분류기법에 관한 방법론을 제시하고 그 유용성을 고찰한다. 일련의 동영상으로 표현되는 수화패턴에 대하여 특징점의 공간적 위치에 대한 변이 뿐만 아니라 시간차원의 변화를 고려한 특징데이터의 표현방법을 제시하며, 방대한 데이터에 의한 분류기의 크기 문제와 계산량의 문제를 개선하기 위하여 효과적으로 특징수를 줄일 수 있는 특징추출 방법을 소개한다. 패턴 분류과정에서 점진적 학습(incremental learning)이 가능한 신경망 모델을 제시하고 그 동작특성 및 학습효과를 분석한다. 또한 학습된 분류모델로부터 특징과 패턴 클래스 간의 상대적 연관성 척도를 정의하고, 이로부터 효과적인 특징을 선별하여 성능저하 없이 분류기의 규모를 최적화 할 수 있음을 보인다. 제안된 내용에 대하여 여섯 가지 수화패턴을 대상으로 적용한 실험을 통하여 유용성을 평가한다.