• 제목/요약/키워드: visual-audio

검색결과 425건 처리시간 0.02초

멀티모달 정보를 이용한 응급상황 인식 시스템의 설계 및 구현 (Design and Implementation of Emergency Recognition System based on Multimodal Information)

  • 김영운;강선경;소인미;권대규;이상설;이용주;정성태
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권2호
    • /
    • pp.181-190
    • /
    • 2009
  • 본 논문은 비주얼 정보, 오디오 정보, 중력 센서 정보에 기반한 멀티 모달 응급상황 인식 시스템을 제안한다. 제안된 시스템은 비디오 처리 모듈, 오디오 처리 모듈, 중력 센서 처리 모듈, 멀티모달 통합 모듈로 구성된다. 비디오 처리 모듈과 오디오 처리 모듈 각각은 이동, 정지 기절 등의 동작을 인식하여 멀티모달 통합 모듈에 전달한다. 멀티 모달 통합 모듈은 전달된 정보로부터 응급 상황을 인식하고 오디오 채널을 통하여 사용자에게 질문을 하고 대답을 인식함으로써 응급 상황을 재확인한다. 실험결과 영상에서는 91.5%, 착용형 중력센서는 94% 인식률을 보였으나 이들을 통합하면 응급상황을 100% 인식하는 결과를 보였다.

Audio Generative AI Usage Pattern Analysis by the Exploratory Study on the Participatory Assessment Process

  • Hanjin Lee;Yeeun Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권4호
    • /
    • pp.47-54
    • /
    • 2024
  • 첨단기술을 활용한 문화예술 교육은 기술에 대한 문해력 향상과 자기표현, 그리고 융합적 역량 개발의 측면에서 그 중요성이 증대되고 있다. 이에 혁신적인 멀티모달 AI의 생성과정과 결과평가는 확대된 시청각 경험을 제공하고 창의적 영감을 향상할 수 있다. 특히, AI와 함께 음악을 만드는 과정은 멜로디와 악상을 떠올리는 것부터 가사 개선, 편집과 변주, 악기 연주 등 모든 영역에 걸쳐 혁신적 경험을 제공한다. 이에 본 연구에서는 음악 생성 AI 플랫폼을 활용하여 과제를 수행하고 동료 학습자와 토론하는 과정을 실증적으로 분석하고자 하였다. 그 결과 자발적 참여를 통해 12개의 서비스와 10개의 평가기준 유형을 수집하여 사용패턴과 목적으로 구분할 수 있었다. 이를 토대로 학습자 관점의 AI 기반 교양교육을 위한 학술적, 기술적, 정책적 시사점을 제시하였다.

MPEG 시스템 스트림상에서 오디오 정보를 이용한 장면 경계 검출 방법 (A Scene Boundary Detection Scheme using Audio Information in MPEG System Stream)

  • 김재홍;낭종호;박수용
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제27권8호
    • /
    • pp.864-876
    • /
    • 2000
  • 본 논문에서는 일반적인 영화를 인코딩한 MPEG 형식의 비디오 데이타에 대해 장면과 장면 사이의 경계점에서 나타나는 여러 오디오 특성을 이용하는 새로운 장면 경계 검출 방법을 제안하고 실험을 통해서 그 유용성을 보인다. 일반적인 영상에서 장면 경계 지점에서는 영상의 내용이 크게 바뀜에 따라 오디오 정보도 같이 변화한다는 특성이 있으며, 본 논문에서는 이러한 장면경계에서의 오디오 정보 변화를 각각 급진변화(Radical Change), 점진변화(Gradual Change), 미세변화(Micro Change)로 분류하였으며, 각 변화의 특성을 분석하고 이를 검출하는 알고리즘을 제안하였다. 급진변화는 장면과 장면의 경계점에서 오디오가 음량의 급격한 증감이 발생하고 음색 또한 급격히 달라지는 형태를 취하고 있으며, 점진변화는 긴 시간에 걸쳐서 음량 및 음색이 달라지는 형태를, 미세변화는 음량의 변화없이 일부 음색과 주파수 분포가 달라지는 특성을 가지고 있다. 본 논문에서는 이러한 특성을 토대로 시간축을 따라 진행하는 윈도우를 설정하여 이 윈도우 내에서의 오디오 변화를 추적함으로써 위의 세 가지 형태의 장면 경계를 추출하는 방법을 제안한다. 다양한 영화를 통한 실험에서 실제 샘플로 사용된 영화들에서 가장 많은 부분을 차지하는 급진변화에 대하여 본 논문에서 제안한 방법이 높은 검출율을 얻을 수 있음을 알 수 있었다. 본 논문에서 제안한 오디오 정보를 이용한 장면 경계 검출 방법은 비디오 정보를 이용한 장면 경계 검출과 같이 병행하여 사용함으로써 MPEG 형식의 영상정보에 대한 데이타 베이스 구축에 유용하게 사용될수 있을 것이다.관 주위에 많았다.findings suggest that compounds 6 and 11 are modulating various elements of the host immune response.%로서, carbofuran 단독투여와 carbofuran과 PB 또는 3-MC 투여사이에 대사산물의 종류는 같았으나 생성율에는 큰 차이가 있었다. 이와 같은 결과는 쥐에 carbofuran 투여 후 PB나 3-MC를 투여함으로써 carbofuran의 대사가 빠르게 이루어지고, 주 대사산물 중3-hydroxycarbofuran보다 독성 이 낮은 3-ketocarbofuran으로의 대사가 빠르게 이루어지기 때문에 carbofuran의 독성이 경감되어 쥐가 생존할 수 있는 것으로 판단된다.시장젓갈${\lrcorner}$에는 글루타민산, leucine, alanine, lysine의 4종류, ${\ulcorner}$반찬젓갈${\lrcorner}$에는 글루타민산, leucine, alanine의 3종류, ${\ulcorner}$일본병조림젓갈${\lrcorner}$은 글루타민산이 현저하게 많다.회하였다.ollowed fro all Sullungtang samples from Hanwoo. The results showed that the overall quality of Sullungtang significantly decreased as the parity increased for Hanwoo cows. The Sullungtang

  • PDF

에이전트의 표정과 목소리 정서의 교차양상지각 (Crossmodal Perception of Mismatched Emotional Expressions by Embodied Agents)

  • 조유숙;석지혜;한광희
    • 감성과학
    • /
    • 제12권3호
    • /
    • pp.267-278
    • /
    • 2009
  • 오늘날 가상 세계에서 인간과 인간, 컴퓨터와 인간의 상호작용을 좀 더 효율적으로 도와줄 수 있는 매개체로서 에이전트에 대한 관심이 증대되고 있다. 특히 에이전트의 정서표현도 인간의 정서 표현처럼 해석할 수 있고 그에 대해 인간의 정서표현에 반응하는 것과 마찬가지의 방식으로 반응한다는 연구들이 있어왔다. 그렇다면 에이전트의 정서표현이 표정과 목소리에서 서로 불일치한다면 어떤 쪽에 더 치중해서 에이전트의 정서를 해석할지 또는 어느 한 쪽에 치중하는 것이 아니라 두 정서 모두 조합해서 받아들일지 알아보고자 했다. 또한 만약 표정과 목소리의 두 가지 정서를 조합해서 인지한다면 표정이나 목소리에서는 표현되지 않은 제 3의 정서를 느끼지는 않는 것인지 알아보았다. 실험은 표정(4) $\times$ 목소리(4)로 이루어졌다. 실험 결과 사람들은 에이전트의 한 가지 채널에 지배받아서 정서를 인지하는 것이 아니라 표정(시각)과 목소리(청각) 두 채널 모두를 조합해서 정서를 인지하는 것으로 나타났다. 또한 두 채널의 정서가 불일치할 때에는 혼란에 빠져 무슨 정서인지 모르게 되는 것이 아니라 또 다른 실망, 지루함, 지친, 반가운 등의 제 3의 정서를 느끼는 것으로 나타났다.

  • PDF

모바일 환경에서의 시각 음성인식을 위한 눈 정위 기반 입술 탐지에 대한 연구 (A Study on Lip Detection based on Eye Localization for Visual Speech Recognition in Mobile Environment)

  • 송민규;;김진영;황성택
    • 한국지능시스템학회논문지
    • /
    • 제19권4호
    • /
    • pp.478-484
    • /
    • 2009
  • 음성 인식 기술은 편리한 삶을 추구하는 요즘 추세에 HMI를 위해 매력적인 기술이다. 음성 인식기술에 대한 많은 연구가 진행되고 있으나 여전히 잡음 환경에서의 성능은 취약하다. 이를 해결하기 위해 요즘은 청각 정보 뿐 아니라 시각 정보를 이용하는 시각 음성인식에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 모바일 환경에서의 시각 음성인식을 위한 입술의 탐지 방법을 제안한다. 시각 음성인식을 위해서는 정확한 입술의 탐지가 필요하다. 우리는 입력 영상에서 입술에 비해 보다 찾기 쉬운 눈을 이용하여 눈의 위치를 먼저 탐지한 후 이 정보를 이용하여 대략적인 입술 영상을 구한다. 구해진 입술 영상에 K-means 집단화 알고리듬을 이용하여 영역을 분할하고 분할된 영역들 중 가장 큰 영역을 선택하여 입술의 양 끝점과 중심을 얻는다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.

통증 환아를 위한 비약물적 간호 중재 방법 조사 (A survey on the nonpharmacologic nursing intervention for children in pain)

  • 윤혜봉;조결자
    • Child Health Nursing Research
    • /
    • 제6권2호
    • /
    • pp.144-157
    • /
    • 2000
  • This study was done to understand nonpharmacologic pain management for pediateric patients and nurses' knowledge and attitudes toward it. The aim of this study was that which method did the patient's use according to the nurses' age, and how did they effectively use these methods in their field. The subjects of this study were 77 nurses working in the Pediatric unit in the Kyung Medical Center from September 2 to 15, 1999 using questionnaire form. The results of this study were as follows : 1. We divided the subjects into four groups : Younger than one year old, 1-6 years, 6-12 years, 12-18 years group. In the group younger one year old, most of the nurses participating in this study used speaking in soft quiet tones, supportive touch, toys, pacifiers. In the group of 1-6 years, they used speaking in soft quiet tones, toys, distracting attention, story talking, and visual stimulus. In the group of 6-12 years. they used pop-up books, providing information, cold therapy, speaking in soft quiet tones, supportive touch. In the group of 12-19 years, most of them used providing information, controling respiration and supportive touch. 2. The effective nursing intervention used in their field are speaking in soft quiet tones, pacifiers and nesting with blanket in the group of younger than one year old. Un the group of 1-6 years old, speaking in soft quiet tones, toys, and supportive touch were effective method in the control of nonp-harmacologic pain management. In the group of 6-12 years old, story talking, supportive touch, and speaking in soft quiet tones were effective method and in the group of 12-18 years old, providing information, cold therapy and supportive touch were effectively used to control nonpharmacologic pain management. 3. To compare the general characteristics and non-pharmacologic pain nursing intervention, in the group of younger than one year, touching stimuli is widely used. In the groups of 1-6, and 6-12 years old, visual and audio method were widely used. In the group of 12-18 years old, sensitive intervention were used as well as education, information and guided imagery. In conclusion, there was no significant difference in nurses' demographic characteristics, child's age and nonpharmacologic pain management. There was significant difference only in the nurses working area, that is nurses working in the surgical department used more audio-visual-tactile pain management methods than medical department.

  • PDF

한국어 동시조음 모델에 기반한 스피치 애니메이션 생성 (Speech Animation Synthesis based on a Korean Co-articulation Model)

  • 장민정;정선진;노준용
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제26권3호
    • /
    • pp.49-59
    • /
    • 2020
  • 본 논문에서는 규칙 기반의 동시조음 모델을 통해 한국어에 특화된 스피치 애니메이션을 생성하는 모델을 제안한다. 음성에 대응되는 입 모양 애니메이션을 생성하는 기술은 영어를 중심으로 많은 연구가 진행되어 왔으며, 자연스럽고 사실적인 모션이 필요한 영화, 애니메이션, 게임 등의 문화산업 전반에 널리 활용된다. 그러나 많은 국내 콘텐츠의 경우, 스피치 애니메이션을 생략하거나 음성과 상관없이 단순 반복 재생한 뒤 성우가 더빙하는 형태로 시각적으로 매우 부자연스러운 결과를 보여준다. 또한, 한국어에 특화된 모델이 아닌 언어 비의존적 연구는 아직 국내 콘텐츠 제작에 활용될 정도의 퀄리티를 보장하지 못한다. 따라서 본 논문은 음성과 텍스트를 입력받아 한국어의 언어학적 특성을 반영한 자연스러운 스피치 애니메이션 생성 기술을 제안하고자 한다. 한국어에서 입 모양은 대부분 모음에 의해 결정된다는 특성을 반영하여 입술과 혀를 분리한 동시조음 모델을 정의해 기존의 입술 모양에 왜곡이 발생하거나 일부 음소의 특성이 누락되는 문제를 해결하였으며, 더 나아가 운율적 요소에 따른 차이를 반영하여 보다 역동적인 스피치 애니메이션 생성이 가능하다. 제안된 모델은 유저 스터디를 통해 자연스러운 스피치 애니메이션을 생성함을 검증하였으며, 향후 국내 문화산업 발전에 크게 기여할 것으로 기대된다.

실내 환경에서 Chirp Emission과 Echo Signal을 이용한 심층신경망 기반 객체 감지 기법 (DECODE: A Novel Method of DEep CNN-based Object DEtection using Chirps Emission and Echo Signals in Indoor Environment)

  • 남현수;정종필
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권3호
    • /
    • pp.59-66
    • /
    • 2021
  • 인간은 오감 (시각, 청각, 후각, 촉각, 미각) 중 시각 및 청각 정보를 위주로 사용하여 주변 물체를 인식한다. 최신의 객체 인식과 관련한 주요 연구에서는 주로 이미지센서 정보를 이용한 분석에 초점이 맞추어져 있다. 본 논문에서는 다양한 chirp 오디오 신호를 관측공간에 방출하고 2채널 수신센서를 통해 echo를 수집하여 스펙트럼 이미지로 변화시킨 후 딥러닝을 기반으로 이미지 학습 알고리즘을 이용하여 3D 공간상의 객체 인식 실험을 진행하였다. 본 실험은 무향실의 이상적 조건이 아닌 일반적인 실내 환경에서 발생하는 잡음 및 echo가 있는 환경에서 실험을 진행하였고 echo를 통해 객체 인식률을 83% 정확도로 물체의 위치 추정할 수 있었다. 또 한 추론 결과를 관측공간과 3D Sound 공간 신호로 mapping 하여 소리로 출력하여 3D 사운드의 학습을 통해 소리를 통한 시각 정보를 얻을 수 있었다. 이는 객체 인식 연구를 위해서 이미지 정보와 함께 다양한 echo 정보의 활용이 요구된다는 의미이며 이런 기술을 3D 사운드를 통한 증강현실 등에 활용 가능할 것이다.

디지털 기법의 창조적, 개념적 활용의 유형에 관한 사례 연구 - 공간디자인 프로세스를 중심으로 - (A Study on the Creative, Conceptual Using of Digital Technique)

  • 박영태
    • 한국실내디자인학회논문집
    • /
    • 제28호
    • /
    • pp.158-166
    • /
    • 2001
  • e-revolution makes a lot of changes in the methodology all over the world. That is, the theory of real time showing helps people to access audio and visual wherever and whenever they are. In the pst computers were considered as only tools which could make us work easily. However, the meaning of computer is changing with e-revolution nowadays. Computers are not just computers as they were; they have done a lot of things which we thought impossible and they will do in the future as well. This new wave encourages people who are teaching the design to use computers whatever they do. For example, instead of using pencil and a drafting board, most people in the design field work with monitors, mouse and plotter. Therefore, most people who are in the design field need to have the ability of computer skills. They have to use computers not only in their class but also in their office. However, if we use computers for visual presenting in the class, it will not be enough to catch the e-revolution. That is, we should work with computers in the creative and conceptual design such as the using of the design information and the applying digital techniques in the early stage of the work. The purpose of this study is to show how to work with computers in the spacial design process especially th using of the DIS(Design Information System) and the applying digital techniques in the early stage of the work.

  • PDF

A DATABASE FOR HUMAN PERFORMANCE UNDER SIMULATED EMERGENCIES OF NUCLEAR POWER PLANTS

  • Park, Jin-Kyun;Jung, Won-Dea
    • Nuclear Engineering and Technology
    • /
    • 제37권5호
    • /
    • pp.491-502
    • /
    • 2005
  • Reliable human performance is a prerequisite in securing the safety of complicated process systems such as nuclear power plants. However, the amount of available knowledge that can explain why operators deviate from an expected performance level is so small because of the infrequency of real accidents. Therefore, in this study, a database that contains a set of useful information extracted from simulated emergencies was developed in order to provide important clues for understanding the change of operators' performance under stressful conditions (i.e., real accidents). The database was developed under Microsoft Windows TM environment using Microsoft Access $97^{TM}$ and Microsoft Visual Basic $6.0^{TM}$. In the database, operators' performance data obtained from the analysis of over 100 audio-visual records for simulated emergencies were stored using twenty kinds of distinctive data fields. A total of ten kinds of operators' performance data are available from the developed database. Although it is still difficult to predict operators' performance under stressful conditions based on the results of simulated emergencies, simulation studies remain the most feasible way to scrutinize performance. Accordingly, it is expected that the performance data of this study will provide a concrete foundation for understanding the change of operators' performance in emergency situations.