• 제목/요약/키워드: Multiple Audio Features

검색결과 15건 처리시간 0.019초

준 지도학습과 여러 개의 딥 뉴럴 네트워크를 사용한 멀티 모달 기반 감정 인식 알고리즘 (Multi-modal Emotion Recognition using Semi-supervised Learning and Multiple Neural Networks in the Wild)

  • 김대하;송병철
    • 방송공학회논문지
    • /
    • 제23권3호
    • /
    • pp.351-360
    • /
    • 2018
  • 인간 감정 인식은 컴퓨터 비전 및 인공 지능 영역에서 지속적인 관심을 받는 연구 주제이다. 본 논문에서는 wild 환경에서 이미지, 얼굴 특징점 및 음성신호로 구성된 multi-modal 신호를 기반으로 여러 신경망을 통해 인간의 감정을 분류하는 방법을 제안한다. 제안 방법은 다음과 같은 특징을 갖는다. 첫째, multi task learning과 비디오의 시공간 특성을 이용한 준 감독 학습을 사용함으로써 영상 기반 네트워크의 학습 성능을 크게 향상시켰다. 둘째, 얼굴의 1 차원 랜드 마크 정보를 2 차원 영상으로 변환하는 모델을 새로 제안하였고, 이를 바탕으로 한 CNN-LSTM 네트워크를 제안하여 감정 인식을 향상시켰다. 셋째, 특정 감정에 오디오 신호가 매우 효과적이라는 관측을 기반으로 특정 감정에 robust한 오디오 심층 학습 메커니즘을 제안한다. 마지막으로 소위 적응적 감정 융합 (emotion adaptive fusion)을 적용하여 여러 네트워크의 시너지 효과를 극대화한다. 제안 네트워크는 기존의 지도 학습과 반 지도학습 네트워크를 적절히 융합하여 감정 분류 성능을 향상시켰다. EmotiW2017 대회에서 주어진 테스트 셋에 대한 5번째 시도에서, 제안 방법은 57.12 %의 분류 정확도를 달성하였다.

음악검색을 위한 가변임계치 기반의 음성 질의 변환 기법 (A Threshold Adaptation based Voice Query Transcription Scheme for Music Retrieval)

  • 한병준;노승민;황인준
    • 전기학회논문지
    • /
    • 제59권2호
    • /
    • pp.445-451
    • /
    • 2010
  • This paper presents a threshold adaptation based voice query transcription scheme for music information retrieval. The proposed scheme analyzes monophonic voice signal and generates its transcription for diverse music retrieval applications. For accurate transcription, we propose several advanced features including (i) Energetic Feature eXtractor (EFX) for onset, peak, and transient area detection; (ii) Modified Windowed Average Energy (MWAE) for defining multiple small but coherent windows with local threshold values as offset detector; and finally (iii) Circular Average Magnitude Difference Function (CAMDF) for accurate acquisition of fundamental frequency (F0) of each frame. In order to evaluate the performance of our proposed scheme, we implemented a prototype music transcription system called AMT2 (Automatic Music Transcriber version 2) and carried out various experiments. In the experiment, we used QBSH corpus [1], adapted in MIREX 2006 contest data set. Experimental result shows that our proposed scheme can improve the transcription performance.

정형외과 관절경 영상 저장 시스템의 설계 및 구현 (Design and Implementation of the Endoscope Image Store System in the Orthopedics)

  • 심갑식;정태영
    • 한국컴퓨터정보학회논문지
    • /
    • 제7권4호
    • /
    • pp.8-15
    • /
    • 2002
  • 본 논문은 의료영상을 데이터베이스화 시켜 그것을 영구적으로 보관할 수 있는 시스템 개발이다. 즉, 정형외과의 관절경을 이용한 수술이나 진단 시 수집되는 영상 자료를 데이터베이스화하여 복수의 적용 업무나 응용프로그램이 데이터를 공유할 수 있도록 하며, 동일한 자료의 중복을 피하고 검색과 갱신이 효율적으로 되도록 데이터를 관리하는 시스템이다. 본 시스템은 다섯 가지 구성요소로 이루어져 있다. 즉, 내시경으로부터 영상자료를 받는 입력모듈, 입력받은 영상자료를 저장하는 모듈, 환자의 진료내역 및 영상자료를 저장하는 데이터베이스 설계 및 구현, 사용하기 편리한 인터페이스 설계 및 구현, 간단하고 편리한 데이터 검색을 위한 엔진 등이다. 시스템의 특징은 다음과 같다. DirectShow를 이용한 영상 캡쳐 프로그램은 어떤 영상 캡쳐 보드와 호환이 가능하다. 영상 캡쳐 알고리즘을 공용 모듈로 만들었기 때문에 인터넷상에서 비디오. 오디오 컨텐츠를 개발할 때 작업효율을 높일 수 있다.

  • PDF

Impact of a Breast Health Awareness Activity on the Knowledge Level of the Participants and its Association with Socio-Demographic Features

  • Khokher, Samina;Qureshi, Muhammad Usman;Fatima, Warda;Mahmood, Saqib;Saleem, Afaf
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제16권14호
    • /
    • pp.5817-5822
    • /
    • 2015
  • The developing countries have higher mortality rates for breast cancer. A reason for this is presentation at advanced stages due to low levels of public awareness. Activities are arranged by health authorities of developing countries to increase the knowledge of women but their effectiveness has not been evaluated in detail. A multiple choice questionnaire with questions about socio-demographic profile and questions about breast cancer knowledge was designed in local language Urdu, to evaluate the knowledge of the participants before and after an audio visual educational activity in Lahore, Pakistan. Scores of 0-2, 3-5 and 6-8 were ranked as poor, fair and good, respectively. Among 146 participants these scores were achieved by 1%, 55% and 45% before activity and 0%, 16% and 84% after the activity. Overall 66% of participants increased their knowledge score. Younger age, higher education, reliance on television as source of information and being a housewife were associated with better impact of the awareness activity. For the six knowledge related questions 3%, 5%, 11%, 23%, 33% and 44% more participants gave correct answers after the activity. However 6% and 7% fewer participants answered correctly for 2 questions related to the cause and the best prevention for breast cancer. The study indicated that awareness activities are effective to increase the knowledge of women and better impact is associated with higher education and younger age of women. The component analysis showed that the questions and related presentations using medical terms have a negative impact and should not therefore be used. Analysis of activity therefore leads to identification of deficiencies which can be remedied in future.

고속 DSP를 이용한 실시간 자기공명영상시스템 제어 (Real-time Interactive Control of Magnetic Resonance Imaging System Using High-speed Digital Signal Processors)

  • 안창범;김휴정;이흥규
    • 전자공학회논문지SC
    • /
    • 제40권5호
    • /
    • pp.341-349
    • /
    • 2003
  • 고속 디지털신호처리기를 사용한 자기공명영상 실시간 대화형 제어기(스펙트로미터)를 개발하였다. 개발린 제어기는 rf 파형과 경사자계 파형을 만들고, 신호 측정을 위한 다중 측정기를 제어한다. TMS320C6701과 간은 높은 계산 능력을 가진 디지털신호처리기를 사용함으로써 복잡한 경사자계파형의 실시간 계산 및 출력이 가능해졌다. 또한 회전 행렬을 실시간으로 계산함으로써 심장과 같이 움직임이 큰 장기의 실시간 영상에서 얻고자하는 평면을 대화식으로 조절이 가능해졌다. 개발된 스펙트로미터를 1.5 테슬라 전신자기공명 영상시스템에 성공적으로 적용하였다. 개발된 스펙트로미터를 고속스핀에코나 echo planar imaging(EPI) 등과 같은 초고속자기공명영상에 적용하여 성능을 검증하였다. 이것은 이들 초고속 자기공명영상기법들이 측정 시간을 단축해주는 대신에 스펙트로미터의 송신부와 수신부 또는 경사자계부간의 동기나 위상에 에러가 있을 경우 문제점을 크게 부각시켜 시스템의 성능 평가에 적합하기 때문이다.