• 제목/요약/키워드: End-to-end learning

검색결과 1,128건 처리시간 0.026초

얼굴 특징점을 활용한 영상 편집점 탐지 (Detection of video editing points using facial keypoints)

  • 나요셉;김진호;박종혁
    • 지능정보연구
    • /
    • 제29권4호
    • /
    • pp.15-30
    • /
    • 2023
  • 최근 미디어 분야에도 인공지능(AI)을 적용한 다양한 서비스가 등장하고 있는 추세이다. 하지만 편집점을 찾아 영상을 이어 붙이는 영상 편집은, 대부분 수동적 방식으로 진행되어 시간과 인적 자원의 소요가 많이 발생하고 있다. 이에 본 연구에서는 Video Swin Transformer를 활용하여, 발화 여부에 따른 영상의 편집점을 탐지할 수 있는 방법론을 제안한다. 이를 위해, 제안 구조는 먼저 Face Alignment를 통해 얼굴 특징점을 검출한다. 이와 같은 과정을 통해 입력 영상 데이터로부터 발화 여부에 따른 얼굴의 시 공간적인 변화를 모델에 반영한다. 그리고, 본 연구에서 제안하는 Video Swin Transformer 기반 모델을 통해 영상 속 사람의 행동을 분류한다. 구체적으로 비디오 데이터로부터 Video Swin Transformer를 통해 생성되는 Feature Map과 Face Alignment를 통해 검출된 얼굴 특징점을 합친 후 Convolution을 거쳐 발화 여부를 탐지하게 된다. 실험 결과, 본 논문에서 제안한 얼굴 특징점을 활용한 영상 편집점 탐지 모델을 사용했을 경우 분류 성능을 89.17% 기록하여, 얼굴 특징점을 사용하지 않았을 때의 성능 87.46% 대비 성능을 향상시키는 것을 확인할 수 있었다.

A Comparative Study on Reservoir Level Prediction Performance Using a Deep Neural Network with ASOS, AWS, and Thiessen Network Data

  • Hye-Seung Park;Hyun-Ho Yang;Ho-Jun Lee; Jongwook Yoon
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.67-74
    • /
    • 2024
  • 본 논문에서는 기후 변화와 지속 가능한 수자원 관리의 중요성이 증가하는 가운데, 다양한 강우 측정 방법이 저수지 수위 예측 성능에 미치는 영향을 분석하기 위한 연구를 제시한다. 이를 위해 우리는 기상정보개방포털에서 제공하는 종관기상관측장비인 ASOS의 관측 강우, 자동기상관측장비인 AWS의 관측 강우, 그리고 면적강우비에 따라 재산정된 티센망 기반의 강우 데이터를 활용하여 신경망 기반 저수율 예측 모델에 대한 학습을 각각 수행하고, 학습된 모델의 예측 성능을 비교 및 분석하였다. 전라북도 소재 34개의 저수지에 대한 실험을 통해 각 강우량 측정방식이 저수율 예측 정확도 향상에 얼마나 기여하는지 조사하였다. 연구 결과, 티센망 기반의 강우 면적비를 활용한 저수지 강우 데이터가 가장 높은 예측 정확도를 제공한다는 것을 밝혀냈다. 이는 티센망이 주변 관측소들 사이의 정확한 거리를 고려함으로써 각 관측소가 대표하는 지역의 경계를 정의함으로써 각 지역의 실제 강우 상황을 더 정확하게 반영하기 때문이다. 이러한 발견은 정확한 지역 강우 데이터 학습이 저수율 예측에 있어 결정적인 요인 중 하나임을 시사한다. 더불어, 이 연구는 정밀한 강우 측정 및 데이터 분석의 중요성을 강조하며, 농업, 도시 계획, 홍수 관리와 같은 다양한 분야에서 예측 모델의 잠재적 응용 가능성을 제시한다.

CNN 기반 스펙트로그램을 이용한 자유발화 음성감정인식 (Spontaneous Speech Emotion Recognition Based On Spectrogram With Convolutional Neural Network)

  • 손귀영;권순일
    • 정보처리학회 논문지
    • /
    • 제13권6호
    • /
    • pp.284-290
    • /
    • 2024
  • 음성감정인식(Speech Emotion Recognition, SER)은 사용자의 목소리에서 나타나는 떨림, 어조, 크기 등의 음성 패턴 분석을 통하여 감정 상태를 판단하는 기술이다. 하지만, 기존의 음성 감정인식 연구는 구현된 시나리오를 이용하여 제한된 환경 내에서 숙련된 연기자를 대상으로 기록된 음성인 구현발화를 중심의 연구로 그 결과 또한 높은 성능을 얻을 수 있지만, 이에 반해 자유발화 감정인식은 일상생활에서 통제되지 않는 환경에서 이루어지기 때문에 기존 구현발화보다 현저히 낮은 성능을 보여주고 있다. 본 논문에서는 일상적 자유발화 음성을 활용하여 감정인식을 진행하고, 그 성능을 향상하고자 한다. 성능평가를 위하여 AI Hub에서 제공되는 한국인 자유발화 대화 음성데이터를 사용하였으며, 딥러닝 학습을 위하여 1차원의 음성신호를 시간-주파수가 포함된 2차원의 스펙트로그램(Spectrogram)로 이미지 변환을 진행하였다. 생성된 이미지는 CNN기반 전이학습 신경망 모델인 VGG (Visual Geometry Group) 로 학습하였고, 그 결과 7개 감정(기쁨, 사랑스러움, 화남, 두려움, 슬픔, 중립, 놀람)에 대해서 성인 83.5%, 청소년 73.0%의 감정인식 성능을 확인하였다. 본 연구를 통하여, 기존의 구현발화기반 감정인식 성능과 비교하면, 낮은 성능이지만, 자유발화 감정표현에 대한 정량화할 수 있는 음성적 특징을 규정하기 어려움에도 불구하고, 일상생활에서 이루어진 대화를 기반으로 감정인식을 진행한 점에서 의의를 두고자 한다.

스마트폰 다종 데이터를 활용한 딥러닝 기반의 사용자 동행 상태 인식 (A Deep Learning Based Approach to Recognizing Accompanying Status of Smartphone Users Using Multimodal Data)

  • 김길호;최상우;채문정;박희웅;이재홍;박종헌
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.163-177
    • /
    • 2019
  • 스마트폰이 널리 보급되고 현대인들의 생활 속에 깊이 자리 잡으면서, 스마트폰에서 수집된 다종 데이터를 바탕으로 사용자 개인의 행동을 인식하고자 하는 연구가 활발히 진행되고 있다. 그러나 타인과의 상호작용 행동 인식에 대한 연구는 아직까지 상대적으로 미진하였다. 기존 상호작용 행동 인식 연구에서는 오디오, 블루투스, 와이파이 등의 데이터를 사용하였으나, 이들은 사용자 사생활 침해 가능성이 높으며 단시간 내에 충분한 양의 데이터를 수집하기 어렵다는 한계가 있다. 반면 가속도, 자기장, 자이로스코프 등의 물리 센서의 경우 사생활 침해 가능성이 낮으며 단시간 내에 충분한 양의 데이터를 수집할 수 있다. 본 연구에서는 이러한 점에 주목하여, 스마트폰 상의 다종 물리 센서 데이터만을 활용, 딥러닝 모델에 기반을 둔 사용자의 동행 상태 인식 방법론을 제안한다. 사용자의 동행 여부 및 대화 여부를 분류하는 동행 상태 분류 모델은 컨볼루션 신경망과 장단기 기억 순환 신경망이 혼합된 구조를 지닌다. 먼저 스마트폰의 다종 물리 센서에서 수집한 데이터에 존재하는 타임 스태프의 차이를 상쇄하고, 정규화를 수행하여 시간에 따른 시퀀스 데이터 형태로 변환함으로써 동행 상태분류 모델의 입력 데이터를 생성한다. 이는 컨볼루션 신경망에 입력되며, 데이터의 시간적 국부 의존성이 반영된 요인 지도를 출력한다. 장단기 기억 순환 신경망은 요인 지도를 입력받아 시간에 따른 순차적 연관 관계를 학습하며, 동행 상태 분류를 위한 요인을 추출하고 소프트맥스 분류기에서 이에 기반한 최종적인 분류를 수행한다. 자체 제작한 스마트폰 애플리케이션을 배포하여 실험 데이터를 수집하였으며, 이를 활용하여 제안한 방법론을 평가하였다. 최적의 파라미터를 설정하여 동행 상태 분류 모델을 학습하고 평가한 결과, 동행 여부와 대화 여부를 각각 98.74%, 98.83%의 높은 정확도로 분류하였다.

중등 온라인 교육에서의 민원에 관한 연구 - 누가 무엇을 왜 묻는가? (Analysis on Inquiries of Secondary-level Online Educational Programs in Korea)

  • 장혜승;이은주
    • 정보교육학회논문지
    • /
    • 제24권4호
    • /
    • pp.369-378
    • /
    • 2020
  • 본 연구는 중등교육 단계의 세 개의 온라인 교육 서비스에서 발생하는 민원의 차이를 양적·질적으로 비교·분석하였다. 세 개의 온라인 교육 서비스에서 2019년 1학기에 발생한 총 12,023건의 민원을 비교·분석하였다. 비교·분석한 결과, 서비스별로 1) 민원 유형, 2) 민원의 제기 시점, 3) 민원인 유형, 4) 민원 처리 방식에 있어 민원 빈도의 차이가 있었음을 확인하였다. A 온라인 교육 서비스의 경우 학생 스스로가 학습 내용과 관련된 민원을 학습이 본격적으로 진행되는 학기 중에 집중적으로 제기한 반면, B 온라인 교육 서비스의 경우에는 소속 중·고등학교의 온라인 교육 서비스 관리 교사들이 시스템(학기 초)이나 평가·기록(학기 말) 관련 민원을 주로 제기하였으며, C 온라인 교육 서비스에서는 건강장애 학생들을 대신하여 학부모들이 학기 초에 주로 학사 운영과 관련한 민원을 많이 제기하였다. 이러한 양적 분석 결과는 실제 A, B, C 온라인 교육 서비스의 민원을 담당하는 운영자들을 대상으로 한 심층 면담 인터뷰를 통해 수집한 질적 데이터 분석 결과를 통해 재확인되었다. 본 연구 결과는 향후 중등 온라인 교육 서비스를 기획·설계·운영함에 있어 활용할 수 있을 것으로 기대한다.

다차원 구어 단기기억에 따른 전도 실어증 환자의 언어수행력 분석 (Language performance analysis based on multi-dimensional verbal short-term memories in patients with conduction aphasia)

  • 하지완;황유미;편성범
    • 인지과학
    • /
    • 제23권4호
    • /
    • pp.425-455
    • /
    • 2012
  • 다차원 구어 단기기억 기제는 크게 음운적 통로와 어휘-의미적 통로로 구분된다. 전자를 음운단기기억, 후자를 의미단기기억이라고 할 수 있는데, 단기기억 과제를 정상적으로 수행하기 위해서는 두 통로 모두의 정보를 활발히 활용하여야 한다. 그리고 음운단기기억은 다시 음운입력완충기와 음운출력완충기로 나누어지며, 음운입력완충기는 음운자극의 입력 시, 음운출력완충기는 음운 산출 시에 작동한다. 본 연구에서는 유사한 수준의 전도 실어증 증상을 보이는 세 명의 환자에 대해, 각각의 언어 수행력을 구어 단기기억의 다차원적 측면에서 분석하였다. 그러기 위하여 세 명의 전도 실어증 환자들에게 단어 수준과 문장 수준에서 스스로 말하기, 따라말하기, 스스로 쓰기, 받아쓰기의 네 가지 양태의 언어과제를 실시하여 수행력을 비교 분석하였고, 숫자폭검사와 언어학습검사를 이용하여 음운단기기억력과 의미단기기억력을 평가하였다. 그 결과 세 대상자들은 네 양태의 언어 검사에서 다양한 수행력과 오반응 유형을 보였고, 단기기억력 검사 결과도 동일하게 나타나지 않았다. 즉 전도 실어증 환자들의 언어 수행력은 의미단기기억 또는 음운단기기억의 결함으로 설명될 수 있으며, 음운단기기억 가운데에서도 음운입력완충기, 음운출력완충기 혹은 둘 다의 결함 여부에 따라 언어특성이 상이하게 나타날 가능성을 제시하고 있다. 본 연구에서는 전도 실어증 환자들의 언어 검사와 단기기억력 검사 결과를 바탕으로, 언어와 다차원 구어 단기기억력과의 관계에 대하여 논의하고 있다.

  • PDF

예비초등교사들의 평가전략에 대한 인식 조사 (Recognition of Assessment Strategies of Pre-Service Elementary Teachers)

  • 고은성;박미미;이은정;박민선
    • 대한수학교육학회지:수학교육학연구
    • /
    • 제27권2호
    • /
    • pp.291-312
    • /
    • 2017
  • 최근 평가 관련 연구들에서 평가가 학생들의 학습 향상을 도와야 한다는 형성적 목적에 주목함에 따라, 교수-학습과 평가의 통합이 강조되고 있으며, 다양하고 적절한 평가전략 및 평가 도구가 필요해지고 있다. 교육현장에서 다양한 평가전략 및 평가 도구가 활용되기 위해서는 교사들이 직접 경험하고 각각의 장단점 및 학습자에게 미치는 영향에 대해 반성해보는 것이 필요하다. 본 연구는 예비초등교사들을 대상으로 여섯 가지 평가전략(피드백의 활용, 평가 기준의 제시, 평가의 모범사례 제시, 자기평가, 동료평가, 지필평가)을 경험하도록 하고, 각각에 대해 어떻게 인식하는지 조사하는 것을 목적으로 한다. 예비초등교사들은 한 학기 강좌가 진행되는 동안 각각을 경험하였으며, 학기말 설문지를 통해 각 평가전략에 대한 의견을 제시하였다. 조사결과, 예비교사들은 평가에 대한 인식에 따라 인지적, 정의적 영역의 향상에 도움이 된 평가전략을 다르게 제시함을 확인하였다. 이러한 결과는 교수-학습에서 다양한 평가전략 사용이 필요하다는 점, 평가의 형성적 목적을 포함하여 평가의 목적에 대한 예비교사들의 인식의 확장이 필요함을 시사한다.

초등교원의 교육적 경험이 교육과정 재구성인식 및 실행에 미치는 영향 (The Effect of Educational Experience in Elementary School Teachers on the Recognition and Implementation of the Curriculum Reorganization)

  • 조향미;신진수
    • 한국산학기술학회논문지
    • /
    • 제20권10호
    • /
    • pp.406-414
    • /
    • 2019
  • 본 연구는 초등학교 교원의 교육적 경험(교직 경력, 교사 학습공동체 참여 경험, 교육과정 연수참여 경험, 혁신학교 근무 경험)이 교육과정 및 교과서를 인식하고 실행하는 양상에 어떠한 영향을 미치는지 탐색해 보고자 하였다. 이를 위해 초등교원을 대상으로 설문한 결과를 t-검증, 일원 분산분석, 상관분석, 회귀분석을 실시하였다. 연구 결과, 첫째, 교원의 교육적 경험에 따라 교육과정 재구성 인식 및 실행, 교과서 인식 및 의존에 통계적으로 유의미한 차이를 보였다. 둘째, 교육과정 재구성 인식 및 실행, 교과서 인식 및 의존 등의 각 변인 간의 통계적으로 유의미한 상관을 나타냈다. 셋째, 교육과정 재구성과 교과서 의존에 교원의 교육적 경험이 의미 있는 영향을 미치고 있었다. 초등학교에서의 교육과정 재구성은 그 자체가 목적이 아니다. 초등학생들의 의미 있는 성장과 발달을 위한 최선의 수업 방안을 찾아 실천하기 위함이다. 본 연구는 교과서 의존도를 낮추고 적극적으로 교육과정을 재구성하여 수업을 전개해야 하며, 교원들은 폭넓은 교육적 경험을 바탕으로 전문성을 함양해야 함을 시사한다.

소치 허련(1808~1893)의 사의(寫意) 묵란화 (A Study on Xieyi (寫意) Ink Orchid Paintings by Sochi Heo Ryun)

  • 강영주
    • 헤리티지:역사와 과학
    • /
    • 제52권1호
    • /
    • pp.170-189
    • /
    • 2019
  • 소치 허련(小癡 許鍊,1808~893)은 조선 말기 대표적 남종 문인서화가이며 남도 문인화의 시조로, 초의선사와 추사 김정희의 문하에서 문인의 학문적 면모와 화원의 능숙한 화법을 모두 체득해 '사의화(寫意畵)'를 이룬 직업형 문인화가였다. 허련의 산수화는 그의 화격을 높이 산 김정희의 지도에 의해 형성되었으나, 추사 사후 그의 나이 70세경에 본격적으로 그리기 시작한 묵란화는 '추사란(秋史蘭)'의 양식과는 관련이 없고, 전체적으로는 고법(古法)을 따르면서도 거칠고 호방한 필치의 사의성을 띠고 있어 주목된다. 허련의 묵란화는 사군자류 중 화란법(畵蘭法)을 남길 만큼 관심을 가졌던 분야임에도 전체적인 작품의 조사나 분석이 이루어지지 않고 있다. 이에 본고에서는 화란법과 제발(題跋), 인문(印文)에 나타난 난화관(蘭畵觀)을 통해 그의 묵란화 인식을 살피고, 화보를 임방하고 당대 화풍을 수용하면서도 개성적인 필묵의 운용으로 형성된 소치란(小癡蘭)의 면모를 파악해보고자 한다. 특히 허련은 당시 묵란화의 대가인 이하응이나 조희룡과 화우(畵友)로 지내지만 난 그림에 있어서는 김정희의 난화론을 바탕으로 삼아 초기 지두란(指頭蘭)을 그리는 등 자신만의 화란법을 형성하고 예술세계를 구축한다. 또한 난화는 유가적 전고(典故)를 바탕으로 그리지만 제발과 인장의 내용을 통해서는 유가적 성격뿐만 아니라 도가 불가적 의미까지 더해져 허련의 인생 지향과 사유세계를 유추할 수 있다. 이러한 복합적이고 다양한 철학과 심미의식이 반영된 허련의 묵란화는 시기에 따라 변화 과정을 거치며 만년에 사의 묵란화를 형성한다. 즉 그는 직업형 화가였음에도 말년에 더욱 활발히 제작했던 사의란을 통해 조선 사대부의 이상에 더욱 가까이 다가가려 했음을 알 수 있고, 소치란은 문인의 표상을 실현하려는 사의적 시각과 의지의 발로였다는 것을 보여준다.

가정계열 선택과목에 대한 고등학생의 요구 분석 (Analysis of the Needs of Korean High School Students in Home Economics Elective Courses)

  • 한주;주수언;유난숙;박미정;백민경
    • 한국가정과교육학회지
    • /
    • 제33권2호
    • /
    • pp.173-187
    • /
    • 2021
  • 본 연구는 고교학점제 도입 및 차기 가정과 교육과정 개발에 발맞추어 고등학생들의 가정계열 선택과목에 대한 요구를 조사하는데 그 목적이 있다. 이를 위해 전국 1,689명의 고등학생을 대상으로 가정계열 선택과목에 대한 요구와 성별, 학년, 가정과학 이수여부에 따른 가정계열 선택과목(각 과목별, 분야별)에 대한 차이를 분석하였다. 그 결과 가정 계열 중 식생활 분야에 대한 선호가 가장 높았으며, 선호하는 수업 방식에 있어서도 식생활 분야에서는 다른 분야에 비해 실험과 실습 수업에 대한 요구가 월등히 높았다. 성별 선호도의 차이에서는 가정계열 전체 분야에 걸쳐 여학생이 남학생에 비해 높은 선호를 보였으며, 학년별로는 식생활 분야에서만 3학년이 1학년보다 과목에 대한 선호가 유의하게 높게 나타났다. 또한 가정과학을 배우고 있거나 배운 학생들이 가정과학을 배우지 않은 학생들에 비해 모든 분야에서 선호가 높게 나타났다. 본 연구 결과를 기초로, 차기 교육과정에서 가정계열 진로 선택과목 개발을 위한 심화 연구가 활발히 진행되기를 희망한다.