• Title/Summary/Keyword: 영상 언어

Search Result 529, Processing Time 0.031 seconds

LVLN : A Landmark-Based Deep Neural Network Model for Vision-and-Language Navigation (LVLN: 시각-언어 이동을 위한 랜드마크 기반의 심층 신경망 모델)

  • Hwang, Jisu;Kim, Incheol
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.9
    • /
    • pp.379-390
    • /
    • 2019
  • In this paper, we propose a novel deep neural network model for Vision-and-Language Navigation (VLN) named LVLN (Landmark-based VLN). In addition to both visual features extracted from input images and linguistic features extracted from the natural language instructions, this model makes use of information about places and landmark objects detected from images. The model also applies a context-based attention mechanism in order to associate each entity mentioned in the instruction, the corresponding region of interest (ROI) in the image, and the corresponding place and landmark object detected from the image with each other. Moreover, in order to improve the success rate of arriving the target goal, the model adopts a progress monitor module for checking substantial approach to the target goal. Conducting experiments with the Matterport3D simulator and the Room-to-Room (R2R) benchmark dataset, we demonstrate high performance of the proposed model.

Development of Automatic Voice System for Foreign Patients in Testing of Magnetic Resonance Imaging (자기공명영상 검사에서 외국인 환자를 위한 자동음성 시스템 개발)

  • Goo, Eun-Hoe
    • Journal of the Korean Society of Radiology
    • /
    • v.10 no.1
    • /
    • pp.59-64
    • /
    • 2016
  • The purpose of this study intend to develop the automatic voice system for language communicating over foreign patients in testing of magnetic resonance imaging. Used sentences for the automatic voice system was selected with twelve sentences and five foreign languages in hospital in use. These translated texts were provided free of charge from Oddcast's website, which is recorded each language-specific voice as Wav files, The recorded audio file were produced by the two types of a power-point show of MS-office 2013(extension; ppsx) form and Web-enabled system using the PHP program to be applied in the mobile phone environment. It is considered to relieve the stress about an language barrier to medical technician and the voice system designed with the variable language will be enhanced the diagnostic information on foreign patients. Because automatic voice system designed for this study can enhance the understanding of test in between korean medical technician and foreign patients, It will be expected to utilize more usefully in clinical practice.

Brain Activation of reading Hangul and recognizing Pictures (한글 문자와 그림인지에 관한 자기공명 영상 연구)

  • Yoon, Hyo-Woon;Cho, Kyung-Duk
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.319-322
    • /
    • 2004
  • 한글은 알파벳 문자처럼 소리를 바탕으로 한 표음문자이지만, 각 글자의 형태는 표의문자인 한자와 유사한 시각적인 효과를 제공한다. 본 연구에서는 자기공명 영상법을 이용하여 한국인이 한글문자와 그림을 인지할 경우 나타나는 신경망적 특성을 알아보았다. 그 결과. 한글과 그림 자극에 대하여 양반구 모두에서 후측두엽 부위의 활성화가 나타났다. 그러나, 전두엽과 측두엽 부분의 활성화는 오직 한글자극의 경우에만 관찰되었다. 좌반구 중전 두엽의 활성화는 음성 및 의미론적 처리와 관련되어 있다고 볼 수 있으며, 우반구 anterior cingulate 활성화는 언어 및 소리의 형성과 관계가 있다고 할 수 있다. 본 연구에서는 우반구 medial frontal 영역인 BA 8의 활성화가 관찰되었다 이 영역은 시각적으로 고차적인 비음성적 자극을 통제하거나 그와 유사한 시각공간적인 정보의 분석과 관련이 있다고 알려져 있다. 본 연구의 결과는 한글의 특성적인 형태가 특정 영역을 활성화시킨 것을 시사한다.

  • PDF

A Development of Unicode-based Multi-lingual Namecard Recognizer (Unicode 기반 다국어 명함인식기 개발)

  • Jang, Dong-Hyeub;Lee, Jae-Hong
    • The KIPS Transactions:PartB
    • /
    • v.16B no.2
    • /
    • pp.117-122
    • /
    • 2009
  • We developed a multi-lingual namecard recognizer for building up a global client management systems. At first, we created the Unicode-based character image database for character recognition and learning of multi languages, and applied many color image processing techniques to get more correct data for namecard images which were acquired by various input devices. And by applying multi-layer perceptron neural network, individual character recognition applied for language types, and post-processing utilizing keyword databases made for individual languages, we increased a recognition rate for multi-lingual namecards.

Functional MR Imaging Using BOLD Technique in Patients with Brain Tumors (뇌종양 환자에서 BOLD 기법을 이용한 기능적 자기공명영상)

  • Kim Jeong;Yim Nam-Yeol;Shin Sang-Soo;Lim Hyo-Soon;Yoon Woong;Chung Tae-Woong;Jeong Yong-Yeon;Jeong Gwang-Woo;Park Jin-Gyoon;Kang Heoung-Keun;Jung Shin;Kang Sam-Suk;Seo Jeong-Jin
    • Investigative Magnetic Resonance Imaging
    • /
    • v.7 no.2
    • /
    • pp.124-131
    • /
    • 2003
  • Purpose : To reveal clinical usefulness of functional MRI (fMRI) using sensorymotor and language stimuli for demonstrating anatomic relationship between sensorimotor or language cortices and lesions in the planning of brain tumor surgery. Materials and Methods : This study included 12 right-handed patients with brain tumors in or around sensorimotor or language cortices. Eleven patients were evaluated with primary motor and sensory stimuli. Of these patients, six patients were also evaluated with language stimuli. One patient was evaluated with language stimuli only. For fMR imaging, a 1.5T scanner was used and the EPI BOLD technique was employed. For postprocessing image, the SPM99 program and a program made by our department was utilized. We evaluated whether sensorimotor and language stimuli activate sensorimotor and language cortices. And also, clinical efficacy of revealing anatomic relationship between cerebral cortices and lesions for planning neurosurgical operation were evaluated. Finally, we compared post-operative neurologic function with pre-operative neurologic function in same patients. Results : The fMRI examination was successful in identifying the functional cortices and depicting anatomic relationship between functional cortices and lesions in all patients. In nine patients of 11 patients with identified sensorimotor cortices, postoperative grade of manual motor test was not changed, compared with preoperative grade. Whereas postoperative improved than preoperative grade in one patient of remaining two patients, postoperative aggravated than preoperative grade in the other. This result was due to atherosclerotic lacunar infarction, regardless of tumor resection. Postoperative deficit of language function was not found in seven patients with identified language cortices. Conclusion : fMRI could be a helpful method for determining the best approach to neurosurgical treatment in patients with brain tumors in or around sensorimotor or language cortices.

  • PDF

Recognition of Word-level Attributed in Machine-printed Document Images (인쇄 문서 영상의 단어 단위 속성 인식)

  • Gwak, Hui-Gyu;Kim, Su-Hyeong
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.5
    • /
    • pp.412-421
    • /
    • 2001
  • 본 논문은 문서 영상에 존재하는 개별 단어들에 대한 속성정보 추출 방법을 제안한다. 단어 단위의 속성 인식은 단어 영상 매칭의 정확도 및 속도 개선, OCR 시스템에서 인식률 향상, 문서의 재생산 등 다양한 응용 가치를 찾을 수 있으며, 메타정보(meta-information) 추출을 통해 영상 검색(image retrieval)이나 요약(summary) 생성 등에 활용할 수 있다. 제안하는 시스템에서 고려하는 단어 영상의 속성은 언어의 종류(한글, 영문), 스타일(볼드, 이탤릭, 보통, 밑줄), 문자 크기(10, 12, 14 포인트), 문자 개수 (한글: 2, 3, 4, 5, 영문: 4, 5, 6, 7, 8, 9, 10), 서체(명조, 고딕)의 다섯 가지 정보이다. 속성 인식을 위한 특징은, 언어 종류 인식에 2개, 스타일 인식에 3개, 문자 크기와 개수는 각각 1개, 한글 서체 인식은 1개, 영문 서체 인식은 2개를 사용한다. 분류기는 신경망, 2차형 판별함수(QDF), 선형 판별함수(LDF)를 계층적으로 구성한다. 다섯 가지 속성이 조합된 26,400개의 단어 영상을 사용한 실험을 통해, 제안된 방법이 소수의 특징만으로도 우수한 속성 인식 성능을 보임을 입증하였다.

  • PDF

Design and Implementation of Animation Markup Language (DAIAML 연계 기술을 이용한 WAP 에서의 동영상 파일 설계 및 구현)

  • Kim, Hyun-Jun;Oh, Se-Man
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04a
    • /
    • pp.151-154
    • /
    • 2001
  • 1990 년 후반부터 인터넷의 활용과 이동통신 기술의 범용화로 무선 인터넷 서비스의 수요가 점차적으로 빠르게 증대되어지고 있다. 하지만, 현 단계의 무선인터넷 서비스는 급변하는 시장과는 달리 정체 상태로 머물고 있다. 이러한 이유에는 여러 가지가 있겠지만 가장 큰 이유는 제한된 환경이라고 볼 수가 있다. 특히 현재의 무선 인터넷은 다양한 동영상 종류의 포맷을 지원하지 못하고 있다. 무선 인터넷 서비스 중에서도 특히 게임과 동영상 등에 대한 관심이 집중되어지고 있지만 현 시점에서는 간단한 흑백 이미지와 *.sis 파일의 형태만을 지원한다. 저 품질 영상이 제공되는 현 시점에서 유선 인터넷과 같은 다양한 서비스 지원을 하기 위해서는 획기적인 방법이 요구된다. 본 논문에서는 여러 가지 컨텐츠 타입을 지원하고, 대용량의 동영상 파일 등에 대해 설계 및 구현을 위한 최적화 방법론 중, DAIAML 이라는 새로운 측면의 스크립트 형태의 언어를 제안하며, 언어적 측면에서의 해석이 아닌 그래픽적 측면에서의 해석으로 접근한 방식이고 휴대폰이 칼라모드만 지원한다면 하드웨어적인 문제와는 상관없이 VOD 등의 고품질 동영상을 제공받으며 위의 요구 사항과 다양한 서비스 측면에 대해 소비자의 욕구를 만족시킬 수 있고, 많은 유선 인터넷 서비스들이 무선 인터넷으로 이동(migration)될 수 있다.

  • PDF

Gesture Recognition on image sequences (연속 영상에서의 제스처 인식)

  • 이현주;이칠우
    • Proceedings of the IEEK Conference
    • /
    • 2000.09a
    • /
    • pp.443-446
    • /
    • 2000
  • 인간은 일상 생활에서 제스처, 표정과 같은 비언어적인 수단을 이용하여 수많은 정보를 전달한다. 따라서 자연스럽고 지적인 인터페이스를 구축하기 위해서는 제스처 인식에 관한 연구가 매우 중요하다. 본 논문에서는 영상 시퀸스의 각 영상들이 가지고 있는 정적인 양이 아닌, 영상과 이웃하는 영상들의 변화량을 수치적으로 측정하고 이를 주성분 분석법(PCA : Principal Component Analysis)과 은닉 마르코프 모델(HMM : Hidden Markov Model)을 이용하여 인식하는 방법을 소개한다.

  • PDF

A Script Format of Korean Sing Language for Animated Signing Avatar Service (아바타수어 서비스를 위한 한국수어 스크립트 기술)

  • Lee, Han-kyu;Choi, Ji Hoon;AHN, ChungHyun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.456-458
    • /
    • 2020
  • 한국수화언어(한국수어)는 농인들이 사용하는 언어이며, 농인이라 함은 청각장애를 가진 사람으로서 한국수어를 일상어로 사용하는 사람을 말한다. 수어를 하나의 언어로써 다른 언어로의 번역 또는 상호번역을 위하여 기계학습 기반의 기술이 연구개발 되고 있으나, 수어는 영상 기반의 언어이고 한국수어의 문법 및 사전체계의 구축이 진행 중인 이유로 한국수어의 번역기술은 상대적으로 다른 이종언어 간의 번역기술에 비하여 발전속도가 느리다. 본 논문에서는 한국어를 한국수어로 번역하여 표현하기 위하여 필요한 수어 스크립트 포맷 및 데이터 인터페이스 규격을 제안한다.

  • PDF

Design and Implementation of a Translator for Translating Java Bytecode into MSIL (자바 Bytecode 에서 MSIL 로의 변환을 위한 번역기의 설계 및 구현)

  • Min, Jung-Hyun;Oh, Se-Man
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04b
    • /
    • pp.743-746
    • /
    • 2001
  • 자바는 객체지향 언어이고, 한번 작성된 프로그램은 자바 가상 기계가 있는 모든 곳에서 수정없이 실행될 수 있기 때문에 소프트웨어의 개발과 유지 보수에 많은 장점을 가진 언어이다. 이러한 특징으로 인하여 개발되는 제품들이 자바로 구현되는 경우가 많다. 그러나 아직 대다수 소프트웨어 개발자들은 주로 C 언어나 C++ 언어를 사용하고 있으며, 최근에는 C#이라는 언어를 사용하고 있다. 자바가 플랫폼에 독립적인 장점은 가지고 있지만, 다수의 개발자 및 사용자가 마이크로소프트 윈도우 운영체제를 사용하고 있다는 것을 감안한다면 그리 탁월한 장점만은 될 수 없다. 또한, 최근의 개발동향이 COM(Component Object Model)을 지향하고 있고, 이는 더 이상 개발자들에게 프로그래밍 언어에 구애를 받지 않고 오직 개발 제품에 대한 집중력을 가질 수 있는 환경을 제공할 수 있다면, 그 개발 효율에 있어서 상당한 이점을 가질 수 있다는 의미이다. 따라서, COL(Component Object Language)을 기반으로 하고 있는 C# (C sharp)언어를 사용하여 개발을 함에 있어서 자바의 언어를 C# 언어로 변환할 수 있다면, 신생 언어인 C#에 있어서 기존 자바로 되어 있는 유용한 개발 제품들을 보다 효율적으로 이용할 수 있을 것이다. 본 논문에서는 두 언어(자바, C#)를 하나로 잇는 교량(bridge)역할을 할 수 있도록 자바의 중간 언어인 Bytecode를 C#의 중간 언어인 MSIL(Microsoft Intermediate Language)로 바꿀 수 있는 중간 언어 번역기를 설계하고 구현하였다. 이를 위한 방법으로는 먼저, 자바 Bytecode 와 MSIL 의 어셈블리 형태에서의 명령어 매칭과정을 매핑 테이블을 이용하여 처리하였고, MSIL 에서 자바 Bytecode 의 함수와 같은 기능을 하는 메소드의 변환을 위하여 마크로 변환기법을 이용하여 해결하였다.I/O ratio 2.5). BTEX의 상대적 함량도 실내가 실외보다 높아 실내에도 발생원이 있음을 암시하고 있다. 자료 분석결과 유치원 실내의 벤젠은 실외로부터 유입되고 있었고, 톨루엔, 에틸벤젠, 크실렌은 실외뿐 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이용될 수 있을 것이다.었으나 움직임 보정 후 영상을 이용하여 비교한 경우, 결합능 변화가 선조체 영역에서 국한되어 나타나며 그 유의성이 움직임 보정 전에 비하여 낮음을 알 수 있었다. 결론: 뇌활성화 과제 수행시에 동반되는 피험자의 머리 움직임에 의하여 도파민 유리가 과대평가되었으며 이는 이 연구에서 제안한 영상정합을 이용한 움직임 보정기법에 의해서 개선되었다. 답이 없는 문제, 문제 만들기, 일반화가 가능한 문제 등으로 보고, 수학적 창의성 중 특히 확산적 사고에 초점을 맞추어 개방형 문제가 확산적 사고의 요소인 유창성, 독창성, 유연성 등에 각각 어떤 영향을 미치는지 20주의 프로그램을 개발, 진행하여 그 효과를

  • PDF