• 제목/요약/키워드: visual layers

검색결과 127건 처리시간 0.026초

신경망 기반 음성, 영상 및 문맥 통합 음성인식 (Speech Recognition by Integrating Audio, Visual and Contextual Features Based on Neural Networks)

  • 김명원;한문성;이순신;류정우
    • 전자공학회논문지CI
    • /
    • 제41권3호
    • /
    • pp.67-77
    • /
    • 2004
  • 최근 잡음환경에서 신뢰도 높은 음성인식을 위해 음성정보와 영상정보를 융합하는 방법이 활발히 연구되고 있다. 본 논문에서는 이절적인 정보의 융합에 적합한 신경망 모델을 기반으로 음성, 영상 및 문맥 정보 등 다양한 정보를 융합하여 잡음 환경에서 고려단어를 인식하는 음성인식 기법에 대하여 기술한다. 음성과 영상 특징을 이용한 이중 모드 신경망 BMNN(BiModal Neural Network)을 제안한다. BMM은 4개 층으로 이루어진 다층퍼셉트론의 구조를 가지며 각 층은 입력 특징의 추상화 기능을 수행한다. BMNN에서는 제 3층이 잡음에 의한 음성 정보의 손실을 보상하기 위하여 음성과 영상 특징을 통합하는 기능을 수행한다. 또한, 잡음환경에서 음성 인식률을 향상시키기 위해 사용자가 말한 단어들의 순차 패턴을 나타내는 문맥정보를 이용한 후처리 방법을 제안한다. 잡음환경에서 BMNN은 단순히 음성만을 사용한 것 보다 높은 성능을 보임으로써 그 타당성을 확인할 수 있을 뿐 아니라, 특히 문맥을 이용한 후처리를 하였을 경우 잡음 환경에서 90%이상의 인식률을 달성하였다 본 연구는 잡음환경에서 강인한 음성인식을 위해 다양한 추가 정보를 사용함으로써 성능을 향상시킬 수 있음을 제시한다.

A Multi-Layered Framework for color pastel painting

  • Yang, Heekyung;Min, Kyungha
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권6호
    • /
    • pp.3143-3165
    • /
    • 2017
  • We present a computerized framework for producing color pastel painting from the visual information extracted from a photograph. To express color pastel painting, we propose a multi-layered framework where each layer possesses pastel stroke patterns of different colors. The stroke patterns in the separate layers are merged by a rendering equation based on a participating media rendering scheme. To produce the stroke patterns in each layer, we review the physical properties of pastels and the mechanism of a convolution framework, which is the most widely used scheme to simulate stick-shaped media such as pencils. We devise the following computational models to extend the convolution framework to produce pastel strokes: a bold noise model, which mimics heavy and clustered deposition of pigment, and a thick convolution filter model, which produces various pastel stroke patterns. We also design a stochastic color coordination scheme to mimic pastel artists' color expression and to separate strokes in different layers. To demonstrate the soundness of approach, we conduct several experiments using the models and compare the results with existing works or real pastel paintings. We present the results for several pastel paintings to demonstrate the excellent performance of our framework.

Three-Dimensional Visualization Technique of Occluded Objects Using Integral Imaging with Plenoptic Camera

  • Lee, Min-Chul;Inoue, Kotaro;Tashiro, Masaharu;Cho, Myungjin
    • Journal of information and communication convergence engineering
    • /
    • 제15권3호
    • /
    • pp.193-198
    • /
    • 2017
  • In this study, we propose a three-dimensional (3D) visualization technique of occluded objects using integral imaging with a plenoptic camera. In previous studies, depth map estimation from elemental images was used to remove occlusion. However, the resolution of these depth maps is low. Thus, the occlusion removal accuracy is not efficient. Therefore, we use a plenoptic camera to obtain a high-resolution depth map. Hence, individual depth map for each elemental image can also be generated. Finally, we can regenerate a more accurate depth map for 3D objects with these separate depth maps, allowing us to remove the occlusion layers more efficiently. We perform optical experiments to prove our proposed technique. Moreover, we use MSE and PSNR as a performance metric to evaluate the quality of the reconstructed image. In conclusion, we enhance the visual quality of the reconstructed image after removing the occlusion layers using the plenoptic camera.

Automatic Extraction of Road Network using GDPA (Gradient Direction Profile Algorithm) for Transportation Geographic Analysis

  • Lee, Ki-won;Yu, Young-Chul
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2002년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.775-779
    • /
    • 2002
  • Currently, high-resolution satellite imagery such as KOMPSAT and IKONOS has been tentatively utilized to various types of urban engineering problems such as transportation planning, site planning, and utility management. This approach aims at software development and followed applications of remotely sensed imagery to transportation geographic analysis. At first, GDPA (Gradient Direction Profile Algorithm) and main modules in it are overviewed, and newly implemented results under MS visual programming environment are presented with main user interface, input imagery processing, and internal processing steps. Using this software, road network are automatically generated. Furthermore, this road network is used to transportation geographic analysis such as gamma index and road pattern estimation. While, this result, being produced to do-facto format of ESRI-shapefile, is used to several types of road layers to urban/transportation planning problems. In this study, road network using KOMPSAT EOC imagery and IKONOS imagery are directly compared to multiple road layers with NGI digital map with geo-coordinates, as ground truth; furthermore, accuracy evaluation is also carried out through method of computation of commission and omission error at some target area. Conclusively, the results processed in this study is thought to be one of useful cases for further researches and local government application regarding transportation geographic analysis using remotely sensed data sets.

  • PDF

k-Nearest Neighbor와 Convolutional Neural Network에 의한 제재목 표면 옹이 종류의 화상 분류 (Visual Classification of Wood Knots Using k-Nearest Neighbor and Convolutional Neural Network)

  • Kim, Hyunbin;Kim, Mingyu;Park, Yonggun;Yang, Sang-Yun;Chung, Hyunwoo;Kwon, Ohkyung;Yeo, Hwanmyeong
    • Journal of the Korean Wood Science and Technology
    • /
    • 제47권2호
    • /
    • pp.229-238
    • /
    • 2019
  • 목재의 결점은 생장과정에서 또는 가공 중에 다양한 형태로 발생한다. 따라서 목재를 이용하기 위해서는 목재의 결점을 정확하게 분류하여 용도에 맞는 목재 품질을 객관적으로 평가할 필요가 있다. 하지만 사람에 의한 등급구분과 수종구분은 주관적 판단에 의해 차이가 발생할 수 있기 때문에 목재 품질의 객관적 평가 및 목재 생산의 고속화를 위해서는 컴퓨터 비전을 활용한 화상분석 자동화가 필요하다. 본 연구에서는 SIFT+k-NN 모델과 CNN 모델을 통해 옹이의 종류를 자동으로 구분하는 모델을 구현하고 그 정확성을 분석해보고자 하였다. 이를 위하여 다섯 가지 국산 침엽수종으로부터 다양한 형태의 옹이 이미지 1,172개를 획득하여 학습 및 검증에 사용하였다. SIFT+k-NN 모델의 경우, SIFT 기술을 이용하여 옹이 이미지에서 특성을 추출한 뒤, k-NN을 이용하여 분류를 진행하였으며, 최대 60.53%의 정확도로 분류가 가능하였다. 이 때 k-index는 17이었다. CNN 모델의 경우, 8층의 convolution layer와 3층의 hidden layer로 구성되어있는 모델을 사용하였으며, 정확도의 최대값은 1205 epoch에서 88.09%로 나타나 SIFT+k-NN 모델보다 높은 결과를 보였다. 또한 옹이의 종류별 이미지 개수 차이가 큰 경우, SIFT+k-NN 모델은 비율이 높은 옹이 종류로 편향되어 학습되는 결과를 보였지만, CNN 모델은 이미지 개수의 차이에도 편향이 심하지 않아 옹이 분류에 있어 더 좋은 성능을 보였다. 본 연구 결과를 통해 CNN 모델을 이용한 목재 옹이의 분류는 실용가능성에 있어 충분한 정확도를 보이는 것으로 판단된다.

Structurally Enhanced Correlation Tracking

  • Parate, Mayur Rajaram;Bhurchandi, Kishor M.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권10호
    • /
    • pp.4929-4947
    • /
    • 2017
  • In visual object tracking, Correlation Filter-based Tracking (CFT) systems have arouse recently to be the most accurate and efficient methods. The CFT's circularly shifts the larger search window to find most likely position of the target. The need of larger search window to cover both background and object make an algorithm sensitive to the background and the target occlusions. Further, the use of fixed-sized windows for training makes them incapable to handle scale variations during tracking. To address these problems, we propose two layer target representation in which both global and local appearances of the target is considered. Multiple local patches in the local layer provide robustness to the background changes and the target occlusion. The target representation is enhanced by employing additional reversed RGB channels to prevent the loss of black objects in background during tracking. The final target position is obtained by the adaptive weighted average of confidence maps from global and local layers. Furthermore, the target scale variation in tracking is handled by the statistical model, which is governed by adaptive constraints to ensure reliability and accuracy in scale estimation. The proposed structural enhancement is tested on VTBv1.0 benchmark for its accuracy and robustness.

Laser 조사가 망막의 미세구조에 미치는 영향 (The Effect of Laser Irridation on the Ultrastructure of Retina)

  • 김덕훈;문정학
    • 한국안광학회지
    • /
    • 제1권1호
    • /
    • pp.15-22
    • /
    • 1996
  • 본 연구는 망막조직의 미세구조를 전자현미경을 이용하여, 생쥐(ICR)에 대한 Laser 조사의 영향을 조사하였다. 그 결과는 다음과 같다. l. 정상군에서 대개의 망막층은 여러 특수한 세포들과 신경섬유로 구성된 복잡한 구조를 가지고 있었다. 2. Laser 조사의 기간이 길어질수록, 망막의 각 세포의 층과 구조는 일정한 형태를 나타내지 못했다. 시세포 visual cell들은 심하게 이형염색질체 heterochromatin이며, 세포질은 종대되며, 핵의 모양은 불규칙적이며,일부의 세포질은 소실되었다. 망막층의 핵과 신경섬유는 매우 불규칙적이며, 소포의 형성, 각 세포간 경계의 불명확함이 있었다. 색소상피세포 pigment epithelail cell들은 정상모양이 아니며, 세포질에는 큰 공포 형성이 있으며, 핵의 응축과 불규칙한 모양 등이 있었다.

  • PDF

GIS를 이용한 교량재해관리시스템 개발 (Development of a Bridge Disaster Management System Using GIS)

  • 안기원;유환희;최윤수;신석효
    • 대한공간정보학회지
    • /
    • 제7권2호
    • /
    • pp.69-80
    • /
    • 1999
  • 본 연구에서는 지리정보시스템을 이용하여 교량 안전 관리를 위한 교량재해관리시스템을 개발하고자 한다. 진주시에 위치한 교량시설물들에 대한 기본도, 도로망도, 교량위치도 등과 같은 여러 가지 도형 레이어 그리고 32개 교량에 관련된 속성자료들을 포함하여 데이터베이스를 구축하였다. Visual Basic 5.0 Language를 사용하여 여러 가지 교량안전관련 분석기능을 갖는 PC용 교량재해관리시스템을 개발하였다. 본 연구에서 개발된 교량재해관리시스템은 신속하고 효율적인 데이터검색, 파일관리, 교량제원의 검색과 관리, 교량관련 도면보기, 교통량조사의 검색과 관리, 교량점검결과와 보수상태의 검색과 관리 그리고 교량 안전등급의 평가의 기능을 가지고 있다.

  • PDF

객체의 움직임을 고려한 탐색영역 설정에 따른 가중치를 공유하는 CNN구조 기반의 객체 추적 (Object Tracking based on Weight Sharing CNN Structure according to Search Area Setting Method Considering Object Movement)

  • 김정욱;노용만
    • 한국멀티미디어학회논문지
    • /
    • 제20권7호
    • /
    • pp.986-993
    • /
    • 2017
  • Object Tracking is a technique for tracking moving objects over time in a video image. Using object tracking technique, many research are conducted such a detecting dangerous situation and recognizing the movement of nearby objects in a smart car. However, it still remains a challenging task such as occlusion, deformation, background clutter, illumination variation, etc. In this paper, we propose a novel deep visual object tracking method that can be operated in robust to many challenging task. For the robust visual object tracking, we proposed a Convolutional Neural Network(CNN) which shares weight of the convolutional layers. Input of the CNN is a three; first frame object image, object image in a previous frame, and current search frame containing the object movement. Also we propose a method to consider the motion of the object when determining the current search area to search for the location of the object. Extensive experimental results on a authorized resource database showed that the proposed method outperformed than the conventional methods.

뉴욕5건축과 바로크건축에 나타난 공간특성에 관한 연구 - 뉴욕5건축의 겹구조와 바로크 건축의 이중표피 돔 구조의 비교분석을 중심으로 - (A Study on the Spatial Characteristics Shown in New York Five and Baroque Architecture - Focused on the Comparative Analysis of the Double Layer of New York Five Architecture and the Dome Structure with Double Shell of Baroque Architecture -)

  • 한명식
    • 한국실내디자인학회논문집
    • /
    • 제14권2호
    • /
    • pp.63-71
    • /
    • 2005
  • The dome structure has been treated in two layers among the techniques that have formed the space in Baroque architecture and the light used to be manipulated to create the openness of space and the fantasy of atmosphere. Such an expression technique has influenced on the expression of space in the architecture of New York Five in the 1960s to 1970s and the concept of multiple space embellished with various layers has appeared in the architectural concept of New York Five; meanwhile, the common meaning with the technique of double layers and the ways of phenomenal expressions that have recognized the existence of space in the Baroque period has been achieved through the light, immaterial organism. It means that the existing concept of light limited simply to the plane elements of brightness and darkness has been treated as a formative element that has defined and adjusted the visual expansion and reduction of the space Itself and special existence and has been used as an element of the media of spatial structure. In addition, these elements have been treated as another solution for the emotional aspects of space. Therefore, this study compares the plastic and formative meaning of the Baroque architecture with that of New York Five in terms of the relation between space and light and examines them; in doing so, it will give a clue to understand various and new space expression techniques to many architects and space designers who have led modern architecture.