• 제목/요약/키워드: semantic label

검색결과 47건 처리시간 0.024초

시맨틱 갭을 줄이기 위한 딥러닝과 행위 온톨로지의 결합 기반 이미지 검색 (Image retrieval based on a combination of deep learning and behavior ontology for reducing semantic gap)

  • 이승;정혜욱
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제9권11호
    • /
    • pp.1133-1144
    • /
    • 2019
  • 최근 스마트 기기의 발전으로 인터넷상에 존재하는 이미지 데이터의 양이 급속하게 증가하는 상황에서 효과적인 이미지 검색을 위한 다양한 방법들이 연구되고 있다. 기존의 이미지 검색 방법들은 이미지에 존재하는 물체들을 단순하게 검출하여 각 물체들의 라벨 정보에 근거한 검색을 수행하기 때문에 사용자가 원하는 이미지와 검색 결과로 얻은 이미지 간에 의미적 차이인 시맨틱 갭(Semantic Gap)이 발생된다. 이미지 검색에서 발생하는 시맨틱 갭을 줄이기 위해, 본 논문에서는 딥러닝 기반의 다중 객체 분류 모듈과 사람의 행위를 분류하는 모듈을 연결하고, 이 모듈들에 행위 온톨로지를 결합하였다. 즉, 딥러닝과 행위 온톨로지의 결합을 기반으로 객체들 간의 연관성을 고려한 이미지 검색 시스템을 제안한다. 이미지에 포함된 동적인 행위를 고려하기 위해 Walking과 Running 데이터를 이용하여 실험한 결과를 분석하였다. 제안한 방법은 향후 이미지 검색 결과의 정확도를 높일 수 있는 영상의 자동 주석 생성 연구에 확장하여 적용할 수 있다.

A Hybrid Semantic-Geometric Approach for Clutter-Resistant Floorplan Generation from Building Point Clouds

  • Kim, Seongyong;Yajima, Yosuke;Park, Jisoo;Chen, Jingdao;Cho, Yong K.
    • 국제학술발표논문집
    • /
    • The 9th International Conference on Construction Engineering and Project Management
    • /
    • pp.792-799
    • /
    • 2022
  • Building Information Modeling (BIM) technology is a key component of modern construction engineering and project management workflows. As-is BIM models that represent the spatial reality of a project site can offer crucial information to stakeholders for construction progress monitoring, error checking, and building maintenance purposes. Geometric methods for automatically converting raw scan data into BIM models (Scan-to-BIM) often fail to make use of higher-level semantic information in the data. Whereas, semantic segmentation methods only output labels at the point level without creating object level models that is necessary for BIM. To address these issues, this research proposes a hybrid semantic-geometric approach for clutter-resistant floorplan generation from laser-scanned building point clouds. The input point clouds are first pre-processed by normalizing the coordinate system and removing outliers. Then, a semantic segmentation network based on PointNet++ is used to label each point as ceiling, floor, wall, door, stair, and clutter. The clutter points are removed whereas the wall, door, and stair points are used for 2D floorplan generation. A region-growing segmentation algorithm paired with geometric reasoning rules is applied to group the points together into individual building elements. Finally, a 2-fold Random Sample Consensus (RANSAC) algorithm is applied to parameterize the building elements into 2D lines which are used to create the output floorplan. The proposed method is evaluated using the metrics of precision, recall, Intersection-over-Union (IOU), Betti error, and warping error.

  • PDF

지하구조물 콘크리트 균열 탐지를 위한 semi-supervised 의미론적 분할 기반의 적대적 학습 기법 연구 (Adversarial learning for underground structure concrete crack detection based on semi­supervised semantic segmentation)

  • 심승보;최상일;공석민;이성원
    • 한국터널지하공간학회 논문집
    • /
    • 제22권5호
    • /
    • pp.515-528
    • /
    • 2020
  • 통상적으로 콘크리트 지하 구조물은 수십 년 이상 사용할 수 있도록 설계되지만 최근 들어 구조물 중 상당수가 당초의 기대 수명에 근접하고 있는 실정이다. 그 결과 구조물 고유의 기능이 상실되고 다양한 문제가 야기될 수 있어 신속한점검과 보수가 요구되고 있다. 이를 위해 지금까지는 지하 구조물 유지관리를 위하여 인력 기반의 점검과 보수가 진행되었으나 최근에는 인공지능과 영상 기술의 융합을 통한 객관적인 점검 기술 개발이 활발하게 이루어지고 있다. 특히 딥러닝을 활용한 영상 인식 기술을 적용하여 지도학습 기반의 콘크리트 균열 탐지 알고리즘 개발에 관한 연구가 다양하게 진행되고 있다. 이러한 연구들은 대부분 지도학습 형태 영상 인식 기술로 많은 양의 데이터를 바탕으로 개발이 되는데, 그 중에도 많은 수의 라벨 영상(Label image)이 요구된다. 이를 확보하기 위해서는 현실적으로 많은 시간과 노동력이 필요한 실정이다. 본 논문에서는 이와 같은 문제를 개선하고자 적대적 학습 기법을 적용하여 균열 영역 탐지 정확도를 평균적으로 0.25% 향상시키는 방법을 기술하고자 한다. 이 적대적 학습은 분할(Segmentation) 신경망과 판별자(Discriminator) 신경망으로 구성되어 있고, 가상의 라벨 영상을 경쟁적인 구조로 생성하여 인식 성능을 높이는 알고리즘이다. 본 논문에서는 이 같은 방법을 활용하여 효율적인 심층 신경망 학습 방법을 제시하였고, 향후에 정확한 균열 탐지에 활용될 것으로 기대한다.

균열 탐지의 의미론적 분할을 위한 Mean Teacher 학습 구조 최적화 (Mean Teacher Learning Structure Optimization for Semantic Segmentation of Crack Detection)

  • 심승보
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제27권5호
    • /
    • pp.113-119
    • /
    • 2023
  • 인프라 구조물은 대부분 경제 성장기에 완공되었다. 이러한 인프라 구조물은 최근 들어 공용연수가 점차 증가하고 있어 노후 구조물의 비중이 점차 증가하고 있다. 이러한 노후 구조물은 설계 당시의 기능과 성능이 저하될 수 있고 안전사고로까지 이어질 수 있다. 이를 예방하기 위해서는 정확한 점검과 적절한 보수가 필수적이다. 이를 위해서는 우선 미세한 균열까지 정확히 탐지할 수 있도록 컴퓨터 비전과 딥러닝 기술에 수요가 증가하고 있다. 하지만 딥러닝 알고리즘은 다수의 학습 데이터가 있어야 한다. 특히 영상 내 균열의 위치를 표시한 라벨 영상은 필수적이다. 이러한 라벨 영상을 다수 확보하기 위해서는 많은 노동력과 시간이 필요한 실정이다. 이러한 비용을 절감하고 탐지 정확도를 높이기 위해서 본 연구에서는 mean teacher 방식의 학습 구조를 제안하였다. 이 학습 구조는 900장의 라벨 영상 데이터 세트와 3000장의 비라벨 영상 데이터 세트로 훈련되었다. 학습된 균열 탐지 신경망 모델은 300여장의 실험용 데이터 세트를 통해 평가되었고 탐지 정확도는 89.23%의 mean intersection over union과 89.12%의 F1 score를 기록하였다. 이 설험을 통해 지도학습과 비교하여 탐지 성능이 향상된 것을 확인하였다. 향후에 이러한 방법은 라벨 영상을 확보하는데 필요한 비용을 절감하는데 활용될 것으로 기대한다.

단안 카메라와 저정밀 GPS-IMU 신호를 융합한 맵매칭 방법 (High accuracy map matching method using monocular cameras and low-end GPS-IMU systems)

  • 김용균;구형일;강석원;김준원;김재관
    • 한국산학기술학회논문지
    • /
    • 제19권4호
    • /
    • pp.34-40
    • /
    • 2018
  • 본 논문에서는 단안 카메라와 비교적 오차가 큰 GPS-IMU 센서를 이용하여 이동체의 정확한 포즈를 예측하는 고정밀 맵매칭 방법을 제안한다. 제안하는 방법은 카메라로부터 입력 받은 영상을 딥뉴럴 네트워크를 이용하여 의미상으로 분할한 결과와 시맨틱 지도 정보를 비교함으로써 달성된다. 카메라로부터 입력 받은 주행 영상은 시맨틱 분할 알고리즘을 통해서 두 개의 클래스로 분할되며, 시맨틱 지도 정보와 가능한 레이블 페어에 대해 설정된 가중치에 따라 비교 정렬함으로써 현재 이동체의 정확한 포즈를 예측할 수 있도록 한다. 이 과정에서 비교적 오차가 큰 GPS-IMU 센서의 신호는 해 공간의 범위를 효과적으로 줄여준다. 본 논문은 비교적 저렴한 센서를 이용하여 증강현실 및 자율주행 등에 필요한 고정밀 맵매칭이 가능함을 보여준다. 보정 전후의 차량 경로를 지도에 비교 도시하고 시맨틱 지도를 현재 입력 영상에 오버레이 하여 제안한 방법의 효과를 입증하였다. 또한 non-open-sky 환경과 같은 GPS-IMU 수신이 어려운 환경에서도 성능 개선이 있음을 확인하였다.

영어, 독일어 그리고 한국어의 강화사 (INTENSIFIERS) -머리에 묶이지 않은 용법 (NON-HEAD-BOUND-USE)을 중심으로

  • 최규련
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2001년도 학술대회 논문집
    • /
    • pp.199-225
    • /
    • 2001
  • The main goal of this paper is to investigate and compare English, German and Korean non-head-bound-intensifiers such as English ‘x-self’, German ‘selbst’, and Korean ‘susulo, casin’. That is, this paper is mainly concerned with the semantic domain where the respective contributions of the expressions in question overlap. The phenomenon under discussion with the label “intensifiers” is regarded as universal, which provides the ground of the comparative/contrastive or semi-cross-linguistic study of this paper. Not only the semantic concept of intensification by these expressions but also the combination of grammatical features or syntactic behaviours thereof seem to have highly invariant common denominators among the wide varieties of languages, even if they come from apparently different language families. In comparing English, German and Korean intensifiers, this paper is interested in the more general features of the expressions in question rather than some language-specific idiocyncracies. Intensifiers work similarly not only in English and German, but also in Korean. Each of three languages under investigation provides some sort of a safegard against confusing instances and misleading judgements on the issues under discussion. Morphologically, however, English expressions in question agree with their rele-vant NP in number, gender and person. Whereas German and Korean counterparts do not have such specific morphological properties. Intensifiers in their non-head-bound-use are subject-oriented, just as in their head-bound use. Non-head-bound-intensifiers differ from head-bound-intensifiers mostly in their syntactic behaviours or distributional properties, whereas they share the semantic domain “intensification” regarding relevant subject-NP. They introduce an ordering and distinguish center and periphery, and ‘self-involvement (directness of involvement)’seems a additional possible characterisation of the relevant dimension of these intensifiers in common. An assertion of identity also can be reg

  • PDF

온톨로지 디버깅을 위한 종속 부호 기반 비논리적 공리 탐지 (Dependency Label based Causing Inconsistency Axiom Detection for Ontology Debugging)

  • 김제민;박영택
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권12호
    • /
    • pp.764-773
    • /
    • 2008
  • W3C는 시맨틱 웹 환경에서 온톨로지를 저작하고 공유하기 위해 온톨로지 구축 언어인 OWL을 발표하였다. 현재 OWL 온톨로지의 논리적 정당성을 검사하기 위해서, OWL 추론 엔진들이 소개되고 있다. 그러나 대부분의 추론 엔진들은 정당하지 못한 개념의 탐지 과정 없이 결과만을 보여준다. 본 논문에서는 온톨로지내의 정당하지 못한 개념을 디버깅하기 위해 종속 부호 기반 비논리적 공리(CIA-Causing Inconsistency Axiom) 탐색 기법을 제안한다. 비논리적 공리는 정당하지 못한 개념들을 유발하는 공리들의 집합이다. 비논리적 공리를 탐지하기 위해서는 온톨로지 내에서 비 일관성을 유발하는 공리를 찾아내야 한다. 온톨로지 저작 도구에 정확한 비논리적 공리가 제공된다면, 온톨로지 저작 도구는 온톨로지 내에서의 정당하지 못한 내용을 수정할 수 있도록 수정될 일부 내용만을 보여줄 것이다. 따라서 본 논문은 두 부분에 초점을 맞추었다. 첫 번째, 정당하지 못한 내용을 가진 온톨로지가 주어졌을 때 비 정당성을 유발하는 공리들을 도출하고, 이들의 근원을 식별한다. 두 번째 비 정당성을 유발하는 공리가 탐지되었을 때 이들만을 추출하여, 온톨로지 설계자에게 보여주는 것이다. 따라서 먼저 기존에 발표되었던 테이블로 알고리즘 기반의 결정 모듈을 소개하고, 이보다 향상된 기법인 종속 부호 기반 비논리적 공리 탐지 기법을 제안한다. 본 논문의 결과물은 현재 온톨로지 언어의 기본이 되는 SHOIN 서술 논리 응용시스템에 적용가능하다.

검색어 생성을 위한 딥 러닝 기반 문장 분석 연구 (Deep Learning based Sentence Analysis for Query Generation)

  • 나성원;윤경로
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 하계학술대회
    • /
    • pp.336-337
    • /
    • 2018
  • 최근 이미지의 Visual 정보를 추출하고 Multi label 분류를 통해 나온 결과의 상관관계를 modeling하여 문장으로 출력하는 CNN-RNN 아키텍처가 많은 발전을 이뤘다. 이 아키텍처의 출력은 이미지의 정보가 요약되어 문장으로 표현되기 때문에 Semantic정보가 풍부하여 유사 콘텐츠 검색에도 사용 가능하다. 하지만 결과 문장에 사람이 포함 되면 광범위한 검색 결과를 얻게 되고 부정확한 결과를 초래하게 된다. 이에 본 논문에서는 문장에서 사람을 인식하여 Identity를 부여함으로써 검색어를 좀 더 구체적으로 생성하고자 한다. 이 문제를 해결하기 위해 자연어 처리의 분야 중 하나인 개체명 인식(Named Entity Recognition) 문제로 다루며, 가장 많이 사용되고 있는 모델인 Bidirectional-LSTM-CRF와 CoNLL2003 dataset을 사용하여 수행 한다.

  • PDF

트리 구조 데이터의 의미 기반 라벨 리스트 표현 정보 추출 (Semantic-Based Label Lists Represented Information Extraction from Tree Data)

  • 백주련
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.27-28
    • /
    • 2020
  • 이형 데이터 간의 정보 전송과 교환을 가능하게 하는 유연한 트리 구조의 특성은 인터넷 및 IoT 환경에서의 대량 데이터 저장·전송·교환 등에 있어서 XML이나 JSON에서 주요하게 사용된다. 사용성에 있어서는 수월한 반면에, 감추어져 있는 가치있는 정보들을 트리 구조의 대량 데이터들로부터 찾아내는 것은 일반 단순 구조의 데이터에 비해서 훨씬 어려우며 복잡하고 난해한 문제들을 발생시킨다. 이는 트리가 갖는 계층 구조 때문이다. 본 논문에서는 계층 구조를 갖는 대량 트리 데이터들을 보다 단순한 리스트 구조로 변형한 후 해당 구조로부터 가장 자주 발생하는 유용한 정보들을 추출하는 방법을 제시한다.

  • PDF

클래스분류 학습이 Self-Supervised Transformer의 saliency map에 미치는 영향 분석 (Analysis of the effect of class classification learning on the saliency map of Self-Supervised Transformer)

  • 김재욱;김현철
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.67-70
    • /
    • 2022
  • NLP 분야에서 적극 활용되기 시작한 Transformer 모델을 Vision 분야에서 적용하기 시작하면서 object detection과 segmentation 등 각종 분야에서 기존 CNN 기반 모델의 정체된 성능을 극복하며 향상되고 있다. 또한, label 데이터 없이 이미지들로만 자기지도학습을 한 ViT(Vision Transformer) 모델을 통해 이미지에 포함된 여러 중요한 객체의 영역을 검출하는 saliency map을 추출할 수 있게 되었으며, 이로 인해 ViT의 자기지도학습을 통한 object detection과 semantic segmentation 연구가 활발히 진행되고 있다. 본 논문에서는 ViT 모델 뒤에 classifier를 붙인 모델에 일반 학습한 모델과 자기지도학습의 pretrained weight을 사용해서 전이학습한 모델의 시각화를 통해 각 saliency map들을 비교 분석하였다. 이를 통해, 클래스 분류 학습 기반 전이학습이 transformer의 saliency map에 미치는 영향을 확인할 수 있었다.

  • PDF