• 제목/요약/키워드: 히든 레이어

검색결과 65건 처리시간 0.029초

KRBERT 임베딩 층에 따른 의미역 결정 (Layerwise Semantic Role Labeling in KRBERT)

  • 서혜진;박명관;김유희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.617-621
    • /
    • 2021
  • 의미역 결정은 문장 속에서 서술어와 그 논항의 관계를 파악하며, '누가, 무엇을, 어떻게, 왜' 등과 같은 의미역 관계를 찾아내는 자연어 처리 기법이다. 최근 수행되고 있는 의미역 결정 연구는 주로 말뭉치를 활용하여 딥러닝 학습을 하는 방식으로 연구가 이루어지고 있다. 최근 구글에서 개발한 사전 훈련된 Bidirectional Encoder Representations from Transformers (BERT) 모델이 다양한 자연어 처리 분야에서 상당히 높은 성능을 보이고 있다. 본 논문에서는 한국어 의미역 결정 성능 향상을 위해 한국어의 언어적 특징을 고려하며 사전 학습된 SNU KR-BERT를 사용하면서 한국어 의미역 결정 모델의 성능을 살펴보였다. 또한, 본 논문에서는 BERT 모델에서 과연 어떤 히든 레이어(hidden layer)에서 한국어 의미역 결정을 더 잘 수행하는지 알아보고자 하였다. 실험 결과 마지막 히든 레이어 임베딩을 활용하였을 때, 언어 모델의 성능은 66.4% 였다. 히든 레이어 별 언어 모델 성능을 비교한 결과, 마지막 4개의 히든 레이어를 이었을 때(concatenated), 언어 모델의 성능은 67.9% 이였으며, 11번째 히든 레이어를 사용했을 때는 68.1% 이였다. 즉, 마지막 히든 레이어를 선택했을 때보다 더 성능이 좋았다는 것을 알 수 있었다. 하지만 각 언어 모델 별 히트맵을 그려보았을 때는 마지막 히든 레이어 임베딩을 활용한 언어 모델이 더 정확히 의미역 판단을 한다는 것을 알 수 있었다.

  • PDF

멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing with Multi-layer Pointer Networks)

  • 박천음;황현선;이창기;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.92-96
    • /
    • 2017
  • 딥 러닝 모델은 여러 히든 레이어로 구성되며, 히든 레이어의 깊이가 깊어질수록 레이어의 벡터는 높은 수준으로 추상화된다. 본 논문에서는 Encoder RNN의 레이어를 여러 층 쌓은 멀티 레이어 포인터 네트워크를 제안하고, 멀티 태스크 학습 기반인 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석 모델을 제안한다. 멀티 태스크 학습 모델은 어절 간의 의존 관계와 의존 레이블 정보를 동시에 구하여 의존 구문 분석을 수행한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 의존 구문 분석 연구들 보다 좋은 UAS 92.16%, LAS 89.88%의 성능을 보였다.

  • PDF

멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석 (Korean Dependency Parsing with Multi-layer Pointer Networks)

  • 박천음;황현선;이창기;김현기
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.92-96
    • /
    • 2017
  • 딥 러닝 모델은 여러 히든 레이어로 구성되며, 히든 레이어의 깊이가 깊어질수록 레이어의 벡터는 높은 수준으로 추상화된다. 본 논문에서는 Encoder RNN의 레이어를 여러 층 쌓은 멀티 레이어 포인터 네트워크를 제안하고, 멀티 태스크 학습 기반인 멀티 레이어 포인터 네트워크를 이용한 한국어 의존 구문 분석 모델을 제안한다. 멀티 태스크 학습 모델은 어절 간의 의존 관계와 의존 레이블 정보를 동시에 구하여 의존 구문 분석을 수행한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 의존 구문 분석 연구들 보다 좋은 UAS 92.16%, LAS 89.88%의 성능을 보였다.

  • PDF

몰포러지 신경망 기반 딥러닝 시스템 (Deep Learning System based on Morphological Neural Network)

  • 최종호
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권1호
    • /
    • pp.92-98
    • /
    • 2019
  • 본 논문에서는 몰포러지 연산을 기본으로 하는 몰포러지 신경망(MNN: Morphological Neural Network) 기반 딥러닝 시스템을 제안하였다. 딥러닝에 사용되는 레이어는 몰포러지 레이어, 풀링 레이어, ReLU 레이어, Fully connected 레이어 등이다. 몰포러지 레이어에서 사용되는 연산은 에로전, 다이레이션, 에지검출 등이다. 본 논문에서 새롭게 제안한 MNN은 기존의 CNN(Convolutional Neural Network)을 이용한 딥러닝 시스템과는 달리 히든 레이어의 수와 각 레이어에 적용되는 커널 수가 제한적이다. 레이어 단위 처리시간이 감소하고, VLSI 칩 설계가 용이하다는 장점이 있으므로 모바일 임베디드 시스템에 딥러닝을 다양하게 적용할 수 있다. MNN에서는 제한된 수의 커널로 에지와 형상검출 등의 연산을 수행하기 때문이다. 데이터베이스 영상을 대상으로 행한 실험을 통해 MNN의 성능 및 딥러닝 시스템으로의 활용 가능성을 확인하였다.

스크린 이미지 부호화를 위한 에지 정보 기반의 효과적인 형태학적 레이어 분할 (Effective Morphological Layer Segmentation Based on Edge Information for Screen Image Coding)

  • 박상효;이시웅
    • 한국콘텐츠학회논문지
    • /
    • 제13권12호
    • /
    • pp.38-47
    • /
    • 2013
  • 다중 레이어 영상 모델인 Mixed Raster Content 모델 (MRC) 기반의 영상 부호화는 스크린 이미지와 같은 혼합 영상을 전경 레이어, 이진 마스크 레이어, 배경 레이어로 재구성한 뒤, 각 레이어마다 그 레이어의 신호 특성에 적합한 부호화기를 이용하여 영상을 압축하는 기법이다. 문자와 같은 계단 형태의 강한 에지를 갖는 영역의 위치 정보를 마스크 레이어에 저장하고, 그 위치의 색상 신호는 전경 레이어에 저장한다. 그리고 나머지 영역인 배경 영역의 색상 신호는 배경 레이어에 저장한다. 따라서 마스크 레이어가 전경과 배경의 분할 정보를 담게 되며, 이 분할 정보의 정확도에 따라 전체 부호화기의 압축 효율이 직접적인 영향을 받는다. 본 논문은 MRC 기반의 영상 부호화를 위한 새로운 레이어 분할 알고리즘을 제안한다. 제안 방법은 형태학적 필터인 top hat 변환을 이용하여 문자를 배경신호로부터 분할한다. 이때 문자의 경계를 에지 맵으로부터 추정하여 문자 색상과 배경과의 상대적 밝기를 결정하고 이를 통해 형태학적 필터링에 필요한 top hat 변환의 종류를 정확히 선택하도록 하였다. 실험을 통해 제안 방법이 비교 대상 알고리즘에 비해 우수한 분할 성능을 가짐을 보인다.

자연어 처리 기반 텍스트 감정 분류 모델 (Emotion Classification from Text based on Natural Language Processing)

  • 김민주;진효정;이정훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.690-691
    • /
    • 2024
  • 본 논문에서는 특정 서비스군의 소비자 니즈를 신속히 파악하기 위하여 일기와 같은 자연언어 텍스트를 활용한 분류 모델을 개발한다. 목적에 맞는 감정상태군을 정의하여 필수적인 감정들로 통합한 후 주어진 데이터셋에서 해당 감정 컬럼을 추출하여 텍스트 형식을 통일한다. 파이썬의 Keras 라이브러리를 사용하여 임베딩 레이어, LSTM 레이어, 밀집 레이어 등으로 학습 네트워크를 구성한 후 추출된 텍스트로 학습한 결과는 15회의 이포크 수행으로 98%의 정확도에 도달한다.

이동 애드혹 네트워크에서 에너지 효율을 고려한 크로스 레이어 라우팅 프로토콜 (An Energy Efficient Cross-Layer Routing Protocol in Mobile Ad Hoc Network)

  • 유기훈;유대훈;최웅철;이승형;정광수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (D)
    • /
    • pp.520-524
    • /
    • 2007
  • 제한된 전지를 사용하는 노드들로 이루어진 이동 애드혹 네트워크 환경에서 멀티 홉 간의 에너지 효율적인 경로 설정은 매우 중요한 이슈이다. 이러한 문제를 해결하기 위해서 본 논문에서는 이동 애드혹 네트워크 환경에서 자주 사용되는 라우팅 프로토콜 중 하나인 AODV(Ad-hoc On-demand Distance Vector) 라우팅 프로토콜을 기반으로, 네트워크 계층과 MAC계층의 자원을 크로스 레이어 기법을 활용하여 에너지 효율적인 크로스 레이어 라우팅 프로토콜을 제안한다. 네트워크 계층에서의 이웃노드에 관한 상태 정보를 크로스 레이어 기법을 활용하여 MAC 계층의 back-off time을 적절히 조절함으로써 프레임의 충돌을 줄이고, 패킷의 경로를 설정하는데 있어서 신뢰성과 효율성을 부여하기 위한 방법으로 MAC계층의 자원을 활용하여 얻은 Collision-Level을 사용한다. 또한 Collision Level은 패킷 경로 선택에 사용되는 지연시간을 적응성 있게 줄이는 자원으로 사용된다.

  • PDF

MEC 블록체인에서 연합학습의 효율적인 모델 전송 연구 (Research on efficient model transfer of federated learning in 5G MEC blockchain)

  • 강보찬;김동오
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.590-591
    • /
    • 2024
  • 최근에 개인 데이터의 프라이버시가 중요해 지면서, 딥러닝 분야에서 개인 데이터 프라이버시 보호할 수 있는 연합학습 기술이 주목받고 있다. 특히 5G MEC나 블록체인 환경과 같이 통신 부하 및 지연 시간이 중요한 영역에서 연합학습 모델의 전송 비용 감소에 관한 연구가 활발히 진행 중이다. 본 논문에서는 연합학습 과정에서 효율적인 모델 전송을 위해 레이어 단위로 모델을 전송하는 기법을 제안한다. 실험 결과를 통해, 레이어 단위로 전송함으로써, 전송 데이터는 66% 줄어들 수 있지만, 정확도 변화는 1% 이내임을 확인하였다.

인터넷건축행정시스템(e-AIS) 자료를 이용한 수치지도 2.0의 건물 레이어 갱신 및 검수 방안 (A Method of Update and Inspection for Building Layer of Digital Maps 2.0 using e-AIS Data)

  • 김효중;양성철;가칠오;유기윤
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동춘계학술대회
    • /
    • pp.427-433
    • /
    • 2008
  • 수치지도는 제작 과정뿐만 아니라 갱신 및 검수 작업도 정확성과 최신성을 유지하기 위해 매우 중요하다. 하지만 항공사진과 현지측량을 통한 기존의 갱신 방법은 짧은 주기로 변하는 현실 세계를 충분히 반영하지 못한다는 한계를 갖고 있어 수치지도의 최신성을 유지하기 위한 효율적인 새로운 갱신 방안이 요구된다. 이를 위해 인터넷건축행정시스템(e-AIS)의 건축도면과 건축물대장정보를 이용하면 신축, 개축, 증축 등이 수시로 일어나는 건물에 대해 수치지도의 갱신을 위한 신속하고 효과적인 대안이 될 수 있다. 본 연구에서는 건축도면에서 추출된 공간 정보와 건축물대장에서 취득된 속성 정보를 이용하여 수치지도의 건물 레이어를 갱신하는 방법을 제시하였다.

  • PDF

포토샵 레이어 기능을 활용한 동양회화 구도수업 (Composition of Oriental Painting Lesson Using Photoshop Layers)

  • 박하나;허윤정
    • 한국콘텐츠학회논문지
    • /
    • 제14권10호
    • /
    • pp.361-373
    • /
    • 2014
  • 동양회화 수업이 소홀히 여겨지는 이유는 교사의 부담과 용구의 준비와 사용의 번거로움 때문이다. 이러한 부담감은 매체의 전환으로 극복될 수 있다. 본 연구는 동양회화 수업의 단점을 극복하고 학생들의 흥미를 높이며 효과적인 구도 수업을 위한 방안으로 포토샵 프로그램의 레이어를 활용한 동양회화 구도 수업을 제시하였다. 포토샵을 활용한 동양회화 구도 수업 안을 개발하고 그 효과를 알아보고자 고등학교 1학년 60명을 대상으로 수업 전과 후에 설문조사를 시행하고 수업 결과물을 분석하였다. 대다수(75%)가 동양회화 구도 수업에 포토샵 수업이 적절하며, 포토샵을 활용한다면 주제에 상관없이 참여하겠다는 의견이 58.3%로 포토샵에 높은 흥미를 나타내었다. 포토샵 프로그램을 활용한 수업의 장점으로 직접 그리지 않아 부담이 적은 점(33.3%), 다양한 표현이 가능한 점(30%), 준비물이 없는 점(26.6%) 등을 답하여 포토샵 활용이 기존 동양회화수업의 단점을 극복할 수 있음을 확인할 수 있었다.