• 제목/요약/키워드: 기계학습 구조

검색결과 314건 처리시간 0.029초

DeNERT: Named Entity Recognition Model using DQN and BERT

  • Yang, Sung-Min;Jeong, Ok-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.29-35
    • /
    • 2020
  • 본 논문에서는 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 최근 자연어처리 분야는 방대한 양의 말뭉치로 사전 학습된 언어 표현 모델을 활용하는 연구가 활발하다. 특히 자연어처리 분야 중 하나인 개체명인식은 대부분 지도학습 방식을 사용하는데, 충분히 많은 양의 학습 데이터 세트와 학습 연산량이 필요하다는 단점이 있다. 강화학습은 초기 데이터 없이 시행착오 경험을 통해 학습하는 방식으로 다른 기계학습 방법론보다 조금 더 사람이 학습하는 과정에 가까운 알고리즘으로 아직 자연어처리 분야에는 많이 적용되지 않은 분야이다. 아타리 게임이나 알파고 등 시뮬레이션 가능한 게임 환경에서 많이 사용된다. BERT는 대량의 말뭉치와 연산량으로 학습된 구글에서 개발한 범용 언어 모델이다. 최근 자연어 처리 연구 분야에서 높은 성능을 보이고 있는 언어 모델이며 많은 자연어처리 하위분야에서도 높은 정확도를 나타낸다. 본 논문에서는 이러한 DQN, BERT 두가지 딥러닝 모델을 이용한 새로운 구조의 개체명 인식 DeNERT 모델을 제안한다. 제안하는 모델은 범용 언어 모델의 장점인 언어 표현력을 기반으로 강화학습 모델의 학습 환경을 만드는 방법으로 학습된다. 이러한 방식으로 학습된 DeNERT 모델은 적은 양의 학습 데이터세트로 더욱 빠른 추론시간과 높은 성능을 갖는 모델이다. 마지막으로 제안하는 모델의 개체명 인식 성능평가를 위해 실험을 통해서 검증한다.

구조적 프로그래밍을 위한 언어 학습 시스템 (Language Education System with Structured Programming)

  • 박경욱;류남훈;김응곤
    • 한국전자통신학회논문지
    • /
    • 제5권5호
    • /
    • pp.459-464
    • /
    • 2010
  • 컴퓨터 프로그램은 기계, 우주, 항공, 의학을 비롯한 사회 전 분야에서 필요로 한다. 하지만 프로그래밍 교육과정은 수많은 교재와 동영상 강의에도 불구하고 어려워하고 있다. 프로그래밍 언어는 매우 다양하지만 대부분의 언어들은 동일한 구조를 사용하며, 표현 방식에 차이가 있을 뿐이다. 그래서 하나의 프로그래밍 언어를 습득하면 또 다른 언어를 배우는데 많은 시간과 노력을 기울이지 않아도 된다. 대부분의 프로그래밍 언어들은 일반적으로 순서, 선택, 반복 구조를 사용한다. 프로그래밍을 배우는 사람에게 중요한 것은 프로그램의 문법이 아니라 프로그램의 구조나 알고리즘이다. 본 논문에서는 순서도를 활용해 구조화된 프로그래밍을 학습할 수 있는 언어 학습 시스템을 설계하고 구현하였다.

문법관계 정보를 이용한 단계적 한국어 구문 분석 (Cascaded Parsing Korean Sentences Using Grammatical Relations)

  • 이성욱
    • 정보처리학회논문지B
    • /
    • 제15B권1호
    • /
    • pp.69-72
    • /
    • 2008
  • 본 연구는 한국어 의존 구조를 결정하는 단계적 의존 구조 분석기를 제안한다. 각 단계에서는 주어진 문법관계의 후보열에서 올바른 문법관계를 결정하는데, 대상문법관계의 종류에 따라 독립적으로 수행된다. 문법관계의 후보열은 미리 학습된 지지벡터기계를 이용하여 주어, 목적어, 보어, 부사어 등 7가지의 문법관계로 추정한다. 각 단계에서는 지지벡터기계 분류기와 어절 간의 거리, 교차 구조 금지, 격 제한의 원칙 등의 한국어 언어 특성을 이용하여 대상문법관계를 결정하며, 모든 단계를 거쳐 최종적으로 전체 의존 구조와 문법관계가 결정된다. 트리 및 문법관계 부착 말뭉치를 이용하여 제안된 시스템을 구현 및 실험하였으며 약 85.7%의 정확률을 얻었다.

Spiking Neural Networks(SNN) 구조에서 뉴런의 개수와 학습량에 따른 학습 성능 변화 분석 (An analysis of learning performance changes in spiking neural networks(SNN))

  • 김용주;김태호
    • 문화기술의 융합
    • /
    • 제6권3호
    • /
    • pp.463-468
    • /
    • 2020
  • 인공지능 연구는 다양한 분야에 적용되며 발전하고 있다. 본 논문에서는 차세대 인공지능 연구 분야인 SNN(Spiking Neural Networks) 형태의 인공지능 구현 방식을 사용하여 신경망을 구축하고, 그 신경망에서 뉴런의 개수가 신경망의 성능에 어떠한 영향을 미치는지를 분석한다. 또한 신경망 학습량을 증가시키면서 신경망의 성능이 어떻게 바뀌는지를 분석한다. 해당 연구 결과를 통해 각 분야에서 사용되는 SNN 기반의 신경망을 최적화 할 수 있을 것이다.

대규모 신경회로망 분산 GPU 기계 학습을 위한 Caffe 확장 (Extending Caffe for Machine Learning of Large Neural Networks Distributed on GPUs)

  • 오종수;이동호
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권4호
    • /
    • pp.99-102
    • /
    • 2018
  • Caffe는 학술 연구용으로 널리 사용되는 신경회로망 학습 소프트웨어이다. 신경회로망 구조 결정에서 가장 중요한 요소에 GPU 기억 용량이 포함된다. 예를 들어 많은 객체 검출 소프트웨어는 신경회로망이 12GB 이하의 기억 용량을 사용하게 하여 하나의 GPU에 적합하게 설계되어 있다. 본 논문에서는 큰 신경회로망을 두 개 이상의 GPU에 분산 저장하여 12GB 이상의 기억 용량을 사용할 수 있게 Caffe를 확장하였다. 확장된 소프트웨어를 검증하기 위하여 3개 GPU를 가진 PC에서 최신 객체 검출 소프트웨어의 배치 크기에 따른 학습 효율을 실험하였다.

아스팔트 혼합물의 골재 간극률 예측을 위한 기계학습 프레임워크 (Machine Learning Framework for Predicting Voids in the Mineral Aggregation in Asphalt Mixtures)

  • 박혜민;나일호;김현환;지봉준
    • 한국지반신소재학회논문집
    • /
    • 제23권1호
    • /
    • pp.17-25
    • /
    • 2024
  • 골재 간극률은 구조적 강도, 내구성, 배수 및 투수성 등 다양한 아스팔트의 특성에 직접적인 영향을 미친다. 따라서 아스팔트 포장이 사용되는 위치, 기후, 환경 등에 적절하도록 골재 간극률이 설계되어야한다. 하지만 골재 간극률은 다양한 요인들에 의해 영향을 받으므로 그 설계가 쉽지 않다. 예를 들어 골재 입자의 크기 분포, 구성이나 아스팔트 바인더의 양, 다짐 수준 등 다양한 영향인자가 존재한다. 본 연구에서는 골재 간극률에 영향을 미치는 요인들로부터 골재 간극률을 예측하고자 하였다. 이를 위해 다양한 기계학습 모델 방법을 적용하였고 단일 기계학습 모델을 적용했을 때보다 높은 정확도로 골재 간극률을 예측할 수 있음을 보였다. 본 연구의 결과는 경험과 노동집약적인 실험에 의존하는 골재 간극률 예측에 데이터 기반의 접근방법을 적용할 수 있음을 보였으며 향후 최적 골재 간극률 설계 등에 활용 가능할 것으로 기대된다.

기계학습을 통한 여름철 노면상태 추정 알고리즘 개발 (Estimation of Road Surface Condition during Summer Season Using Machine Learning)

  • 여지호;이주영;김강화;장기태
    • 한국ITS학회 논문지
    • /
    • 제17권6호
    • /
    • pp.121-132
    • /
    • 2018
  • 기상은 교통흐름, 운전자의 주행패턴, 교통사고 등 여러 방면에서 도로교통에 영향을 미치는 중요한 요인이다. 본 연구는 기상상황과 노면상태 사이의 관계에 초점을 맞추어 기계학습을 통해 도로의 노면상태를 추정하는 모델을 개발하였다. 노면 상태의 수집을 위해 실험 차량에 노면센서를 부착하여 '건조', '습윤', '젖음', 3가지 범주로 구분된 노면상태 정보를 수집하였고, 이를 추정하기 위한 변수로 도로의 기하구조 정보(곡률, 구배), 교통정보(교통량), 기상정보(강우량, 습도, 온도, 풍속)를 활용하였다. 노면 상태를 예측하기 위한 알고리즘으로는 다양한 기계학습 알고리즘이 검토되었으며, 그 중 가장 높은 정확도를 보인 'Random forest'를 기반으로 한 2단계 분류모형을 구축하였다. 총 16일의 실측 데이터 중 14일의 데이터를 모델을 학습하는 데 활용하였고, 2일의 데이터를 모형의 정확도를 검증하기 위해 사용하였다. 그 결과 81.74%의 검증 정확도를 가지는 노면상태 예측 모델을 구축하였다. 본 연구의 결과는 기상청에서 관측하는 기상정보로 도로의 노면상태를 추정할 수 있다는 가능성을 보여주며, 새로운 장비나 센서를 설치하지 않고도 기존의 기상 관측 정보와 교통정보 등을 활용하여 노면의 상태를 추정할 수 있음을 시사한다.

진화신경망을 이용한 효과적 인 침입탐지 (Effective Intrusion Detection using Evolutionary Neural Networks)

  • 한상준;조성배
    • 한국정보과학회논문지:정보통신
    • /
    • 제32권3호
    • /
    • pp.301-309
    • /
    • 2005
  • 시스템 호출 감사자료기반 기계학습기법을 사용한 프로그램 행위 학습방법은 효과적인 호스트 기반 침입탐지 방법이며, 규칙 학습, 신경망, 통계적 방법, 은닉 마크로프 모델 등의 방법이 대표적이다. 그 중에서 신경망은 시스템 호출 시퀀스를 학습하는데 있어 적합하다고 알려져 있는데, 실제 문제에 적용하여 좋은 성능을 내기 위해서는 그 구조를 결정하는 것이 중요하다 하지만 보통의 신경망은 그 구조를 찾기 위한 방법이 알려져 있지 않아 침입탐지에 효과적인 구조를 찾기 위해서는 많은 시간이 요구된다. 본 논문에서는 기존 신경망 기반 침입탐지시스템의 단점을 보완하고 성능을 향상시키기 위해 진화신경망을 이용한 방법을 제안한다. 진화 신경망은 신경망의 구조와 가중치를 동시에 학습하기 때문에 일반 신경망보다 빠른 시간에 더 좋은 성능의 신경망을 얻을 수 있다는 장점이 있다. 1999년의 DARPA IDEVAL 자료로 실험한 결과 기존의 연구보다 좋은 탐지율을 보여 진화신경망이 침입탐지에 효과적임을 확인할 수 있었다.

SVM과 HMM을 이용한 $\alpha$-Helix 막횡단 단백질 예측 (Predicting Transmembrane $\alpha$-helix protein with SVM and HMM)

  • 송철환;유성준;김민경;설영주
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.817-819
    • /
    • 2003
  • 현재 바이오인포매틱스(Bioinformatics) 분야에서 가장 중요한 부분 중의 하나는 유전자 및 단백질의 구조와 기능을 정확하게 예측하는 것이다. 이는 질병 치료 및 신약개발에 유용하여 이로부터 나온 결과로부터 경제적 산업적 효과를 기대할 수 있다. 이 논문에서는 기계학습(Machine Learning)의 한 분야인 SVM(Support Vector Machine)과 HMM(Hidden Markov Model)를 결합하여 단백질의 막횡단(Transmembrane) $\alpha$-Helix 단백질 지역을 예측하는 새로운 알고리즘을 개발, 구현 및 실험하였다. 그 결과 이 두 가지 알고리즘이 결합된 방식을 사용함으로써 성능을 향상 시킬 수 있음을 증명했다.

  • PDF

탄성파 자료 잡음 제거를 위한 비지도 학습 연구 (The Use of Unsupervised Machine Learning for the Attenuation of Seismic Noise)

  • 김수정;전형구
    • 지구물리와물리탐사
    • /
    • 제25권2호
    • /
    • pp.71-84
    • /
    • 2022
  • 탄성파 자료 취득 시 신호와 함께 기록되는 다양한 형태의 잡음은 탄성파 자료의 정확한 해석을 방해하는 요인으로 작용한다. 따라서 탄성파 자료의 잡음 제거는 탄성파 자료 처리 과정 중 필수적인 절차이므로 기계 학습을 포함한 다양한 방식의 잡음 제거 연구가 수행되고 있다. 본 연구에서는 비지도 학습 기반의 탄성파 잡음 제거 모델을 이용하여 중합 전 탄성파 자료의 잡음 제거를 수행하고자 하였으며 총 세 가지의 비지도 학습 기반 기계 학습 모델을 비교하였다. 세 가지의 비지도 학습 모델은 N2NUNET, PATCHUNET, DDUL로 각각 서로 다른 신경망 구조를 통해 정답 자료 없이 탄성파 잡음을 제거한다. 세 가지 모델들을 인공 합성 및 현장 중합 전 탄성파 자료에 적용하여 잡음을 제거한 후 그 결과를 정성적·정량적으로 분석하였으며, 분석 결과 세 가지 비지도 학습 모델 모두 인공 합성 및 현장 자료의 탄성파 잡음을 적절히 제거하였음을 확인하였다. 그 중 N2NUNET 모델이 가장 낮은 잡음 제거 성능을 보여주었으며, PATCHUNET과 DDUL은 거의 유사한 결과를 도출하였지만, DDUL이 정량적으로 근소한 우위를 보였다.