• 제목/요약/키워드: Unit Vector

검색결과 445건 처리시간 0.025초

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성 (Korean Sentence Generation Using Phoneme-Level LSTM Language Model)

  • 안성만;정여진;이재준;양지헌
    • 지능정보연구
    • /
    • 제23권2호
    • /
    • pp.71-88
    • /
    • 2017
  • 언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

L, C, X-밴드 레이더 산란계 자동측정시스템을 이용한 콩 생육 모니터링 (Monitoring soybean growth using L, C, and X-bands automatic radar scatterometer measurement system)

  • 김이현;홍석영;이훈열;이재은
    • 대한원격탐사학회지
    • /
    • 제27권2호
    • /
    • pp.191-201
    • /
    • 2011
  • 본 연구에서는 다편파 레이더 산란계 자동 측정시스템 이용하여 콩 생육변화를 관측하고 레이더 시스템에서 얻어진 후방산란계수과 콩 생육인자들과의 관계분석을 통하여 콩 생육추정 가능성을 모색하고자 하였다. 2010년도 농촌진흥청 국립식량과학원 연구지역에 다편파 레이더 산란계 관측시스템 (L, C, X-밴드 안테나, 네트워크분석기, RF switch, 입사각 $40^{\circ}$)을 구축하고 콩 파종시기에서 수확기까지 10분단위로 콩 생육변화를 자동 측정하였다. 모든 안테나 밴드, 편파에서 콩 생육초기 (6월초~7월 중순)에는 VV-편파가 HH-, HV-편파보다 후방산란계수가 높게 나타났고, 그 이후 HH-편파와 다른 편파들 간의 cross-over 현상이 일어났는데 그 시기는 L-밴드가 7월 20일 (DOY 200), C-, X-밴드의 경우에는 7월 30일 (DOY 210)로 밴드에 따라 차이를 보였다. 모든 밴드 및 편파에서 9월 29일 (DOY 271)까지 후방산란계수가 증가하다가 그 이후 감소하였고 특히 종실비대기 (DOY 277, R6) 이후 감소폭이 크게 나타났는데 이 현상은 콩 생육인자 (초장, 엽면적지수, 건물중 등)변화와 일치하였다. 밴드에 따른 후방산란계수와 콩 생육인자들과의 관계를 분석한 결과 L-밴드 HH-편파에서 LAI ($r=0.93^{***}$), 초장 ($r=0.95^{***}$), 건물중 ($r=0.94^{***}$), 꼬투리중 ($r=0.92^{***}$)등 콩 생육인자들과의 상관계수가 가장 높게 나타났고 이에 비해 X-밴드 편파에서는 콩 생육인자들과의 상관계수가 상대적으로 낮게 나타났다. 후방산란계수 (L-밴드 HH-편파)를 이용하여 콩 생육인자 추정을 위한 회귀식을 작성하였다.

실시간 렌더링 환경에서의 3D 텍스처를 활용한 GPU 기반 동적 포인트 라이트 파티클 구현 (GPU-based dynamic point light particles rendering using 3D textures for real-time rendering)

  • 김병진;이택희
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제26권3호
    • /
    • pp.123-131
    • /
    • 2020
  • 본 연구는 10만 개 이상의 움직이는 파티클 각각이 발광원으로서 존재할 때 라이팅을 위한 실시간 렌더링 알고리즘을 제안한다. 각 라이트의 영향 범위를 동적으로 파악하기 위해 2개의 3D 텍스처를 사용하며 첫 번째 텍스처는 라이트 색상 두 번째 텍스처는 라이트 방향 정보를 가진다. 각 프레임마다 두 단계를 거친다. 첫 단계는 Compute shader 기반으로 3D 텍스처 초기화 및 렌더링에 필요한 파티클 정보를 갱신하는 단계이다. 이때 파티클 위치를 3D 텍스처의 샘플링 좌표로 변환 후 이 좌표를 기반으로 첫 번째 3D 텍스처엔 해당 복셀에 대해 영향을 미치는 파티클 라이트들의 색상 총합을, 그리고 두 번째 3D 텍스처에 해당 복셀에서 파티클 라이트들로 향하는 방향벡터들의 총합을 갱신한다. 두 번째 단계는 일반 렌더링 파이프라인을 기반으로 동작한다. 먼저 렌더링 될 폴리곤 위치를 기반으로 첫 번째 단계에서 갱신된 3D 텍스처의 정확한 샘플링 좌표를 계산한다. 샘플링 좌표는 3D 텍스쳐의 크기와 게임 월드의 크기가 1:1로 대응하므로 픽셀의 월드좌표를 그대로 샘플링 좌표로 사용한다. 샘플링한 픽셀의 색상과 라이트의 방향벡터를 기반으로 라이팅 처리를 수행한다. 3D 텍스처가 실제 게임 월드와 1:1로 대응하며 최소 단위를 1m로 가정하는데 1m보다 작은 영역의 경우 해상도 제한에 의한 계단 현상 등의 문제가 발생한다. 이러한 문제를 개선하기 위한 텍스처 샘플링 시 보간 및 슈퍼 샘플링을 수행한다. 한 프레임을 렌더링하는데 소요된 시간을 측정한 결과 파티클이 라이트의 개수가 262144개일 때 Forward Lighting 파이프라인에서 146ms, deferred Lighting 파이프라인에서 46ms 가 소요되었으며, 파티클 라이트의 개수가 1024576개일 때 Forward Lighting 파이프라인에서 214ms, Deferred Lighting 파이프라인에서 104ms 가 소요되었다.

머신러닝 기법을 활용한 터널 설계 시 시추공 내 암반분류에 관한 연구 (A study on the rock mass classification in boreholes for a tunnel design using machine learning algorithms)

  • 이제겸;최원혁;김양균;이승원
    • 한국터널지하공간학회 논문집
    • /
    • 제23권6호
    • /
    • pp.469-484
    • /
    • 2021
  • 터널 설계 시 지반조사를 통한 암반분류 결과는 공사기간 및 공사비 산출, 그리고 터널안정성 평가에 지대한 영향을 미친다. 국내에서 지금까지 완공된 3,526개소의 터널들의 설계 및 시공을 통해 관련 기술들은 지속적으로 발전되어 왔지만, 터널 설계 시 암질 및 암반등급을 보다 정확하게 평가하기 위한 방법에 대한 연구는 미미하여 평가자의 경험 및 주관에 따라 결과의 차이가 큰 경우가 적지 않다. 따라서 본 연구에서는 암석샘플에 대한 주관적 평가를 통한 기존의 인력에 의한 암반분류 대신, 최근 지반분야에서도 그 활용도가 급증하고 있는 머신러닝 알고리즘을 이용하여 시추조사에서 획득한 다양한 암석 및 암반정보를 분석하여 보다 신뢰성있는 RMR에 의한 암반분류 모델을 제시하고자 하였다. 국내 13개 터널을 대상으로 11개의 학습 인자(심도, 암종, RQD, 전기비저항, 일축압축강도, 탄성파 P파속도 및 S파 속도, 영률, 단위중량, 포아송비, RMR)를 선정하여 337개의 학습 데이터셋과 60개의 시험 데이터셋을 확보하였으며, 모델의 예측성능을 향상시키기 위해 6개의 머신러닝 알고리즘(DT, SVM, ANN, PCA & ANN, RF, XGBoost)과 각 알고리즘별 다양한 초매개변수(hyperparameter)를 적용하였다. 학습된 모델의 예측성능을 비교한 결과, DT 모델을 제외한 5개의 머신러닝 모델에서 시험데이터에 대한 RMR 평균절대오차 값이 8 미만으로 수렴되었으며, SVM 모델에서 가장 우수한 예측성능을 나타내었다. 본 연구를 통해 암반분류 예측에 대한 머신러닝 기법의 적용 가능성을 확인하였으며, 향후 다양한 데이터를 지속적으로 확보하여 예측모델의 성능을 향상시킨다면 보다 신뢰성 있는 암반 분류에 활용될 수 있을 것으로 기대된다.

효과적인 입력변수 패턴 학습을 위한 시계열 그래프 기반 합성곱 신경망 모형: 주식시장 예측에의 응용 (A Time Series Graph based Convolutional Neural Network Model for Effective Input Variable Pattern Learning : Application to the Prediction of Stock Market)

  • 이모세;안현철
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.167-181
    • /
    • 2018
  • 지난 10여 년간 딥러닝(Deep Learning)은 다양한 기계학습 알고리즘 중에서 많은 주목을 받아 왔다. 특히 이미지를 인식하고 분류하는데 효과적인 알고리즘으로 알려져 있는 합성곱 신경망(Convolutional Neural Network, CNN)은 여러 분야의 분류 및 예측 문제에 널리 응용되고 있다. 본 연구에서는 기계학습 연구에서 가장 어려운 예측 문제 중 하나인 주식시장 예측에 합성곱 신경망을 적용하고자 한다. 구체적으로 본 연구에서는 그래프를 입력값으로 사용하여 주식시장의 방향(상승 또는 하락)을 예측하는 이진분류기로써 합성곱 신경망을 적용하였다. 이는 그래프를 보고 주가지수가 오를 것인지 내릴 것인지에 대해 경향을 예측하는 이른바 기술적 분석가를 모방하는 기계학습 알고리즘을 개발하는 과제라 할 수 있다. 본 연구는 크게 다음의 네 단계로 수행된다. 첫 번째 단계에서는 데이터 세트를 5일 단위로 나눈다. 두 번째 단계에서는 5일 단위로 나눈 데이터에 대하여 그래프를 만든다. 세 번째 단계에서는 이전 단계에서 생성된 그래프를 사용하여 학습용과 검증용 데이터 세트를 나누고 합성곱 신경망 분류기를 학습시킨다. 네 번째 단계에서는 검증용 데이터 세트를 사용하여 다른 분류 모형들과 성과를 비교한다. 제안한 모델의 유효성을 검증하기 위해 2009년 1월부터 2017년 2월까지의 약 8년간의 KOSPI200 데이터 2,026건의 실험 데이터를 사용하였다. 실험 데이터 세트는 CCI, 모멘텀, ROC 등 한국 주식시장에서 사용하는 대표적인 기술지표 12개로 구성되었다. 결과적으로 실험 데이터 세트에 합성곱 신경망 알고리즘을 적용하였을 때 로지스틱회귀모형, 단일계층신경망, SVM과 비교하여 제안모형인 CNN이 통계적으로 유의한 수준의 예측 정확도를 나타냈다.