• 지능정보연구
• /
• 제23권2호
• /
• pp.71-88
• /
• 2017

언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

• Tuberculosis and Respiratory Diseases
• /
• 제44권2호
• /
• pp.360-378
• /
• 1997

연구배경 : 그람음성균 외세포벽 구성체의 일부인 리포다당질(lipopolysaccharide)로 구성된 내독소는 그람 음성균 유발 감염으로 발생원 염증 반응을 설명하는 주요소이다. 내독소(리포다당질)는 특히 호중구의 조직내 침윤을 특정으로 하는 급성 폐손상을 조장하며, 이러한 폐손상 발생 기전의 하나로서 내독소 자극에 의한 폐장내 효과세포(effector cells)의 cytokines 발현이 알려져 있다. 이때 유리된 cytokines은 다시 염증세포 및 폐장내 기질세포등에 영향을 주어 급성 폐손상이 초래되는 것으로 설명되어지고 있다. 저자들은 실험백서에서 아치사량의 내독소를 정맥내 주입한 유발된 급성 폐손상에서 내독소 주입후 시간에 따른 폐손상의 변화를 관찰하고 이틀 염증세포가 폐손상에 미치는 영향을 보고자 하였다. 방 법 : 체중 200g내외의 건강한 백서의 미부 정맥을 통하여 내독소를 5mg/kg 용량으로 주입후 각각 0, 3, 6, 24, 72시간째 기관지폐포세척술을 시행하여 총 세포수 및 분획 세포수를 산출하고, 총 단백량 및 $TNF{\alpha}$와 IL-6 측정과 동시에 조직소견의 검색을 각기 비교, 관찰하여 다음과 같은 결과를 얻었다. 결 과 : 기관지폐포세척 총 백혈구수와 단백 농도는 각각 3시간에 유의한 증가를 보였다(p < 0.05). 72시간에 총 백혈구수의 유의한 감소에도(p < 0.05) 불구하고 단백농도는 계속 증가되있는 소견을 보였다. 기관지폐포 세척 총 백혈구수와 단백 농도와는 유의한 상관관계를 나타내었다(r = 0.65, p < 0.001). 기관지폐포세척 총 백혈구수와 호중구 및 단핵구수 간에는 유의한 상관관계를 보였으며(r = 0.97, p < 0.001 ; r = 0.61, p < 0.001), 단백농도와 호중구 및 단핵구수 간에도 유의한 상관관계를 보였다(r = 0.55, p < 0.005 ; r = 0.64, p < 0.001). 기관지폐포세척 단핵구는 관찰기간동안 계속 유의한 증가를 보였으나 호중구는 72시간에 의미있는 감소를 보여 폐손상 과정에서 단핵구는 지속적인 역할을 할 것으로 생각되었다. IL-6와 TNF 농도는 3 및 6시간째에 각각 최대치를 보였으며 24 및 72시간군과 비교하여 유의한 감소를 보였다(p < 0.05). 이들 상호간에 관련성은 없었으며, 특히 급성 폐손상 3 및 6시간군까지의 초기 관찰 기간중 $TNF{\alpha}$와 총 백혈구수 및 단핵구수 각각에서 유의한 상관관계를 보였다(r = 0.61, p < 0.05 ; r = 0.67, p < 0.05). 조직 소견의 검색 결과 폐장내 침윤 염증 세포수와 폐포벽 두께 정도와는 유의한 상관성이 관찰되었다(r=0.61, p<0.000). 3시간에는 단지 염증 세포의 침윤만이 유의한 증가를 보여(p < 0.001) 폐손상 초기에는 염증 세포의 침윤이 간질조직의 변화를 선행하는 것으로 사료되었으며, 72시간에서는 폐포벽의 두께만이 유의하게 감소된 결과(p < 0.005)를 보여 폐손상후 재생 과정중 폐포벽의 부종이 가장 먼저 감소되는 것으로 사료되었다. 결 론 : 내독소 유발 급성 폐손상에서 (1) 호중구는 주된 염증 세포로 작용하나 단핵구/폐포대식세포 및 폐장내 비면역세포등이 폐손상의 발생 및 진행에 중요한 역할을 할 것으로 사료되었다. (2) 기관지폐포세척 IL-6는 $TNF{\alpha}$와 비종속 관계를 보였고 조기에 최대치를 보여, 특히 IL-6 분비는 폐장내 다양한 세포에서 유래될 것으로 사료되었다.