• 지능정보연구
• /
• 제23권2호
• /
• pp.71-88
• /
• 2017

언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

• 한국수산과학회지
• /
• 제28권3호
• /
• pp.279-293
• /
• 1995

강우시 유출되는 비점원오염물질의 유출특성을 조사하고, 수영만에 있어서 하천오염물질이 만내로 유입되어 미치는 영향을 4가지 경우인 점원오염부하가 미치는 영향(Case 1), 연간 비점원오염부하가 미치는 영향(Case 2), 우기시 오염부하가 미치는 영향(Case 3)과 실측강우 조사기간동안 비점원오염부하가 미치는 영향(Case 4)으로 나누어 예측 및 평가하였다. 이상의 연구 결과를 요약하면 다음과 같다. 비점원오염물질의 특성을 보면 강우시 하천의 수질변동은 강우강도와 유량의 증감과 매우 밀접한 관계를 가지고 증감한다 COD, TSS와 VSS의 경우는 2차 강우 후 유량이 최대인 $65.736m^3/s$가 될 때 오염물질의 최대치가 나타났는데 최대치는 각각 121.4mg/l, 1148.0mg/l와 262.0mg/l를 보여주었다. 그리고 영양염류인 경우는 1차 강우가 시작되어 유량이 1차 최대치인 $4.686m^3/s$로 증가할 패 최대치를 보여주는데 $TIN,\;NH_4\;^+-\;N,\;NO_2\;^--N$과 $PO_4\;^{3-}-P)$는 각각 20.306mg/l, 14.154mg/l, 9.571mg/l와 1.785mg/l를 나타내며 2차 강우가 시작된 후 약간 증가하다가 감소하였다. 해수유동모델에 의한 결과를 보면 만내 유향은 낙조시에 시계방향으로 창조시에 반시계방향으로 북동-남서방향이다. 만내 조류속은 최대 0.3m/s이고 만외 유속은 0.4m/s 정도이며 계산치는 관측치와 매우 유사하게 재현되고 있다. 확산모델의 보정은 점원오염부하량이 만내에 미치는 영향을 수영만내 관측치를 이용해 반복 시뮬레이션하여 보정하였고 보정결과 COD, SS의 계산 결과는 관측치와 잘 일치하였다. 확산모델의 적용결과 수영강의 오염부하는 낙조시에는 해운대 해수욕장으로 창조시는 광안리 해수욕장으로 수질을 악화시켰다. 비점원오염부하가 만내에 미치는 영향을 재현시킨 결과 연간 강우로 인한 비점원오염부하(Case 2)와 우기시 강우로 인한 오염부하(Case 3)가 미치는 영향은 점원오염부하(Case 1)가 만내 수질이 미치는 영향과 비교해 광안리 해수욕장의 오염부하를 약간 증가시키며 큰 차이는 보이지 않았다. 강우 조사시 비점원오염부하가 미치는 영향(Case 4)은 수영만내에 매우 심각한 오염현상을 보여준다. 낙조시에는 COD와 SS의 만내의 농도 분포는 각각 2.0-30.0mg/l와 7.0-200.0mg/l를 보여준다. 낙조시에는 창조시보다 낮은 오염정도를 나타내나 해운대 해수욕장으로는 높은 오염을 가중시키는 것을 볼 수 있다. 그러나 강우가 멈춘 후 24시간이 경과하여 실측한 수영만의 오염분포를 보면 건기시 해역농도에 비해 약간 높은 농도분포를 보여 주는 것으로 보아 입자가 큰 침강성 고형물질의 빠른 침강과 수영만내 해수유동으로 인해 빠르게 확산되어 농도가 감소되는 것으로 보인다. 그러나 강우가 시작한 후 매우 높은 오염물질을 함유하는 강우유출수가 만내로 유입될 때의 충격부하는 수영만의 해양생태계에 심각한 영향을 미치리라 예상되며 만약 이들 강우유출수를 처리하여 만내로 유출시키면 만내 수질은 개선되리라 사료된다.