• 한국산업정보학회논문지
• /
• 제28권5호
• /
• pp.15-30
• /
• 2023

근래에 트랜스포머(Transformer) 구조를 기초로 하는 ChatGPT와 같은 생성모델이 크게 주목받고 있다. 트랜스포머는 다양한 신경망 모델에 응용되는데, 구글의 BERT(bidirectional encoder representations from Transformers) 문장생성 모델에도 사용된다. 본 논문에서는, 한글로 작성된 영화 리뷰에 대한 댓글이 긍정적인지 부정적인지를 판단하는 텍스트 이진 분류모델을 생성하기 위해서, 사전 학습되어 공개된 BERT 다국어 문장생성 모델을 미세조정(fine tuning)한 후, 새로운 한국어 학습 데이터셋을 사용하여 전이학습(transfer learning) 시키는 방법을 제안한다. 이를 위해서 104 개 언어, 12개 레이어, 768개 hidden과 12개의 집중(attention) 헤드 수, 110M 개의 파라미터를 사용하여 사전 학습된 BERT-Base 다국어 문장생성 모델을 사용했다. 영화 댓글을 긍정 또는 부정 분류하는 모델로 변경하기 위해, 사전 학습된 BERT-Base 모델의 입력 레이어와 출력 레이어를 미세 조정한 결과, 178M개의 파라미터를 가지는 새로운 모델이 생성되었다. 미세 조정된 모델에 입력되는 단어의 최대 개수 128, batch_size 16, 학습 횟수 5회로 설정하고, 10,000건의 학습 데이터셋과 5,000건의 테스트 데이터셋을 사용하여 전이 학습시킨 결과, 정확도 0.9582, 손실 0.1177, F1 점수 0.81인 문장 감정 이진 분류모델이 생성되었다. 데이터셋을 5배 늘려서 전이 학습시킨 결과, 정확도 0.9562, 손실 0.1202, F1 점수 0.86인 모델을 얻었다.

• 한국터널지하공간학회 논문집
• /
• 제4권4호
• /
• pp.277-286
• /
• 2002

터널을 설계함에 있어서 굴착방법이나 지보패턴을 결정할 때 어려움을 겪는 주된 요인은 현지 지반에 작용하는 응력조건 및 암반상태를 정확히 파악하는데 한계가 있기 때문이다. 현장 장비의 제약, 터널을 굴착 위치까지 접근성이 난이함 등의 기술적인 제약뿐만 아니라 최근에는 민원이나 각종 인허가 등으로 더욱 많은 제약요건이 존재한다. 그럼에도 불구하고 최근들어 대안설계나 턴키설계를 통하여 직접적인 시추에 의존하지 않더라도 미지의 산악터널구간에 대한 지반정보를 획득할 수 있는 고급화된 물리탐사기술이 눈부시게 발전하는 추세이며 이를 통하여 터널굴착구간의 암반에 대한 직 간접적인 지반정보를 입수할 수 있다. 인공신경망 (ANN)의 장점은 이러한 적은 양의 지반정보와 생물학적인 로직화 과정을 통하여 입력변수에 대한 보다 신뢰성있는 결과를 제공하여 준다는 것이다. 본 연구에서는 미지의 터널굴착구간에 대한 예비 지반정보를 입력항목으로 하여 인공신경망의 오류역전파 학습알고리즘기법에 의하여 학습된 패턴을 가지고 미지의 터널굴착구간에 대한 예비 암반분류 (RMR)를 수행하는데 그 목적을 두었다. 이를 위하여 연장 4km에 달하는 ${\triangle}{\triangle}$터널현장에 대한 인공신경망 모형적용시 입력자료에 대한 적정성을 사전 평가하였고, 그 이후에 물리탐사자료를 입력변수로 활용하여 미지의 터널구간에 대한 RMR을 예측하였다. 그 결과 자료의 일치성이나 예측 RMR에 대한 신뢰도가 높은 것으로 나타났으며, 향후에는 학습효과를 높이기 위한 입력변수의 민감도 분석 (sensitivity analysis)수행 및 모델과정에서 노출된 몇가지 문제점 보완등을 통하여 설계에 적극적으로 활용하고자 한다.

• 전자공학회논문지CI
• /
• 제39권3호
• /
• pp.18-31
• /
• 2002

본 연구는 뉴로퍼지 네트워크와 다항식 뉴럴네트워크를 합성한 하이브리드 모델링 구조인 고급 뉴로퍼지 다항식 네트워크(Advanced neurofuzzy polynomial networks ; ANFPN)를 제안한다. 제안된 네트워크 구조는 높은 비선형 규칙 기반 모델로, CI(Computational Intelligence)의 기술, 즉 퍼지집합, 뉴럴네트워크, 유전자 알고리즘에 의해 설계되어진다. 뉴로퍼지 네트워크는 ANFPN 구조의 전반부를, 다항식 뉴럴네트워크는 후반부를 구성한다. ANFPN의 전반부에서, 뉴로퍼지 네트워크는 간략추론, 오류역전파 학습 규칙을 이용한다. 멤버쉽함수의 파라미터, 학습율, 모멘텀 계수는 유전자 최적화를 이용하여 조절된다. ANFPN의 후반부 구조로서 다항식 뉴럴네트워크는 학습을 통해 생성되는(전개되는) 유연한 네트워크 구조이다. 특히 다항식 뉴럴네트워크의 층과 노드 수는 고정되어 있지 않고 동적으로 생성된다. 본 연구에서는, 2가지 형태의 ANFPN 구조를 제안한다. 즉 기본 구조와 변형된 구조이다. 여기서 기본 구조와 변형된 구조는 다항식 뉴럴네트워크 구조의 각 층에서 입력변수의 수와 회귀다항식의 차수에 의존한다. 두 결합 구조의 특징 때문에 공정 시스템의 비선형적인 특성을 고려할 수 있고 보다 우수한 예측능력을 가진 좋은 출력선응을 얻을 수 있게 한다. ANFPN의 유용성과 실용성은 2개의 수치 예제를 통해 논의된다. 제안된 ANFPN은 기존의 모델보다 높은 정밀도와 예측능력을 가진 모델을 생성함을 보인다.

• 정보처리학회논문지B
• /
• 제9B권5호
• /
• pp.663-672
• /
• 2002

본 논문에서는 자동 추적 시스템을 이용하여 카바메이트 계열의 농약인 카보퓨란의 치명적인 투여에 대하여 반자연적인 조건에서 반응하는 깔따구의 움직임을 관찰하였다. 4령기에 있는 깔따구를 $6cm\times{7cm}\times{2.5cm}$ 크기의 서식 장소와 $18^\circ{C}$의 수온, 명기와 암기를 각각 10시간, 14시간의 조건에서 관찰을 하였다. 추적 시스템은 깔따구 몸체의 부분 점들을 탐지하여 추적하도록 하였다. 모든 실험은 반자연적인(semi-natural) 상태에서 진행되었으며 약제 카보퓨란(Carbofuran 0.1mg/l) 처리 전 후 이틀씩 모두 4일에 걸쳐서 연속적으로 진행되었다. 실험 결과 약제의 처리후에 압축된 지그제그 형태로 나타나는 "떨림 현상"과 같은 비정규적인 행동들이 종종 나타남을 알 수 있었다. 약제 처리된 종들의 행동 변화를 탐지하기 위하여, 웨이블릿 분석이 다른 움직임 패턴들을 특징화하기 위하여 사용되었다. 이산 웨이블릿에 기반하여 추출된 파라미터들은 약제처리 전후의 움직임에 대한 다른 유형의 패턴들을 표현하기 위하여 인공 신경망을 통하여 학습되었다. 이러한 웨이블릿과 인공 신경망의 통합 모델은 특징화된 움직임 패턴들의 발생 시점을 탐지할 수 있었으며, 수질 모니터링을 위한 독성 물질의 유입을 자동으로 탐지할 수 있는 도구로써 사용될 수 있음을 알 수 있었다.을 알 수 있었다.

• 한국수자원학회논문집
• /
• 제54권spc1호
• /
• pp.1053-1060
• /
• 2021

현행 수질모니터링은 현장에서 수질 시료를 채취하여 실험실로 이동 후 분석하는 방법에 의존하고 있다. 이러한 분석기법은 노동집약적이며 경제적으로도 많은 부담이 주어진다. 그러나 현행 모니터링시스템을 개선하기 위하여 보다 짧은 시료채취주기 또는 시료채취지점 확대 등과 같은 방법을 동원하는 것은 인력 및 경제적 측면을 고려할 때 현실적으로 거의 불가능에 가깝다. 따라서 인력 및 경제적인 측면에서 큰 부담없이 현행 수질모니터링기법을 보완할 수 있는 방안이 고려되어야 한다. 본 연구에서는 모델링 기법을 도입하여 현행 수질모니터링 시스템을 보완하고자 하였고 인공신경망모델을 적용하였다. 인공신경망은 사람의 뇌에서 일어나는 작용을 모방한 기법으로 인지할 수 있는 현상을 뇌가 종합적으로 판단하는 과정을 컴퓨터에서 구현하는 방식인데 수질 예측을 위해 이러한 인공신경망기법을 도입 하였다. 본 연구에서는 수질 인자 중 Total coliform 을 타겟으로 하여 하천말단부에서 이들 인자를 예측할 수 있는지에 중점을 두고 연구를 수행하였다. 연구결과 제한된 입력인자를 이용하여 모델을 검보정하였음에도 불구하고 좋은 예측 성능을 보였다. 따라서 본 연구에서 사용된 기법을 근거로 수질상태를 사전에 예측함으로 수계 관리를 수행한다면 현 수질모니터링 시스템 보완에 큰 도움일 될 것으로 기대된다.

• 한국컴퓨터정보학회논문지
• /
• 제25권3호
• /
• pp.33-42
• /
• 2020

각종 감시체계에서 육안에 의존하여 물체를 식별해내는 것은 어렵고 실수하기 쉬우므로 군 감시체계에서 자동식별능력의 필요성은 더욱 높아지고 있다. 사회에 발표되는 모형들은 군 무기체계에 대한 데이터가 반영되지 않아 군에 바로 적용하는 것은 제한된다. 본 연구는 군용 헬기의 이미지에 합성곱 신경망을 적용하여 피아식별 모형을 구축한 연구이다. 제안하는 모형은 우리나라에서 주로 사용하고 있는 헬기인 AH-64 기종과 공산권 국가에서 주로 사용하고 있는 헬기인 Mi-17 기종의 이미지를 통해 학습시켜 구축되었다. 제안하는 모형의 성능을 살펴보면, 평가척도를 이용하여 평가한 결과 97.8%의 정확도, 97.3%의 정밀도, 98.5% 재현율과 97.9%의 F-measure의 성능을 보임을 확인하였다. 이런 분류 결과에 대해서 Feature-map을 통해 아군 헬기의 바퀴와 무장, 그리고 흡기구 주변이, 적군 헬기의 바퀴, 흡기구, 그리고 창문 부위가 피아식별 모형의 분류 기준임을 확인할 수 있었다. 본 연구는 CNN을 이용하여 군 무기체계 중 헬기의 영상정보에 대한 피아식별에 대한 분류를 처음으로 시도한 연구이며, 본 연구에서 제안하는 모형은 기존의 다른 무기체계에 대한 분류 모형보다 높은 정확도를 보인다.

• 응용통계연구
• /
• 제32권1호
• /
• pp.161-171
• /
• 2019

일별 최대전력 수요 예측은 국가의 전력 수급운영에 중요한 과제로서 과거부터 다양한 방법들이 끊임없이 연구되어 왔다. 일별 최대전력 수요를 정확히 예측함으로써 발전설비에 대한 일일 운용계획을 작성하고 효율적인 설비 운용을 통해 불필요한 에너지 자원의 소비를 감소하는데 기여할 수 있으며 여름 겨울철 냉난방수요로 인해 발생하는 전력소비 과다로 인한 전력예비율 감소 문제 등에 선제적으로 대비할 수 있는 장점을 가진다. 이러한 일별 최대전력수요 예측을 위하여 본 논문에서는 Seasonal ARIMA, TBATS, Seasonal Reg-ARIMA, NNETAR 모형에 평일, 주말, 특수일에 대한 효과와 온도에 대한 영향을 함께 고려하여 다음날의 일별 최대전력을 예측하는 모형을 연구하였다. 본 논문을 통한 모형들의 예측 성능 평가 결과 요일, 온도를 고려할 수 있는 Seasonal Reg-ARIMA 모형과 NNETAR 모형이 이를 고려할 수 없는 다른 시계열 모형보다 우수한 예측 성능을 나타내었고 그 중 인공신경망을 활용한 NNETAR 모형의 예측 성능이 가장 우수하였다.

• 한국컴퓨터정보학회논문지
• /
• 제29권2호
• /
• pp.31-41
• /
• 2024

딥러닝 모델(Deep Learning Model)은 컴퓨터 비전(Computer Vision) 분야의 이미지(Image) 분류 및 객체 탐지와 같은 작업에서 뛰어난 성과를 보이며, 실제 산업 현장에서 다양하게 활용되고 있다. 최근 다양한 알고리즘(Algorithm)의 적대적 예제를 이용하여 딥러닝 모델의 취약성을 지적하며, 강건성 향상 방안을 제시하는 연구들이 활발하게 진행되고 있다. 적대적 예제는 오분류를 유도하기 위해 작은 노이즈(Noise)가 추가된 이미지로서, 딥러닝 모델을 실제 환경에 적용 시 중대한 위협이 될 수 있다. 본 논문에서는 다양한 알고리즘의 적대적 예제를 대상으로 에지 학습 분류 모델의 강건성 및 이를 이용한 적대적 예제 탐지 모델의 성능을 확인하고자 하였다. 강건성 실험 결과, FGSM(Fast Gradient Sign Method) 알고리즘에 대하여 기본 분류 모델이 약 17%의 정확도를 보였으나, 에지(Edge) 학습 모델들은 60~70%대의 정확도를 유지하였고, PGD(projected gradient descent)/DeepFool/CW(Carlini-Wagner) 알고리즘에 대해서는 기본 분류 모델이 0~1%의 정확도를 보였으나, 에지 학습 모델들은 80~90%의 정확도를 유지하였다. 적대적 예제 탐지 실험 결과, FGSM/PGD/DeepFool/CW의 모든 알고리즘에 대해서 91~95%의 높은 탐지율을 확인할 수 있었다. 본 연구를 통하여 다양한 적대적 알고리즘에 대한 방어 가능성을 제시함으로써, 컴퓨터 비전을 활용하는 여러 산업 분야에서 딥러닝 모델의 안전성 및 신뢰성 제고를 기대한다.

• 한국산학기술학회논문지
• /
• 제21권8호
• /
• pp.572-578
• /
• 2020

주식 시장은 기업 실적 및 경기 상황뿐만 아니라 정치, 사회, 자연재해 등 예기치 못한 요소들에 영향을 받는다. 이런 요소들을 고려한 정확한 예측을 위해서 다양한 기법들이 사용된다. 최근 인공지능 기술이 화두가 되면서 이를 활용한 주가 예측 시도 또한 이루어지고 있다. 본 논문은 단순히 주식 관련 데이터뿐만 아닌, 거시 경제적 지표 등을 활용한 여러 종류의 데이터를 이용하여 주가에 영향을 미치는 요소에 관한 연구를 제안한다. KOSDAQ을 대상으로 1년 치 종가, 외국인 비율, 금리, 환율 데이터를 다양하게 조합한 후에 딥러닝의 Nonlinear AutoRegressive with eXternal input (NARX) 모델을 활용한다. 이 모델을 통해 1달 치 데이터를 생성하고 각 데이터 조합을 통해 만들어진 예측값을 RMSE를 통해 실제값과 비교, 분석한다. 또한, 은닉층에서 뉴런의 수, 지연 시간을 다양하게 설정하여 RMSE를 비교한다. 분석 결과 뉴런은 10개, 지연 시간은 2로 설정하고, 데이터는 미국, 중국, 유럽, 일본 환율의 조합을 사용할 때 RMSE 0.08을 보이며 가장 낮은 오차를 기록하였다. 본 연구는 환율이 주식에 가장 영향을 많이 미친다는 점과 종가 데이터만 사용했을 때의 RMSE 값인 0.589에서 오차를 낮췄다는 점에 의의가 있다.

• 한국항해항만학회지
• /
• 제46권4호
• /
• pp.367-374
• /
• 2022

본 연구는 자율운항 선박의 연료 계통 펌프와 청정기를 대상으로 고장을 진단 사례를 제시하였다. 계측된 신호의 시간종속성을 반영한 심층학습(Deep learning) 알고리즘 적용 절차를 구성하고, 장비의 정상 운전상태와 고장 상태에서 계측한 진동 신호를 고장 패턴 학습에 사용하였다. 특히, 진동 신호에 내포된 열화의 시간 종속성을 반영할 수 있는 방법을 찾고자 하였으며, 슬라이딩 윈도우 연산 과정을 가진 Conv1D를 이용하여고장의 시간 종속성을 반영하였다. 또한 계측된 신호의 차수를 2차원에서 3차원으로 확장하여 시간 영역의 특징을 반영할 수 있는 데이터 전처리과정을 고안하였다. Conv1D 알고리즘의 적층과 변수를 결정하는 과정에서 그리드 탐색 기법을 사용하여 초매개변수의 최적 값을 결정하였다. 마지막으로 제안한 데이터 전처리 방법과 시계열 데이터의 시간 종속성을 반영한 Conv1D 모델이 이상 감지 및 고장 진단에 타당성이 있음을 확인하였다.