• 한국융합학회논문지
• /
• 제12권11호
• /
• pp.35-43
• /
• 2021

최근 다언어모델(Cross-lingual language model)을 활용하여 한 번도 보지 못한 특정 언어의 하위 태스크를 수행하는 제로샷 교차언어 전이(Zero-shot cross-lingual transfer)에 대한 관심이 증가하고 있다. 본 논문은 기계번역 품질 예측(Quality Estimation, QE)을 학습하기 위한 데이터 구축적 측면에서의 한계점을 지적하고, 데이터를 구축하기 어려운 상황에서도 QE를 수행할 수 있도록 제로샷 교차언어 전이를 수행한다. QE에서 제로샷을 다룬 연구는 드물며, 본 논문에서는 교차언어모델을 활용하여 영어-독일어 QE 데이터에 대해 미세조정을 실시한 후 다른 언어쌍으로의 제로샷 전이를 진행했고 이 과정에서 다양한 다언어모델을 활용하여 비교 연구를 수행했다. 또한 다양한 자원 크기로 구성된 언어쌍에 대해 제로샷 실험을 진행하고 실험 결과에 대해 언어별 언어학적 특성 관점으로의 분석을 수행하였다. 실험결과 multilingual BART와 multillingual BERT에서 가장 높은 성능을 보였으며, 특정 언어쌍에 대해 QE 학습을 전혀 진행하지 않은 상황에서도 QE를 수행할 수 있도록 유도하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.399-401
• /
• 2022

유방 악성 상태를 분류하기 위한 최종 진단은 침습적 생검을 이용한 현미경 분석을 통해 확인이 가능하나, 분석을 위해 일정 시간과 비용이 부과되며, 병리학적 지식을 보유한 전문가가 필요하다. 이러한 문제를 극복하기 위해, 딥 러닝을 활용한 진단 기법은 조직병리학적 이미지에서 유방암을 양성 및 악성으로 분류에 효율적인 방법으로 고려된다. 본 연구는 유방암 조직병리학적 이미지를 40배 확대한 BreaKHIS 데이터 세트를 사용하여 양성 및 악성으로 분류하였으며, 100% 미세 조정 체계와 Adagrad를 이용한 최적화로 사전 훈련된 컨볼루션 신경망 모델 아키텍처를 사용하였다. 사전 훈련된 아키텍처는 InceptionResNetV2 모델을 사용하여 마지막 계층을 고밀도 계층과 드롭아웃 계층으로 대체하여 수정된 InceptionResNetV2를 생성하도록 구성되었다. 훈련 손실 0.25%, 훈련 정확도 99.96%, 검증 손실 3.10%, 검증 정확도 99.41%, 테스트 손실 8.46%와 테스트 정확도 98.75%를 입증한 결과는 수정된 InceptionResNetV2 모델이 조직병리학적 이미지에서 유방 악성 유형을 예측하는 데 신뢰할 수 있음을 보여주었다. 향후 연구는 k-폴드 교차 검증, 최적화, 모델, 초 매개 변수 최적화 및 100×, 200× 및 400× 배율에 대한 분류에 초점을 맞추어 추가실험이 필요하다.

• 해양환경안전학회지
• /
• 제29권6호
• /
• pp.543-551
• /
• 2023

기후변화 영향으로 이상고수온, 태풍, 홍수, 가뭄 등 재난 및 안전 관리기술은 지속적으로 고도화를 요구받고 있으며, 특히 해수면 온도는 한반도 주변에서 발생되는 여름철 적조 발생과 동해안 냉수대 출현, 소멸 등에 영향을 신속하게 분석할 수 있는 중요한 인자이다. 따라서, 본 연구에서는 해수면 온도 자료를 해양 이상현상 및 연구에 적극 활용되기 위해 통계적 방법과 딥러닝 알고리즘을 적용하여 예측성능을 평가하였다. 예측에 사용된 해수면 수온자료는 흑산도 조위관측소의 2018년부터 2022년까지 자료이며, 기존 통계적 ARIMA 방법과 Long Short-Term Memory(LSTM), Gated Recurrent Unit(GRU)을 사용하였고, LSTM의 성능을 더욱 향상할 수 있는 Sequence-to-Sequence(s2s) 구조에 Attention 기법을 추가한 Attention Long Short-Term Memory (LSTM)기법을 사용하여 예측 성능 평가를 진행하였다. 평가 결과 Attention LSTM 모델이 타 모델과 비교하여 더 좋은 성능을 보였으며, Hyper parameter 튜닝을 통해 해수면 수온 성능을 개선할 수 있었다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.129-164
• /
• 2023

최근 생성형 AI 기술의 발전으로 인해 대형 언어 모델(Large Language Model, LLM)의 활용 및 도입이 확대되고 있는 상황에서 기존 연구들은 기업내부 데이터의 활용에 대한 실제 적용사례나 구현방법을 찾아보기 힘들다. 이에 따라 본 연구에서는 가장 많이 이용되고 있는 LangChain 프레임워크를 이용한 LLM 애플리케이션 아키텍처를 활용하여 생성형 AI 서비스를 구현하는 방법을 제시한다. 이를 위해 LLM의 활용을 중심으로, 정보 부족 문제를 극복하는 다양한 방법을 검토하고 구체적인 해결책을 제시하였다. 이를 위해 파인튜닝이나 직접 문서 정보를 활용하는 방법을 분석하며, 이러한 문제를 해결하기 위한 RAG 모델을 활용한 정보 저장 및 검색 방법에 대해 주요단계에 대해 자세하게 살펴본다. 특히, RAG 모델을 활용하여 정보를 벡터저장소에 저장하고 검색하기 위한 방법으로 유사문맥 추천 및 QA시스템을 활용하였다. 또한 구체적인 작동 방식과 주요한 구현 단계 및 사례를 구현소스 및 사용자 인터페이스까지 제시하여 생성형 AI 기술에 대한 이해를 높였다. 이를 통해 LLM을 활용한 기업내 서비스 구현에 적극적으로 활용할 수 있도록 하는데 의미와 가치가 있다.

• 정보화정책
• /
• 제31권2호
• /
• pp.3-38
• /
• 2024

환각은 대형언어모형이나 대형 멀티모달 모형의 활용을 막는 큰 장벽이다. 본 연구에서는 최신 환각 연구 동향을 살펴보기 위해 챗 GPT 등장 이후인 2022년 12월부터 2024년 1월까지 아카이브(arXiv)에서 초록에 '환각'이 포함된 컴퓨터과학 분야 논문 654건을 수집해 빈도분석, 지식연결망 분석, 문헌 검토를 수행했다. 이를 통해 분야별 주요 저자, 주요 키워드, 주요 분야, 분야 간 관계를 분석했다. 분석 결과 '계산 및 언어'와 '인공지능', '컴퓨터비전 및 패턴인식', '기계학습' 분야의 연구가 활발했다. 이어 4개 주요 분야 연구 동향을 주요 저자를 중심으로 데이터 측면, 환각 탐지 측면, 환각 완화 측면으로 나눠 살펴보았다. 주요 연구 동향으로는 지도식 미세조정(SFT)과 인간 피드백 기반 강화학습(RLHF)을 통한 환각 완화, 생각의 체인(CoT) 등 추론 강화, 자동화와 인간 개입의 병행, 멀티모달 AI의 환각 완화에 대한 관심 증가 등을 들 수 있다. 본 연구는 환각 연구 최신 동향을 파악함으로써 공학계는 물론 인문사회계 후속 연구의 토대가 될 것으로 기대한다.

• 한국빅데이터학회지
• /
• 제9권1호
• /
• pp.75-88
• /
• 2024

최근 온라인 플랫폼에서 구입한 육회를 섭취한 후 식중독 증상을 호소하거나 방울토마토에서 쓴맛이 난다는 리뷰가 뉴스에 등장한 사례가 있다. 이것은 정부 기관, 식품 제조업체나 유통업체가 온라인 플랫폼의 식품 리뷰를 분석하여 식품 위해를 탐지함으로써 소비자 식품안전 위험을 관리할 수 있음을 시사한다. 본 연구는 감성분석과 대형 언어 모델을 활용하여 식품 리뷰를 분석하고, 부정적인 리뷰를 탐지하여 주요 식품안전 위해(식중독, 변질, 화학적 이취, 이물질)를 다중 라벨링하는 분류 모델을 제안한다. 감성 분류 모델에서는 'funnel' 모델이 낮은 False Positive 비율로 부정 리뷰의 오분류 가능성을 최소화하는 데 효과적이었다. 식품안전 위해 다중 라벨링 모델은 GPT-3.5 보다 GPT-4 Turbo를 활용한 것이 재현율과 정확도 모두 96% 이상으로 높은 성능을 보였다. 정부 기관, 식품 제조업체나 유통업체는 제안된 모델을 사용하여 소비자 리뷰를 실시간으로 모니터링하고, 잠재적인 식품안전 문제를 조기에 탐지함으로써 위험을 관리할 수 있다. 이와 같은 시스템은 기업의 브랜드 평판을 보호하고, 소비자 보호를 강화하며, 궁극적으로는 소비자의 건강과 안전을 증진시키는 결과를 가져올 수 있다.

• 대한지리학회지
• /
• 제36권4호
• /
• pp.474-482
• /
• 2001

본 연구에서는 구조물 축조에 의한 도서지역 해수욕장의 발달과정을 전라남도 완도군 통리 해수욕장을 사례로 살펴보았다. 븐 연구의 결과를 정리하면 다음과 같다. 첫째, 연구지역의 해수욕장은 구조물의 건설로 대표되는 인위적 환경변화로 말미암아 1800년대 후반 이후 100년간 갯벌에서 비치로 새롭게 변형된 관광자원이다. 둘째, 연구지역 해수욕장의 지표 경사도는 0.96$^{\circ}$로 매우 완만하고 고도는 과거 갯벌인 간척농지의 지표면에 비해서 75cm 정도 높게 나타나고 있다. 이는 연구지역이 갯벌 지형에서 비치지형으로 변형되었음을 지시하는 것이다. 이러한 이유로 말미암아 연구지역은 우리나라에서 가장 우수한 해수욕장의 하나로 R꼽히고 있다. 셋째, 해수욕장의 표층 퇴적물은 평균 3.5$\Phi$의 입경을 나타내고 있어 다른 지역의 비치에 비해서 매우 미립질의 입경을 나타나고 있으며, 간척농지의 입경에 비해서는 상대적으로 조림질의 입도 분포를 나타내고 있다. 그리고 깊이별 입경분포는 70cm 깊이에서 급격한 변화들 나타내고 있는데, 이는 도로를 경계로 한 비치와 간척지의 고도 차이와도 일치하는 것이다. 이러한 입도분포 역시 연구지역 해수욕장의 관광자원으로서의 가치를 높여주는 것이다. 넷째, 1965년 이후 항공사진을 통하여 연구지역의 고도차이를 시기별로 분석한 결과 1970년대 이후에는 고도의 변화가 크게 나타나지 않았다. 이는 연구지역의 새로운 퇴적과정은 1970년대를 전후하여 일정 규모의 평형상태에 도달하였음을 나타내 주는 것이다. 다섯째, 이와 같은 견과를 종합할 때, 연구지역의 해수욕장은 인공 구조물 건설과 해안지역 퇴적과정의 변화에 따른 해수면 및 파고 에너지 상승효과로 말미암아 비교적 짧은 기간동안 새롭게 형성된 관광자원으로 결론지을 수 있다.따라서 최근 에 많은 관심이 모아지고 있는 자체조율(self-tuning)이 가능한 데이타베이스 관리 시스템 개발에 공헌할 것이다ive trait of the elderly, while middle-aged adults perceived it as a negative one.e 함량은 chloroform과 ethylacetate를 각각 투여한 군에서, GST 활성은 hexane과 chloroform을 각각 투여한 군에서 $CCl_4$단독 투여군과 비교하여 유의적인 증가(p<0.05)를 나타내었다. 따라서 본 실험 결과 지구자나무 분획물이 $CCl_4$로 유발된 흰쥐의 간 손상에 미치는 영향을 검토한 결과, chlornform 분획물이 간세포의 괴사와 변성에 지표가 되는 ALT와 AST 활성도의 저하효과와 간 손상에 따른 과산화 지질 함량과 SOD, Catalase, GSH-Px등의 활성 감소, glutathione함량 및 GST활성의 증가를 나타내어 생채내의 free radical에 의한 간보호 작용이 있는 생리활성 물질을 함유하고 있음이 추정되며, 아울러 이 분획물을 더욱 분리하여 물질의 구조와 반응 기전 제시와 함께 간 손상의 예방 및 치료에 도움이 될 수 있는 물질을 개발할 가치가 있다고 사료된다을 공급한 대조구에 비해 높았다. 어미의 성 성숙 및 산란은 두 번의 실험에서 대조구보다 저염분구에서 원만히 이루어졌다. 암컷 성숙 개체의 경우 1차 실험은 대조구 6마리, 저염분구 12마리였으며, 2차 실험은 대조구 5마리, 저염분구 12마리였으며, 2차 실험은 대조구 5마리, 저염분구 14마리로서 성숙유도에 있어 염분의 조절에 의한 성숙이 이루어진 것을 알 수 있다. 산란 시기는 1차 실험에서 대조구나 저염분구의 산란 개시 시점이 거의 동일한 데 비해, 2차 실험에

• 한국수자원학회논문집
• /
• 제57권7호
• /
• pp.437-449
• /
• 2024

딥러닝을 활용하여 유역 특성을 반영한 유량 예측 및 비교 연구가 주목받고 있다. 본 연구는 셀프 어텐션 메커니즘을 통해 대용량 데이터 훈련에 적합한 Transformer와 인코더-디코더(Encoder-Decoder) 구조를 가지는 LSTM-based multi-state-vector sequence-to-sequence (LSTM-MSV-S2S) 모형을 선정하여 유역정보(catchment attributes)를 고려할 수 있는 모형을 구축하였고 이를 토대로 국내 10개 다목적댐 유역의 유입량을 예측하였다. 본 연구에서 설계한 실험 구성은 단일유역-단일훈련(Single-basin Training, ST), 다수유역-단일훈련(Pretraining, PT), 사전학습-파인튜닝(Pretraining-Finetuning, PT-FT)의 세 가지 훈련 방법을 사용하였다. 모형의 입력 자료는 선정된 10가지 유역정보와 함께 기상 자료를 사용하였으며, 훈련 방법에 따른 유입량 예측 성능을 비교하였다. 그 결과, Transformer 모형은 PT와 PT-FT 방법에서 LSTM-MSV-S2S보다 우수한 성능을 보였으며, 특히 PT-FT 기법 적용 시 가장 높은 성능을 나타냈다. LSTM-MSV-S2S는 ST 방법에서는 Transformer보다 높은 성능을 보였으나, PT 및 PT-FT 방법에서는 낮은 성능을 보였다. 또한, 임베딩 레이어 활성화 값과 원본 유역정보를 군집화하여 모형의 유역 간 유사성 학습 여부를 분석하였다. Transformer는 활성화 벡터가 유사한 유역들에서 성능이 향상되었으며, 이는 사전에 학습된 다른 유역의 정보를 활용해 성능이 개선됨을 입증하였다. 본 연구는 다목적댐별 적합한 모형 및 훈련 방법을 비교하고, 국내 유역에 PT 및 PT-FT 방법을 적용한 딥러닝 모형 구축의 필요성을 제시하였다. 또한, PT 및 PT-FT 방법 적용 시 Transformer가 LSTM-MSV-S2S보다 성능이 더 우수하였다.

• 지능정보연구
• /
• 제26권2호
• /
• pp.79-104
• /
• 2020

최근 텍스트와 이미지 딥러닝 기술의 괄목할만한 발전에 힘입어, 두 분야의 접점에 해당하는 이미지 캡셔닝에 대한 관심이 급증하고 있다. 이미지 캡셔닝은 주어진 이미지에 대한 캡션을 자동으로 생성하는 기술로, 이미지 이해와 텍스트 생성을 동시에 다룬다. 다양한 활용 가능성 덕분에 인공지능의 핵심 연구 분야 중 하나로 자리매김하고 있으며, 성능을 다양한 측면에서 향상시키고자 하는 시도가 꾸준히 이루어지고 있다. 하지만 이처럼 이미지 캡셔닝의 성능을 고도화하기 위한 최근의 많은 노력에도 불구하고, 이미지를 일반인이 아닌 분야별 전문가의 시각에서 해석하기 위한 연구는 찾아보기 어렵다. 동일한 이미지에 대해서도 이미지를 접한 사람의 전문 분야에 따라 관심을 갖고 주목하는 부분이 상이할 뿐 아니라, 전문성의 수준에 따라 이를 해석하고 표현하는 방식도 다르다. 이에 본 연구에서는 전문가의 전문성을 활용하여 이미지에 대해 해당 분야에 특화된 캡션을 생성하기 위한 방안을 제안한다. 구체적으로 제안 방법론은 방대한 양의 일반 데이터에 대해 사전 학습을 수행한 후, 소량의 전문 데이터에 대한 전이 학습을 통해 해당 분야의 전문성을 이식한다. 또한 본 연구에서는 이 과정에서 발생하게 되는 관찰간 간섭 문제를 해결하기 위해 '특성 독립 전이 학습' 방안을 제안한다. 제안 방법론의 실현 가능성을 파악하기 위해 MSCOCO의 이미지-캡션 데이터 셋을 활용하여 사전 학습을 수행하고, 미술 치료사의 자문을 토대로 생성한 '이미지-전문 캡션' 데이터를 활용하여 전문성을 이식하는 실험을 수행하였다. 실험 결과 일반 데이터에 대한 학습을 통해 생성된 캡션은 전문적 해석과 무관한 내용을 다수 포함하는 것과 달리, 제안 방법론에 따라 생성된 캡션은 이식된 전문성 관점에서의 캡션을 생성함을 확인하였다. 본 연구는 전문 이미지 해석이라는 새로운 연구 목표를 제안하였고, 이를 위해 전이 학습의 새로운 활용 방안과 특정 도메인에 특화된 캡션을 생성하는 방법을 제시하였다.