• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• 인터넷정보학회논문지
• /
• 제24권1호
• /
• pp.61-69
• /
• 2023

최근 수산 자원의 고갈에 따른 육상 양식장에서의 '기르는 어업'에 의한 생산성 향상에 대한 기대가 크게 고조되고 있다. 육상 양식장의 경우, 해상 환경과 달리 환경 및 양성 요소에 대한 제어와 관리가 용이하며, 출하 계획에 따른 생산량 조정이 가능한 이점이 있다. 반면, 자연 환경에서와 달리 어류 성장을 위한 인위적인 관리가 필요하기 때문에 운영에 따른 비용이 크게 증가할 수 있는 단점이 있다. 따라서, 계획된 목표 출하량에 맞추어 효율적으로 양식장을 운영함으로써 이윤 극대화를 추구할 수 있다. 이러한 효율적인 양식장 운영 및 어류 양성을 위해서는 대상 어종에 따른 정확한 성장 예측 모델이 반드시 요구된다. 현재까지 대부분의 성장 예측 모델은 양식장 수집 데이터를 활용하여 통계적 분석 기반의 수치 해석적인 결과들이 주를 이룬다. 본 논문에서는 기존의 통계적 관점에 의한 성장 예측 모델이 가질 수 있는 데이터 확보의 어려움 및 낮은 정확도에 대한 정량적 수치를 제공하기 어려운 단점을 극복하기 위해 확률적 관점에서의 성장 예측 모델을 제시한다. 확률적 접근을 위하여 양성에 가장 중요한 요소인 수온을 기반으로 한 가우시안 프로세스 회귀 방식을 도입하여 모델링을 수행한다. 이를 통해, 특정 시점에서의 성장 예측값에 대한 평균치와 해당 값에 대한 신뢰구간을 동시에 제공함으로써 보다 효율적인 양식장 운영을 위한 참고 수치를 제공할 수 있을 것으로 기대한다.

• 멤브레인
• /
• 제33권4호
• /
• pp.181-190
• /
• 2023

폐수 처리는 담수 공급의 수요를 맞추고 동시에 환경 오염을 제어하기 위한 가장 중요한 기술 중 하나이다. 여러 종류의 증류법과 역삼투 공정과 같은 다양한 기술은 더 높은 에너지 투입을 필요로 한다. 축전식 탈염(CDI) 기술은 전력 소비가 매우 적어 슈퍼커패시터 원리에 기반한 대안으로 떠오르고 있다. 공정의 효율성을 향상시키기 위해 전극 재료를 개선하기 위한 연구가 계속되고 있다. 역전기투석은 가장 일반적으로 사용되는 담수화 기술 및 삼투압 발전기이다. 역전기투석의 효율을 향상시키기 위해 수행된 많은 연구 중, 맥신(MXene)은 이온교환막 및 2차원 나노유체 채널로서 역전기투석의 물리적 및 전기화학적 특성을 향상시킬 수 있는 유망한 방법으로 떠오르고 있다. 맥신은 단독 사용뿐만 아니라 다른 물질들이 맥신과 혼합되어 복합막의 성능을 더욱 향상시킨다. 전처리를 거치거나 Ti₃C₂T_x, 나피온 등을 포함한 이종구조를 가진 맥신은 각각 최대 담수화 성능 측정 결과를 통해 담수화 산업에서 유망한 재료로 맥신의 잠재력을 입증했다. 역전기투석을 통한 삼투압 발전 산업에서 이온교환막에서 비대칭 나노유체 이온 채널에 맥신을 사용함으로써 최대 삼투압 출력 밀도를 크게 향상시켰으며, 대부분 상용화 기준값인 5 Wm^-2를 넘었다. 일정 개수의 단위체를 연결함으로써 매개체의 도움 없이 전자기기에 직접적으로 전력을 공급할 수 있는 수준의 전압이 출력됐다. 본 리뷰에서는 맥신 복합막을 기반으로 한 전기투석 공정의 최근 연구들에 대해 설명한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.14-14
• /
• 2023

산업발전에 따른 인구증가, 기후위기에 따른 가뭄 및 물 부족심화, 그리고 수질오염 등은 2015년 제79차 UN총회의 물 안보측면에서 국제사회의 물 분야 위기관리를 위해 2030년을 지속가능한 발전 목표(Sustainable Development Goals)로 하였다. 또한, 현재 물 산업은 빠르게 성장하고 있으며, 2016년 세계경제포럼(World Economic Forum) 의장 클라우스 슈밥(Klaus Schwab)부터 주창된 제4차 산업혁명로 인해 현재 물 산업의 패러다임 또한 급속히 변화하고 있다. 이는 컴퓨터를 기반으로 하는 CPS(Cyber Physical System) 및 DT(Digital Twin) 연계 분석방식의 혁신을 일컫는다. 2002년경에 DT의 기본개념이 제시되었고, 2006년경에는 Embedded System에서의 DT와 같은 개념으로 CPS의 용어가 등장했다. DT는 현실세계에 존재하는 사물, 시스템, 환경 등을 S/W시스템의 가상공간에 동일하게 모사(Virtualization) 및 모의(Simulation)할 수 있도록 하고, 모의결과를 가상시스템으로 현실세계를 최적화 체계 구현 기술을 말한다. DT의 6가지 기능은 ① 실제 데이터(Live Data), ② 모사, ③ 분석정보(Analytics), ④ 모의, ⑤ 예측(Predictions), ⑥ 자동화(Automation) 이다. 또한, CPS는 대규모 센서 및 액추에이터(Actuator)를 가지는 물리적 요소와 이를 실시간으로 제어하는 컴퓨팅 요소가 결합된 복합시스템을 말한다. CPS는 물리세계에서 발생하는 변화를 감지할 수 있는 다양한 센서를 통해 환경인지 기능을 수행한다. 센서로부터 수집된 정보와 물리세계를 재현 및 투영하는 고도화된 시스템 모델들을 기반으로 사이버 물리공간을 인지·분석·예측할 수 있다. CPS의 6가지 구성요소는 ① 상호 운용성(Interoperability), ② 가상화(Virtualization), ③ 분산화(Decentralization), ④ 실시간(Real-time Capability), ⑤ 서비스 오리엔테이션(Service Orientation), ⑥ 모듈화(Modularity)이다. DT와 CPS는 본질적으로 같은 목적, 내용, 그리고 결과를 만들어내고자 하는 같은 종류의 기술이라고 할 수 있다. CPS 및 DT는 물리세계에서 발생하는 변화를 감지할 수 있으며, 토양-지하수 센서를 포함한 관측기술을 통해 환경인지 기능을 수행한다. 지하수 관측기술로부터 수집된 정보와 물리세계를 재현 및 투영하는 고도화된 시스템 모델들을 기반으로 사이버 물리공간 및 디지털 트윈 공간을 인지·분석·예측할 수 있다. CPS 및 DT의 기본 요소들을 실현시키는 것은 양질의 데이터를 모니터링할 수 있는 정확하고 정밀한 1차원 연직 프로파일링 관측기술이며, 이를 토대로 한 수자원 관련 빅데이터의 증가, 빅데이터의 저장과 분석을 가능하게 하는 플랫폼의 개발이다. 본 연구는 CPS 및 DT 기반 토양수분-지하수 관측기술을 이용한 지표수-지하수 연계, 지하수 순환 및 관리, 정수 운영 및 진단프로그램 개발을 위한 토양수분-지하수 관측장치를 지하수 플랫폼 동시성과 디지털 트윈 시뮬레이터 시스템 개발 방향으로 제시하고자 한다.

• 한국방사선학회논문지
• /
• 제17권4호
• /
• pp.557-564
• /
• 2023

본 연구에서는 차폐성능의 우수함이 증명된 납 사용에 있어 나타나는 단점을 보완하고 불필요한 인체 피폭을 제어하기 위하여 3D 프린팅 기술을 이용하였다. 3D 프린터는 3차원 형상 구현이 가능하며, 개인의 아이디어를 즉각적으로 적용할 수 있어 시제품 제작 비용 및 기간을 줄여주면서 기술 보완 유지에 큰 장점이 있다. 다양한 특증의 3D 프린터 중 FDM 방식을 채택하였으며, 출력에 사용되는 필라멘트를 폴리락트산 (Polylactic acid, PLA)와 텅스텐 두 가지 소재를 혼합하여 연구용 압출기를 활용해 제작하였다. 출련된 혼합 필라멘트를 형태학적 차폐체로 구현하였으며, 선량평가를 통해 유효성 검증과 동시에 다양한 물질의 차페체 제작에 기초 정보 제공에 목적을 두었다. PLA와 텅스텐을 혼합하여 연구용 압출기로 제작된 필라멘트는 텅스텐 함유 비율에 따라서 10 %, 20 %, 30 %, 40 %, 50 %로 구분하여 제작하였다. 3D Modeling, STL File 저장, G-code생성, 출력등의 처리과정으로 10 cm × 10 cm × 0.5cm의 크기로 각각 제작하였고, 관전압 60 kVp, 80 kVp, 100 kVp, 120 kVp와 관전류 20 mAs, 40 mAs의 조건으로 선량 및 차폐성능 평가 실험하였다.

• 한국정보전자통신기술학회논문지
• /
• 제17권4호
• /
• pp.236-244
• /
• 2024

국내 밤 산업은 박피율을 높이기 위한 목적으로 과도한 칼날박피로 인해 과육 손실이 높아 생산 효율성이 저하되는 문제가 있다. 이에 본 연구에서는 밤 박피 공정의 구동 조건 최적화를 위한 기초 연구로 머신러닝 알고리즘 기반 박피공정 단계별 밤의 중량감모율을 예측할 수 있는 모델을 도출하였다. 6개의 제어조건을 바탕으로 51가지 2단 칼날박피기 실험 세팅 조합을 도출하고 이를 3번씩 반복하여 총 153가지의 데이터를 획득하였다. 인공신경망과 랜덤 포레스트 머신러닝 모델을 이용하여 밤 박피 단계별(1단 박피 후, 2단 박피 후, 최종 배출 후) 중량감모율을 예측하는 머신러닝 모델을 도출하였고, R(coefficient of determiantion), nRMSE(normalized root mean square error), MAE(mean absolute error) 값을 통해 모델의 성능을 평가하였다. 모든 박피 단계에서 인공신경망 모델보다 랜덤 포레스트 모델이 높은 R값으로 우수한 예측 정확도를 가지는 것으로 나타났고, 낮은 nRMSE와 MAE값으로 낮은 예측 오차를 가지는 것으로 나타났다. 최종적으로 랜덤 포래스트 예측 모델이 도출되었으며, 실제로 계측된 중량감모율과 예측한 중량감모율의 오차가 미미함을 확인할 수 있었다. 결과적으로, 도출된 모델은 밤 과육의 중량감모율을 최소화하는 동시에 최대 박피율을 도출할 수 있는 최적 박피공정의 구동 조건을 설정하는 데 활용함으로써, 이를 바탕으로 국내 밤 산업에 이바지 할 수 있을 것으로 예상된다.

• 생명과학회지
• /
• 제28권2호
• /
• pp.207-215
• /
• 2018

염증 반응과 산화적 스트레스는 다양한 질환의 발생과 진행에 중요한 역할을 담당한다. 따라서 염증과 산화적 스트레스를 동시에 억제할 수 있는 소재의 발굴은 인체 질환 제어에 매우 유용하게 적용될 수 있다. 본 연구의 목적은 RAW 264.7 대식세포에서 검은콩 품종인 소청자와 소청2호 추출물이 염증성 및 산화적 스트레스에 미치는 영향을 알아보기 위함이다. 본 연구의 결과에 의하면 소청자 및 소청2호 추출물은 LPS에 의한 iNOS와 COX-2의 발현을 억제하여 NO와 $PGE_2$의 생성을 억제하였으며, $TNF-{\alpha}$, $IL-1{\beta}$와 같은 염증성 cytokine의 분비와 발현을 감소시켰다. 또한 소청자 및 소청2호 추출물은 LPS로 자극된 세포 내 ROS 축적을 유의적으로 차단시켰고, Nrf2와 HO-1 발현을 증가시켰다. 또한 LPS에 의해 유도된 MAPKs의 활성화도 소청자 및 소청2호 추출물에 의하여 억제되었다. 결론적으로 소청자 및 소청2호 추출물은 RAW 264.7 대식세포에서 MAPKs 경로를 차단시킴으로써 LPS-유도 염증 및 산화 반응에 대한 보호 역할을 할 수 있으며, 이러한 효과에는 최소한 Nrf2/HO-1 경로 활성화가 관련되어 있었다. 이러한 결과를 고려해 볼 때 소청자 및 소청2호 추출물은 대식세포의 과다 활성화로 인한 염증성 및 산화적 반응 차단에 잠재적인 효과가 있음을 일 수 있었다.

• 대한방사선치료학회지
• /
• 제28권2호
• /
• pp.149-159
• /
• 2016

목 적 : 폐암환자의 호흡동조 방사선 치료 계획 시 호흡 훈련 전후 RPM 신호와 횡격막 위치 변화를 분석하여 호흡 훈련의 유용성을 평가하고자 한다. 대상 및 방법 : 2016년 4월부터 8월까지 호흡 동조 방사선 치료를 받는 환자 11명을 대상으로 호흡 훈련을 시행하였고 동시에 RPM 신호 및 횡격막 영상을 획득하였다. 호흡 훈련은 총 3단계로 1단계 자유 호흡 상태의 신호 획득, 2단계 호흡 신호 가이드를 통한 1차 호흡 신호 획득, 3단계 설명과 반복 훈련으로 규칙성과 안정을 유도한 최종 호흡 신호를 획득 하였다. 각 단계의 흡기와 호기시 RPM 신호와 투시 영상의 횡격막 위치의 평균값, 표준편차, 최대값, 최소값을 구하고, 이를 1단계 값으로 표준화 하여 2, 3단계를 상대분포 백분율(%)로 변환하여 환자의 호흡 변화와 내부 움직임을 분석 함으로써 각 환자의 호흡훈련 유용성을 평가 하였다. 결 과 : RPM 신호와 횡격막 진폭을 측정한 뒤, 1단계를 100%으로 표준화하여 각 단계의 평균값과 표준편차의 오차 평균을 구하였다. 그 결과, 3단계 최종호흡 획득 시 진폭의 상대평균 및 표준편차 모두 감소가36.4%, 표준편차만 감소가 18.2%, 진폭만 감소가 36.4%로 나타났으며, 횡격막 영상의 위치 측정 시 3단계에서 전체 81.8%의 환자에게서 상대평균 진폭 값이 30% 감소함을 보였다. 그러나 모든 환자들에게서 2단계 대비 3단계의 RPM 신호와 횡격막 진폭이 각각 평균 52.6%, 42.1% 감소함을 보였다. 또한, RPM 신호와 횡격막 영상 진폭 차이의 연관성은 2번 10번 환자를 제외하고 각각 1, 2, 3단계 움직임의 패턴이 상관관계를 보였다. 결 론 : 호흡 동조 방사선치료에서 호흡 훈련을 시행하였을 때 최적화된 호흡 주기를 유도할 수 있었으며, 모의 호흡 훈련을 치료 전 시행함으로써 불규칙적인 호흡에 의한 환자의 호흡을 제어해 폐의 움직임을 예측 가능 하게 해주는 효과를 기대할 수 있었다. 궁극적으로는 방사선 치료의 체계적 오류를 최소화해 보다 정확한 치료를 기대할 수 있어 호흡 훈련이 유용하다고 할 수 있겠다.그러나 본 연구는 치료 전 호흡 훈련을 시행한 자료를 바탕으로 분석한 연구로 제한되어 있으며 추후 실제 CT 계획과 치료 시 획득한 자료를 가지고 검증하는 것도 필요할 것으로 사료된다.

• Radiation Oncology Journal
• /
• 제26권3호
• /
• pp.149-159
• /
• 2008

목 적: 본 연구는 자궁내막암 병기 $1{\sim}2$ 환자에 수술 후 방사선치료의 결과와 예후인자를 분석하여 향후 치료원칙을 결정하는 데 도움을 얻고자 시행하였다. 대상 및 방법: 1991년 1월부터 2005년 12월까지 이화여자대학교 의과대학부속병원에서 자궁내막암으로 진단받고 수술 후 방사선치료를 받은 병기 $1{\sim}2$환자를 대상으로 후향적 분석을 하였다. 전체 환자는 35명이었으며 17명은 자궁절제술과 양측 난소제거술을 시행하였고 18명은 완전한 수술적 병기의 수술을 시행하였다. 골반강 방사선치료를 받은 환자는 17명, 질강내근접치료를 받은 환자는 12명, 골반강 방사선치료와 질강내근접치료를 받은 환자는 6명이었다. 결 과: 추적기간의 중앙값은 54개월이었다. 전체 환자의 5년 생존율은 91.4%, 무병생존율은 81.7%이었다. 저위험군, 중간위험군, 고위험군의 위험군에 따른 5년 생존율은 각각 100%, 100%, 55.6%이었으며 무병생존율은 각각 100%, 70.0%, 45.7%이었다. 국소재발된 환자는 없었으며 5명(14%)에서 원격전이가 발생하였으며 호발부위는 폐, 뼈, 간, 부신, 전복강의 순이었다. 원격전이에 대한 단변량 통계분석에 따르면 위험군, 조직학적 세포형태와 조직학적 등급이 유의성이 있었으며, 다변량 통계분석에 따르면 조직학적 세포형태로서 유두형, 장액형, 그리고 투명세포암은 자궁내막양암과 샘암편평암에 비하여 원격전이율이 높고 생존율이 낮았다. 골반강 방사선치료에 의한 후유증은 장염이 30%에서 나타났으며 다음으로 직장염이었으나 대부분 등급 $1{\sim}2$로 등급 $3{\sim}4$의 후유증은 발생하지 않았다. 결 론: 수술 후 골반강 방사선치료 혹은 질강내근접치료를 시행한 자궁내막암 병기 $1{\sim}2$환자들의 경우 저위험군과 중간위험군은 국소제어율과 생존율이 높았으나, 고위험군은 골반강 방사선치료를 시행하여 국소제어율은 높으나 원격전이율이 높고 생존율이 낮았다. 따라서 고위험군은 방사선치료와 동시에 항암화학요법이 요구된다. 중간 위험군의 더 효율적인 치료를 위하여 많은 환자를 대상으로 골반강 방사선치료와 강내근접치료를 비교하는 전향적 무작위연구가 필요하다.

• 대한토목학회논문집
• /
• 제36권6호
• /
• pp.1075-1082
• /
• 2016

본 연구에서는 과속방지턱과 연속으로 설치된 고원식횡단보도의 적정 설치간격을 산정하기 위하여 최고속도제한이 30km/h로 운영되는 회전교차로의 접근부에서 과속방지턱과 고원식횡단보도 간 서로 다른 간격을 통과하는 차량의 속도를 조사하여 연속으로 설치된 과속방지턱과 고원식횡단보도가 차량의 주행속도에 미치는 영향을 분석하였고, 고원식횡단보도의 적정 설치높이에 대한 시뮬레이션에 다음과 같은 결론을 도출하였다. 첫째, 과속방지턱과 고원식횡단보도는 차량의 속도를 저감시키는 대표적인 교통정온화 기법으로 차량의 속도를 30km/h 이하로 제어하기 위한 과속방지턱과 고원식횡단보도의 적정 간격은 30m로 나타났다. 둘째, 고원식횡단보도를 통과하는 차량의 감속도를 비교한 결과 설치 간격이 65m 이상인 경우 과속방지턱과 고원식횡단보도의 효과가 없는 것으로 나타났다. 따라서 일정 구간의 차량 속도를 제어하기 위한 과속방지턱과 고원식횡단보도의 최대설치 간격은 65m 이내로 설치하는 것이 바람직하다. 셋째, 고원식횡단보도의 설치높이는 차량의 접근부 속도가 20km/h 이하일 때 6~8cm, 30km/h일 때 8~10cm, 30km/h 이상일 때 10cm의 설치가 가장 적정한 것으로 분석되었다. 넷째, 과속방지턱과 고원식횡단보도가 설치된 구간이어도 운전자의 학습효과, 교통상황 등에 의하여 속도감소 효과가 미미한 경우가 있으므로 과속방지턱, 시케인, 초커 등 여러 가지 교통정온화 기법을 동시에 적용할 경우 속도감소 효과가 더 클 것이라 판단된다. 따라서 보행자의 안전을 도모하기 위하여 차량의 속도를 저감시킬 목적으로 교통정온화 기법을 적용하는 경우 여러 가지 기법의 복합 적용을 고려하여야 할 것이다.