• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권3호
• /
• pp.179-188
• /
• 2008

멀티 에이전트 강화 학습에서 해결해야 할 중요한 문제는 자신의 작업 성능에 영향을 미칠 수 있는 다른 에이전트들이 존재하는 동적 환경에서 한 에이전트가 시행착오적 상호작용을 통해 어떻게 자신의 최적 행동 정책을 학습할 수 있느냐 하는 것이다. 멀티 에이전트 강화 학습을 위한 기존 연구들은 대부분 단일 에이전트 MDP 기반의 강화 학습기법들을 큰 변화 없이 그대로 적용하거나 비록 다른 에이전트에 관한 별도의 모델을 이용하더라도 다른 에이전트에 관해 요구되는 정보나 가정이 현실적이지 못하다는 한계점을 가지고 있다. 본 논문에서는 멀티 에이전트 강화 학습기술에 기초가 되는 기본 개념들을 정형화하고 이들을 기초로 기존 연구들의 특징과 한계점을 비교한다. 그리고 새로운 행동 정책 모델을 소개한 뒤, 이것을 이용한 강화 학습 방법을 설명한다. 본 논문에서 제안하는 멀티 에이전트 강화학습 방법은 상대 모델을 이용하는 기존의 멀티 에이전트 강화 학습 연구들에서 주로 시도되었던 상대 에이전트의 Q 평가 함수 모델 대신 상대 에이전트의 행동 정책 모델을 학습하며, 표현력은 풍부하나 학습에 시간과 노력이 많이 요구되는 유한 상태 오토마타나 마코프 체인과 같은 행동 정책 모델들에 비해 비교적 간단한 형태의 행동 정책 모델을 이용함으로써 학습의 효율성을 높였다. 또한, 본 논문에서는 대표적인 적대적 멀티 에이전트 환경인 고양이와 쥐게임을 소개하고, 이 게임을 테스베드삼아 비교 실험들을 수행하고 그 결과를 설명함으로써 본 논문에서 제안하는 정책 모델 기반의 멀티 에이전트 강화 학습의 효과를 분석해본다.

• 대한기계학회논문집A
• /
• 제38권12호
• /
• pp.1367-1372
• /
• 2014

전세계적으로 환경문제에 대한 위기의식이 고조됨에 따라 운송산업 분야에서는 차체경량화를 통해 이와 같은 문제를 해결하고자 하였다. 차체경량화의 방법으로써 보론강을 $900^{\circ}C$이상의 온도에서 가열한 후, 성형과 동시에 냉각하여 1500 MPa 이상의 강도를 얻을 수 있는 핫스탬핑 공정이 제시되고 있다. 하지만 핫스탬핑 공정에 일반적으로 사용되고 있는 보론강의 레이저 용접성에 대한 연구결과는 많지 않다. 따라서 본 연구에서는 보론강의 레이저 용접특성을 조사하기 위해 레이저 매개변수에 대하여 기초적 연구를 실시하였다. 실험결과, 실드가스에 대한 매개변수의 최적의 조건은 $Q=20{\ell}/min$, ${\alpha}=40^{\circ}$, d = 20 mm, l = 0 mm이며, 맞대기 용접부의 경도는 용접부에서 마르텐사이트 형성으로 인해 급격하게 상승하였다.

• 생명과학회지
• /
• 제18권1호
• /
• pp.84-90
• /
• 2008

충청남도 병천면 일대의 6곳의 토양시료를 채취하여 망간을 산화하는 균주들을 순수분리 하고, 이 중 망간 산화능이 가장 우수한 한 균주를 최종 선별하여 본 실험에 사용하였다. 최종 선별된 균주의 생리, 생화학적 특성을 조사하고, 16S rRNA 염기 서열분석 등을 통하여 동정한 결과 최종 선별된 균주는 Pseudomonas sp. MN5로 확인되었다. Pseudomonas sp. MN5은 fructose와 maltose를 제외한 다양한 당을 이용하지 못하였으며, 항생제인 kanamycin, chloramphenicol, streptomycin 그리고 tetracycline에는 높은 감수성을 보이고, 리튬, 망간, 바륨과 같은 중금속에 대해서는 mg/ml 단위의 높은 내성을 나타냈다. 그리고 Pseudomonas sp. MN5의 망간산화 최적 pH는 7.5이고, 망간산화 활성이 proteinase K와 가열처리를 한 시료에서 저해되었다. Pseudomonas sp. MN5가 생성하는 망간산화 단백질을 ammonium sulfate precipitation, HiTrap Q FF ion exchange chromatography 그리고 G3000sw $_{XL}$ gel filtration chromatography를 통해서 정제한 결과, 15 kDa, 46.7 kDa 그리고 63.5 kDa의 세종류의 manganese oxidizing protein가 확인되었고, 내부서 열과 N-말단 서열 분석 결과 Pseudomonas sp. MN5가 생성하는 망간산화 단백질은 외막의 porin 단백질인 것으로 추정되었다.

• 한국음향학회지
• /
• 제39권5호
• /
• pp.379-389
• /
• 2020

본 논문에서는 무선진공청소기용 팬 모터 단품의 유량 및 소음성능을 향상시키기 위하여 무선청소기 유로를 통하여 공기를 흡입하는 임펠라에 대한 최적설계를 수행하였다. 우선, 팬 모터 단품, 특히 임펠라의 유동장을 분석하기 위하여 비정상, 비압축성 Reynolds averaged Navier-Stokes(RANS) 방정식을 전산유체역학(Computational Fluid Dynamics, CFD)에 기초하여 해석하였다. 예측한 유동장 정보를 입력값으로 Ffowcs-Williams and Hawkings(FW-H) 방정식을 사용하여 임펠라로부터 방사되는 소음을 수치적으로 예측하였다. 유량과 소음에 대한 수치해석 결과를 실험을 통해 측정한 팬 모터 단품의 P-Q 곡선과 음압 스펙트럼과 비교하여 사용한 수치방법의 유효성을 확인하였다. 수치해석결과로부터 임펠라 날개의 코드방향 중간부분의 급격한 곡률 변화로 인하여 강한 와류가 형성되는 것을 확인하였다. 와류는 유동에는 손실로 소음에는 소음원으로 작용하기 때문에 기존의 임펠라를 재설계하여 와류를 개선하고자 하였다. 2인자 반응표면방법을 사용하여 최대유량과 최소소음을 나타내는 입·출구 뒷젖힘각(sweep angle)을 결정하였다. 최종 선정된 설계안에 대한 추가 해석을 통하여 유량성능과 소음성능이 개선됨을 확인하였다.

• 한국어병학회지
• /
• 제23권3호
• /
• pp.303-311
• /
• 2010

이전의 연구에서 참가리비(Patinopecten yessoensis) 인공종묘생산 중 수질관리를 위해 주기적으로 실시하는 환수(전량환수)가 scuticociliates 감염을 촉진 할수 있다는 가능성을 제기하였다. 본 연구에서는 수질과 scuticociliates 감염을 고려한 최적 환수 횟수를 결정하고자 하였으며, 유생성장, 생존, scuticociliates 발생을 1차 기준으로 하였으며, 부가하여 중간 육성장으로 이동하여 성장 및 기형 발생율을 2차기준으로 조사하였다. 5일 간격의 환수(3T)가 가장 좋은 결과를 보였다. 잦은 환수(5T)는 수질 개선에도 불구하고 성장 둔화가 확인되었으며, 이것은 scuticociliates의 감염과 연관이 있는 것으로 보였다. 9일간격의 환수(1T) 역시 성장둔화를 보였으며, 5T 실험구와 더불어 중간육성이후 성장 둔화(통계적 유의성 없음)와 비정상 발생을 유발하였다. 본 연구결과 최적 환수간격은 5-7일 사이로 나타났다.

• 콘크리트학회논문집
• /
• 제25권3호
• /
• pp.339-345
• /
• 2013

이 연구는 200000 $m^3$의 용량을 갖는 지하식 LNG 저장탱크의 지붕 콘크리트에 대한 요구성능 및 이에 따른 콘크리트의 최적배합비를 도출하고, 현장시공의 자료로 제안하기 위한 것이다. 지붕 콘크리트는 돔형 지붕의 경사기울기에 따라 굳지 않은 콘크리트의 시공성 및 충전성이 요구된다. 또한, 1.4~0.6 m의 지붕두께를 고려한 수화열 저감과 콘크리트 타설 후의 프리스트레싱 작업 및 air support의 제거공정에 따른 단계별 압축강도의 확보가 중요한 요구성능이다. 이러한 조건을 고려하여 지붕의 기울기가 $20^{\circ}$ 미만일 경우에는 슬럼프 $100{\pm}25$ mm, $20^{\circ}$ 이상일 경우에는 $150{\pm}25$ mm로 선정하였으며, 경시변화 60분을 만족해야 한다. 특히, 91일 재령의 설계기준강도 30 MPa, 프리스트레싱 작업시 7일 재령의 압축강도 10 MPa, air support 제거공정에서 21일 재령의 압축강도 14 MPa을 만족해야 한다. 석회석 미분말의 최적 치환율은 구속시험 결과에 따라 정하였으며, 주요 배합변수는 물-시멘트비, 잔골재율 및 고성능 AE감수제의 첨가율 등이다. 배합시험 결과, 저열 포틀랜드 시멘트 및 석회석 미분말을 사용한 지붕 콘크리트의 최적배합 조건은 석회석 미분말의 최적 치환율 25%(내할), 물-시멘트비 57.8%, 잔골재율 42.0%로 나타났으며, 공기량 및 슬럼프의 시험결과도 경시변화 60분까지 성능을 만족하였다. 또한, 단열온도 상승시험의 결과, 단열온도 상승양($Q{\infty}$)이 $26.3^{\circ}C$, 상승속도(${\gamma}$) 0.58로 선행탱크(TK-13,14)와 비교해 볼 때 매우 낮게 나타나 수화열 저감의 효과를 기대할 수 있다. 이러한 요구성능 및 최적배합 조건을 만족하는 설계기준강도 30 MPa(배합강도 36 MPa)의 지하식 LNG 저장탱크의 지붕 콘크리트용으로 제안하였다.

• 지능정보연구
• /
• 제22권1호
• /
• pp.139-157
• /
• 2016

앙상블 분류기란 개별 분류기보다 더 좋은 성과를 내기 위해 다수의 분류기를 결합하는 것을 의미한다. 이와 같은 앙상블 분류기는 단일 분류기의 일반화 성능을 향상시키는데 매우 유용한 것으로 알려져 있다. 랜덤 서브스페이스 앙상블 기법은 각각의 기저 분류기들을 위해 원 입력 변수 집합으로부터 랜덤하게 입력 변수 집합을 선택하며 이를 통해 기저 분류기들을 다양화 시키는 기법이다. k-최근접 이웃(KNN: k nearest neighbor)을 기저 분류기로 하는 랜덤 서브스페이스 앙상블 모형의 성과는 단일 모형의 성과를 개선시키는 데 효과적인 것으로 알려져 있으며, 이와 같은 랜덤 서브스페이스 앙상블의 성과는 각 기저 분류기를 위해 랜덤하게 선택된 입력 변수 집합과 KNN의 파라미터 k의 값이 중요한 영향을 미친다. 하지만, 단일 모형을 위한 k의 최적 선택이나 단일 모형을 위한 입력 변수 집합의 최적 선택에 관한 연구는 있었지만 KNN을 기저 분류기로 하는 앙상블 모형에서 이들의 최적화와 관련된 연구는 없는 것이 현실이다. 이에 본 연구에서는 KNN을 기저 분류기로 하는 앙상블 모형의 성과 개선을 위해 각 기저 분류기들의 k 파라미터 값과 입력 변수 집합을 동시에 최적화하는 새로운 형태의 앙상블 모형을 제안하였다. 본 논문에서 제안한 방법은 앙상블을 구성하게 될 각각의 KNN 기저 분류기들에 대해 최적의 앙상블 성과가 나올 수 있도록 각각의 기저 분류기가 사용할 파라미터 k의 값과 입력 변수를 유전자 알고리즘을 이용해 탐색하였다. 제안한 모형의 검증을 위해 국내 기업의 부도 예측 관련 데이터를 가지고 다양한 실험을 하였으며, 실험 결과 제안한 모형이 기존의 앙상블 모형보다 기저 분류기의 다양화와 예측 성과 개선에 효과적임을 알 수 있었다.

• 대한환경공학회지
• /
• 제28권8호
• /
• pp.866-871
• /
• 2006

연속 회분식 방식의 실험실 규모 상향류 반응조를 사용하여 인 결정화공정을 이용한 영양물질 회수에 대한 연구를 수행하였다. 양이온 공급원으로서 산업폐기물인 폐석회와 마그네슘염을 이용하여 그 운전특성을 비교하였다. 이 연구는 고성능 발효조와 인 결정화 반응조로 구성된 새로운 통합 슬러지 처리 공정에 있어서 인 결정화공정의 성공적인 적용성 평가에 초점을 두고 있다. 발효조 유출수와 유사한 특성으로 제조된 합성폐수를 이용한 첫 번째 struvite 결정화 실험에서 반응은 $0.5{\sim}1$ hrs 사이의 반응시간에서 빠르게 진행되었는데, 그 동안 상당량(약 60% 이상)의 암모니아와 인이 제거되었다. 알칼리성 조건이라는 기질의 고유특성으로 인하여 암모니아 탈기 현상이 다소 발생하였으나 그 정도는 미미한 것(<5%)으로 나타났다. 또한 공기주입에 의한 이산화탄소 탈기조건을 추가적으로 제공하였을 때 struvite 형성속도의 향상은 일어나지 않았다. 실폐수로서 발효조 유출수를 사용한 두 번째 실험에서 stuvite 결정화를 위한 마그네슘염의 최적주입량은 struvite형성질량비와 유사한 0.86 g Mg $g^{-1}$ P이었다. 반면에 폐석회의 최적주입량은 0.3 g $L^{-1}$으로 다소 높게 나타났으며, 약 3시간의 반응시간 조건에서 $NH_4$-N과 $PO_4$-P의 제거효율은 각각 80%와 41%로 나타났다. 각 실험에서 침전물을 현미경으로 분석한 결과 마네슘염을 사용한 경우 프리즘과 같은 결정체가 관찰된 반면 폐석회를 사용한 경우는 비결정질의 결정체가 주로 관찰되었다. 하수처리용량 158,880 $m^3\;d^{-1}$의 실규모 처리시설의 경우를 대상으로 한 통합 슬러지처리시스템의 물질수지 분석결과 결정화 반응조 유출수로 부터의 반송되는 영양물질의 재순환 부하(각각 하수 1 $m^3$ 당 0.13 g N와 0.19 g P)는 매우 낮게 유지되는 것으로 나타났다. 그러므로 이미 산업폐기물 형태로 존재하는 폐석회를 본 연구에서와 같이 통합 슬러지 처리시스템의 영양물질 회수 공정에서 재이용하는 것은 높은 환경적 및 경제적 이익과 동시에 산업폐기물의 지속발전적 처리/처분이라는 다양한 장점을 가질 것이다.

• 미생물학회지
• /
• 제40권4호
• /
• pp.275-281
• /
• 2004

Quinoline (2,3-benzopyridine)을 유일한 탄소원과 질소원, 그리고 에너지원으로 이용하는Pseudomonas sp. NEQ-1을 실험 균주로 사용하였으며, 균주로부터 catechol 1,2-dioxygenase (C1,2O)를 유도하기 위하여 탄소원으로 benzoate를사 용하였다. C1,2O의 효소학적 특징을 조사하기 위하여 benzoate에서 배양한 Pseudomonas sp. NFQ-1을 초음파 분쇄기로 파쇄하고, ammonium sulfate침전과 gel permeation chromatography및 Source 15Q의 과정을 실시하여 C1,2O를 분리 및 정제하였다. 정제된 C1,2O의 특이활성(specific activity)은 14.21 unit/mg으로 나타났으며, SDS-PAGE에 의해 조사된 C1,2O의 분자량은 약 33 kDa이었다. Cl,2O는 catechol과 4-methylcatechol 및 3-methylcatechol에 대해서 효소활성을 나타내는 것으로 확인되었다. C1,2O의 Km은 38.54 ${\mu}M$로 측정되었고, Vmax는 $25.10\;{\mu}mol{\cdot}min^{-1}{\cdot}mg^{-1}$으로 나타났다. C1,2O는 $30^{\circ}C$와 pH 8.5에서 최적활성을 나타내는 것으로 조사되었으며, $Ag^+,\;Hg^+,\;Ca^{2+}$,그리고 $Cu^{2+}$는 C1,2O의 활성을 억제하였다. 분석되어진 N-말단 아미노산 서열은 ^1TVKISQSASIQKFFEEA^{17}$이었으며, Pseudomonas aeruginosa PA01과 $82\%$로 가장 높은 유사성을 보였고 Pseudomonas arvilla C-1와는 $71\%,$ Pseudomonas putida KT2440과는 $59\%,$ 그리고 Pseudomonas sp. CA10과는 $53\%$의 상동성이 각각 존재하는 것으로 확인하였다.

• 분석과학
• /
• 제17권6호
• /
• pp.496-513
• /
• 2004

본 연구는 환경 대기 중 독성 VOC 측정을 위하여 흡착제를 이용한 시료채취와 열탈착을 병용한 GC/MSD 분석방법론 전반을 총괄적으로 평가하고, 나아가 각종 흡착제의 VOC 시료채취 특성을 비교 평가하기 위하여 수행하였다. 측정대상물질은 BTEX와 유기염소계 화합물을 포함하는 총 33개의 VOC를 선정하였으며, 조사된 흡착제는 상용중인 10종을 대상으로 하였다. 이들 흡착제는 총 6종의 탄소계 (Carbotrap, Carbopack B, Carbotrap C, Carbosieve-SIII, Carboxene 1000 및 Activated Charcoal)와 4종의 고분자 수지계 (Tenax TA, Porapak Q, Chromosorb 102, Chromosorb 106) 로 구분되어 진다. 시료채취과정은 단일 흡착관과 다중흡착관을 대상으로 표준시료와 실제 현장시료를 대상으로 재현성과 감응계수 측면에서 평가하였으며, 측정 정확성은 Carbotrap을 기준으로 평가하였다. 실험결과, 독성 VOC에 가장 적합한 흡착제로는 Carbotrap과 Carbopack B 및 Tenax TA 인 것으로 나타났으며, 강한 흡착제는 열탈착 성능이 떨어지고, 시료 중 수분의 영향으로 감도와 재현성이 현저히 떨어지는 문제점으로 인하여 적합하지 않은 것으로 나타났다. 3 종류의 이중흡착관과 2 종류의 삼중흡착관의 시료채취특성을 평가한 결과, Carbotrap C와 Carbotarp으로 조합된 경우가 가장 우수한 것으로 나타났다. 반면, 친수성인 강한 흡착제가 같이 충전된 삼중 흡착관의 사용은 수분의 영향을 최소화하는데 매우 세심한 주의가 필요한 것으로 나타났다. 결과적으로 흡착시료채취법을 이용하여 실내외 환경에서의 독성 VOC 농도에 대한 신뢰성 있는 자료를 얻기 위해서는 적절한 흡착제의 선정 (혹은 조합) 및 그에 따른 최적 분석 조건의 설정에 무엇보다도 세심한 주의가 요망된다.