• 제목/요약/키워드: 수집규모의 최적화

검색결과 18건 처리시간 0.042초

국내외 과학기술정보 수집규모의 최적화 연구 - 한국과학기술정보연구원을 대상으로 - (A Study on the Optimal Acquisition Site of STM Information Resources in KISTI)

  • 윤희윤
    • 한국도서관정보학회지
    • /
    • 제34권2호
    • /
    • pp.95-117
    • /
    • 2003
  • 지식기반의 경제사회가 도래하고 있다. 그것은 모든 중요한 과학기술정보를 수집ㆍ배포ㆍ보존하는 인프라, 즉 국가정보시스템의 성능이 그 국가의 존망과 생존을 결정하는 인자로 부상하고 있다는 것을 의미한다. 그 구심체로서의 역할이 KISTI에 부여된 이상, 국내외 과학기술정보에 대한 최초의 관문과 최후의 보루로서의 위상을 확보하고 제기능을 수행하여야 한다. 이에 본 연구는 국내외 과학기술정보의 체계적 수집, 완벽한 보존, 그리고 적시적 제공이 국가의 정보경쟁력을 확보하고 궁극적으로 KISTI의 존재이유와 정체성을 결정하는 요체라는 전제 하에 현주소를 SWOT 분석하여 수집규모의 최적화 방안을 모색하였다.

  • PDF

XGBoost 기반 상수도관망 센서 위치 최적화 (Optimal Sensor Location in Water Distribution Network using XGBoost Model)

  • 장혜운;정동휘
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.217-217
    • /
    • 2023
  • 상수도관망은 사용자에게 고품질의 물을 안정적으로 공급하는 것을 목적으로 하며, 이를 평가하기 위한 지표 중 하나로 압력을 활용한다. 최근 스마트 센서의 설치가 확장됨에 따라 기계학습기법을 이용한 실시간 데이터 기반의 분석이 활발하다. 따라서 어디에서 데이터를 수집하느냐에 대한 센서 위치 결정이 중요하다. 본 연구는 eXtreme Gradient Boosting(XGBoost) 모델을 활용하여 대규모 상수도관망 내 센서 위치를 최적화하는 방법론을 제안한다. XGBoost 모델은 여러 의사결정 나무(decision tree)를 활용하는 앙상블(ensemble) 모델이며, 오차에 따른 가중치를 부여하여 성능을 향상시키는 부스팅(boosting) 방식을 이용한다. 이는 분산 및 병렬 처리가 가능해 메모리리소스를 최적으로 사용하고, 학습 속도가 빠르며 결측치에 대한 전처리 과정을 모델 내에 포함하고 있다는 장점이 있다. 모델 구현을 위한 독립 변수 결정을 위해 압력 데이터의 변동성 및 평균압력 값을 고려하여 상수도관망을 대표하는 중요 절점(critical node)를 선정한다. 중요 절점의 압력 값을 예측하는 XGBoost 모델을 구축하고 모델의 성능과 요인 중요도(feature importance) 값을 고려하여 센서의 최적 위치를 선정한다. 이러한 방법론을 기반으로 상수도관망의 특성에 따른 경향성을 파악하기 위해 다양한 형태(예를 들어, 망형, 가지형)와 구성 절점의 수를 변화시키며 결과를 분석한다. 본 연구에서 구축한 XGBoost 모델은 추가적인 전처리 과정을 최소화하며 대규모 관망에 간편하게 사용할 수 있어 추후 다양한 입출력 데이터의 조합을 통해 센서 위치 외에도 상수도관망에서의 성능 최적화에 활용할 수 있을 것으로 기대한다.

  • PDF

대규모 클러스터 시스템에서 배치작업 스케줄러를 활용한 성능 분석 데이터 수집 방법 연구 (A Study on Performance Analysis Data Collection Method Using Batch-job Scheduler onLarge-Scale Cluster System)

  • 이재국;권민우;안도식;홍태영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.37-39
    • /
    • 2023
  • 사용자 응용 프로그램의 특징을 분석하고 효율적인 시스템 운영을 통하여 사용자 프로그램 최적화를 지원하기 위하여 소프트웨어 프로파일링을 수행한다. 특히 국가 슈퍼컴퓨터인 누리온과 같이 8,400대가 넘는 계산노드로 구성된 클러스터 시스템에서 응용 프로그램의 프로파일링 데이터를 사용자의 개입없이 수집하고 데이터를 분석하는 것에는 한계가 있다. 본 연구에서는 배치작업 스케줄러를 활용하여 사용자의 개입 없이 응용 프로그램의 프로파일링 데이터를 수집하기 위한 방법을 제안한다. 그리고 제안한 방법을 누리온에서 구현하고 사용자 응용 프로그램이 실행될 때 프로파일링 데이터가 수집되는 것을 확인한다.

물류 배송 최적화 시스템 디자인 (System Design of Logistics Delivery Route Optimizing)

  • 송하윤;김태현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.571-574
    • /
    • 2018
  • 물류 배송은 우리 생활에 꼭 필요한 시스템 중 하나이다. 대한민국의 물류 시스템은 그 영토의 규모에 잘 부합되도록 체계적으로 정비되어 있으나, 배송 경로의 낭비 역시 존재한다. 본 논문에서는 Big Data, Deep Learning, IoT 와 같은 첨단 정보 기술을 이용하여 상기한 문제를 해결하고자 하였다. 물류의 특성을 고려하여 설계한 데이터 모델을 통신 기능과 위치 판별 기능이 포함된 IoT Device 를 통해 수집하고 NoSQL Database 상에 저장한다. 이후 Longest Common Subsequence Algorithm 을 이용한 Deep Learning 으로 수집 된 Data를 학습시킨다. 배송이 발생했을 때 학습된 Data 를 기반으로 해당 배송의 경로 분석을 실시하여 기존의 경로보다 시간적, 물질적 자원이 절약된 새로운 배송 경로를 IoT Device 를 통해 제시하고자 한다.

실시간 스트림 프로세싱 시스템에서의 버퍼 컨트롤 최적화 기법 (Optimal Buffer Control in Real-Time Stream Processing Systems)

  • 김병상;김대순;윤찬현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.211-212
    • /
    • 2011
  • 스트림 프로세싱 시스템은 실시간 데이터 수집 장치와 대규모 분산 컴퓨팅 환경이 결합되어 데이터 생성과 가공을 통하여 다수의 결과를 병렬적으로 도출하는 분산 프로그래밍 모델이다. 본 논문에서는 프로세스간에 필수적으로 요구되는 유입데이터 버퍼 관리에 초점을 두고 있다. 데이터의 유입률에 따라 동적으로 분석 프로세스를 확장시킴으로서 프로세스간 버퍼의 크기를 제어하는 기법을 제안하며 시뮬레이션을 통하여 성능 분석을 하였다.

해수담수화 시설의 에너지 효율 향상을 위한 최적위치 검토 (The review of optimal location for enhanced energy efficiency in seawater desalination plant)

  • 심규대;장부건;박용균;정준연;김동균
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.201-201
    • /
    • 2019
  • 세계적인 기상이변으로 가뭄발생 빈도 및 영향이 증가하고 있으며, 급속한 산업화로 사용 가능한 수자원이 점차 고갈되어 있어, 국내에서도 해수담수화(Seawater Desalination)는 새로운 대체수자원으로 많은 관심을 받고 있다. 해수담수에 필요한 에너지 약 50~70%는 역삼투(Reverse Osmosis) 공정에서 발생되며, 해수온도 및 염분도에 따라 많이 변동될 수 있으므로 국립해양조사원(KHOA)의 과거 20년 자료를 이용하여 해수담수화 시설물 위치에 따른 영향을 분석하였다. 해수담수화에 필요한 에너지는 막 제조사에서 제공하는 RO Projection Software를 적용하여 에너지 소모량을 평가하고, 이를 고려한 시설물 위치에 대한 평가 모델을 구축하였다. 기존 해수담수화 시설은 대규모 물 공급이 필요한 지역을 우선적으로 고려했기 때문에 시설물 위치에 대한 객관적인 평가기준 마련이 어려웠다. 그러나 해수담수화 플랜트는 한번 설치되면 장기적인 시설물 유지 및 관리가 필요함으로 경제성을 고려한 최적 입지의 선정은 매우 중요하다. 본 연구는 국립해양조사원의 수집된 자료를 바탕으로 해수담수화 시설물 입지선정을 정량적으로 평가함으로서, 시설물 위치에 대한 의사결정시 참고할 수 있는 기초자료로 활용될 것으로 기대한다.

  • PDF

경험적 바람공식을 적용한 용담댐 내의 수면증발량 추정 (Estimation of water surface evaporation in Yongdam Dam using Empirical wind function)

  • 박민우;오랑치맥 솜야;김호준;;권현한
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.291-291
    • /
    • 2023
  • 증발량을 산정하는 방법 중 증발접시를 활용한 방법은 하천의 증발량을 직접적으로 측정할 수 있는 장점이 있는 반면, 장기간의 증발접시를 활용한 증발량 추정은 현실적으로 쉽지 않다. 대표적인 증발량 산정식으로는 에너지 수지 및 공기동역학적 원리의 혼합적용 방법(PCE, Penman combination equation)과 경험적 바람공식(PWF, Penman wind function)이 있다. PCE로 산정된 증발량의 경우 하천 내 바닥열(bed heat flux)과 물기둥의 열저장 변화율이 장기간 규모의 순 복사량에 비해 작은 값을 가져 식에서 제외되므로 전반적으로 증발량이 과대 추정되는 문제가 발생한다. 반면, PWF로 산정한 증발량에서는 광범위한 매개변수 범위와 기상자료의 부족으로 모형의 불확실성을 증대시키는 요인으로 작용한다. 본 연구의 최종적인 목표는 하천 수로의 수면증발량을 추정하는 것이지만, 실제 하천 중심에서 증발량을 추정하기 위한 수문학적 자료는 매우 부족한 실정이다. 따라서, 본 연구에서는 유역단위에서의 증발량을 전이하는 방안을 모색하고자 하며, 구체적인 연구과정은 다음과 같다. 첫째, 유역단위 수문학적 자료를 수집하여(flux tower 자료 활용) 유역단위의 증발량을 산정한다. 둘째, PCE와 PWF으로 산정한 증발량과 관측된 증발량을 이용하여 각 식의 매개변수를 최적화한다. 마지막으로 최적화된 매개변수를 적용한 증발량과 관측값의 유사성을 분석한다. 본 연구에서는 하천단위의 증발량을 산정하기 위해 PWF을 적용하였으며 용담댐 내의 기상자료를 활용하여 산정한 증발량과 실제 용담댐 내의 수면증발량의 상관성을 분석한 결과 높은 상관성 확인할 수 있었다. 따라서 하천 주변에 증발량 추정을 위한 최소한의 기상정보가 존재하는 지역에서, 하천단위의 증발량을 산정할 수 있으며 장기간의 증발량도 산정할 수 있을 것으로 판단된다.

  • PDF

Harmonized Landsat Sentinel-2 (HLS) 위성자료를 활용한 클로로필-a 추정 (Estimation of Chlorophyll-a via harmonized landsat sentinel-2 (HLS) datasets)

  • 박종민
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.400-400
    • /
    • 2023
  • 급격한 기후변화로 인해 일사량, 지표면 온도 및 이산화탄소 농도가 꾸준히 상승함에 따라 수문 순환의 불균형을 초래함과 하천 및 호소 내 수질 또한 악화되고 있는 추세이다. 특히, 국내의 경우, 기후변화 및 인위적 요인에 의해 하천 및 호소에서의 수위 감소 및 수온 증가로 인해 부영양화가 증가되고 있고, 이로 인한 유해 녹조의 발생빈도를 높이는 결과를 초래한다. 현재 국내에서는 유인 수질 관측 및 자동 수질관측 시스템을 통해 주요 수질인자를 모니터링 하고 있으나 시·공간적인 변동성을 파악하는데 제한점이 있다. 이러한 한계점을 극복하기 위해 국·내외에서 광학위성을 이용한 수질인자 추정 알고리즘 개발과 관련된 연구들이 진행되고 있다. 이에 따라, 본 연구에서는 NASA에서 제공하는 Landsat-8 위성과 ESA에서 제공하는 Sentinel-2자료가 동화된 Harmonized Landsat Sentinel-2 위성자료를 활용한 클로로필-a (Chl-a)를 추정하고자 한다. 이를 위해, 본 연구에서는 1) 단순 회귀 분석, 2) Akaike information criteria (AIC) 기반 최적화 회귀 분석 및 3) Random forest (RF)를 활용하였다. 또한, HLS 위성 자료의 적용성을 평가하기 위해 미국 오하이오 주에 위치하고 있는 130여개의 중규모 및 대규모 호소에서 2000년부터 2021년까지 수집된 클로로필-a 관측치를 활용하였다. 두 가지 수질 추정 모형에 대한 정확도 검증에 앞서 오하이오 주 내에서의 클로로필-a의 시계열적 변동성에 대하여 분석하였다. 전반적으로, 2000년부터 2016년까지는 Chl-a가 꾸준히 증가하는 경향성을 나타내었으나, 그 이후로는 감소하는 추세를 나타내었다. 이를 기반으로, 각 방법론을 통해서 나온 Chl-a 추정치에 대해서 통계적 검증을 수행하였다. 결과, 단순 회귀 분석을 통해 추청된 Chl-a값의 결정계수는 0.34였지만, AIC 기반 모델과 RF모형을 사용한 결과 결정계수가 각각 0.82와 0.92로 향상된 것을 확인할 수 있었다. 이와 더불어, spatial 및 temporal window와 더불어 호소의 크기에 따른 정확도 분석 또한 수행하였다. 그 결과, temporal window 가 정확도에 가장 큰 영향을 미치는 것으로 나타났으며, 호소의 크기가 작을수록 정확도가 낮아지는 것을 확인 할 수 있었다. 본 연구의 결과를 토대로 추후 국내 호소에 대해 상기 모형들의 적용성 평가를 수행하여 효율적인 수질 모니터링 시스템 구축으로 이어질 수 있을 것으로 기대된다.

  • PDF

교통 빅데이터의 효율적 저장 및 검색 기술의 설계와 구현 (Design and Implementation of Efficient Storage and Retrieval Technology of Traffic Big Data)

  • 김기수;이재진;김홍회;장유림;함유근
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.207-220
    • /
    • 2019
  • 최근 정보통신기술의 발달은 센서를 바탕으로 수많은 데이터를 구축하고 이를 이용하여 실시간 서비스를 제공할 수 있게 한다. 교통안전공단에서는 디지털 운행기록계를 통해 전국의 상용차의 운행 정보를 수집하고 있다. 전국 상용자의 운행 정보는 교통 분야에서 다방면으로 활용이 가능하다. 그 중 특히 자율주행 분야에서는 실시간으로 운행정보를 분석하여 위험 운전에 대응을 하거나 방지하는데 도움을 줄 수 있다. 그러나 전통적인 데이터베이스 시스템을 이용하여 대용량의 데이터를 실시간 서비스에 적합한 수준의 성능으로 처리하는 데는 한계가 존재한다. 특히 국내에서는 이와 같은 기술적인 문제로 상용차 운행정보의 실시간 분석을 위한 대규모 교통 빅데이터의 처리가 이전에 시도된 적이 없다. 이런 문제를 해결하기 위해 본 연구에서는 새로운 방식의 데이터베이스 서버 시스템 최적화를 진행하였고 실시간 서비스가 가능한 수준임을 확인하였다. 구축된 데이터베이스 시스템을 이용하여 디지털 트윈, 자율주행환경을 마련하기 위한 기반 데이터를 확보할 수 있을 것으로 기대된다.

  • PDF

대규모 IoT 컴퓨팅 환경에서 동적 클러스터링 기반 효율적 관리 기법 (A Method for Dynamic Clustering-based Efficient Management in Large-Scale IoT Environment)

  • 김대영;라현정
    • 인터넷정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.85-97
    • /
    • 2014
  • IoT 디바이스는 사용자의 주변에 설치되어 네트워크를 통해 다양한 정보를 수집하고, 디바이스간 협업으로 교통 정보를 제공하거나 날씨 정보를 제공하는 등 삶의 질을 향상시키는데 목적이 있다. 현재 여러 연구소나 기업체에서 다양한 IoT 디바이스들이 개발중에 있어 디바이스의 수가 급격하게 증가하고 있다. 그런데, 이러한 경향에도 불구하고 IoT 디바이스들을 관리하고 연결하는 IoT 컴퓨팅과 관련된 연구는 아직 초기 단계에 있다. IoT 컴퓨팅 환경 내에 대량의 IoT 디바이스가 동시에 존재하게 되는데, 이때 이들 디바이스들을 모니터링 하거나 제어를 위한 관리 노드로서 서버가 필요하다. 그렇지만, 어떤 관리 서버를 어디에 몇 대를 배치해야 하는지 알기 어렵다. 이러한 문제를 해결하기 위해서, 본 논문에서는 대량의 디바이스들을 논리적으로 근접한 디바이스들은 하나의 클러스터로 관리하는 기법을 제안한다. 제안된 동적 클러스터링 기법을 IoT 컴퓨팅 환경에 적용하게 되면 대량의 IoT 디바이스들을 최적의 상태로 클러스터링 함으로써, 디바이스 관리에 대한 오버헤드를 줄이면서 효율적으로 품질 관리를 할 수 있게 된다.