• 제목/요약/키워드: data scarcity

검색결과 195건 처리시간 0.027초

HadCRU4 관측 온도자료와 20CR 재분석 자료 비교로부터 확인된 1900년대 초반 극지역 평균 온도 추정의 불확실성 (Uncertainty in the Estimation of Arctic Surface Temperature during Early 1900s Revealed by the Comparison between HadCRU4 and 20CR Reanalysis)

  • 김백민;김진영
    • 한국기후변화학회지
    • /
    • 제6권2호
    • /
    • pp.95-104
    • /
    • 2015
  • To discuss whether we have credible estimations about historical surface temperature evolution since industrial revolution or not, present study investigates consistencies and differences of averaged surface air temperature since 1900 between the multiple data sources: Hadley Center Climate Research Unit (HadCRU4) surface air temperature data, ECMWF 20 Century Reanalysis data (ERA20CR), and NCEP 20 Century Reanalysis data (NCEP20CR). Averaged surface temperatures are obtained for the global, polar (90S~60S, 60N~0N), midlatitude (60S~30S, 30N~60N), tropical (30S~30N) region, separately. From the analysis, we show that: 1) spatio-temporal inhomogenity and scarcity of HadCRU4 data are not major obstacles in the reliable estimation of global surface air temperature. 2) Globally averaged temperature variability is largely contributed by those of tropical and midlatitude, which occupy more than 70% of earth surface in area. 3) Both data show consistent temperature variability in tropical region. 4) ERA20CR does not capture warm period over Arctic region in early 1900s, which is obvious feature in HadCRU4 data. Discrepancies among datasets suggest that high-level caution is needed especially in the interpretation of large Arctic warming in the early 1900s, which is often regarded as a natural variability in the Arctic region.

광역 시계열 원격탐사자료 분석의 특성과 응용 (Characteristics and Application of Large-area Multi-temporal Remote Sensing Data)

  • 성정창
    • 대한원격탐사학회지
    • /
    • 제16권1호
    • /
    • pp.1-11
    • /
    • 2000
  • 시계열 자료의 분석은 분광대에 기초한 분석과는 달리 생태계의 동적특성 연구에 자주 이용되어왔다. 그러나 시계열 자료의 처리가 갖는 문제점과 대륙이나 전세계를 대상으로한 광역자료가 갖는 문제점에 대하여 해결방안을 제시한 연구는 미미하다. 이 연구에서는 광역 시계열 자료 분석의 특징들을 살펴본 후, 지역간 식생성장패턴의 차이와 검정자료 화보의 어려움을 지적하였다 이들 문제에 대한 해결방안으로 위도별 화상분할기법과 불변화소의 이용법을 제시하였다. 사례연구로 아시아지역의 일부를 대상으로 1982년에서 1993년까지의 AVHRR 자료를 이용하여 화상분류를 실시하였다. 불변화소들은 한 시점의 검정자료 정보를 다른 시점으로 확대 적용을 가능케하여, 다른 시점에 대해서도 충분한 양의 검정자료 정보를 확보할 수 있었으며, 위도별 화상분할을 통하여 지역간 식생성장패턴의 차이를 연구에 포함시킬 수 있었다. 퍼지화상분류를 통한 사례연구는 또한 인구밀집 지역에서의 삼림의 감소와 경작지의 증가 추세를 보여주었으며, 인구 희소지역에서의 반대패턴을 보여주었다.

Remote Sensing Image Classification for Land Cover Mapping in Developing Countries: A Novel Deep Learning Approach

  • Lynda, Nzurumike Obianuju;Nnanna, Nwojo Agwu;Boukar, Moussa Mahamat
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.214-222
    • /
    • 2022
  • Convolutional Neural networks (CNNs) are a category of deep learning networks that have proven very effective in computer vision tasks such as image classification. Notwithstanding, not much has been seen in its use for remote sensing image classification in developing countries. This is majorly due to the scarcity of training data. Recently, transfer learning technique has successfully been used to develop state-of-the art models for remote sensing (RS) image classification tasks using training and testing data from well-known RS data repositories. However, the ability of such model to classify RS test data from a different dataset has not been sufficiently investigated. In this paper, we propose a deep CNN model that can classify RS test data from a dataset different from the training dataset. To achieve our objective, we first, re-trained a ResNet-50 model using EuroSAT, a large-scale RS dataset to develop a base model then we integrated Augmentation and Ensemble learning to improve its generalization ability. We further experimented on the ability of this model to classify a novel dataset (Nig_Images). The final classification results shows that our model achieves a 96% and 80% accuracy on EuroSAT and Nig_Images test data respectively. Adequate knowledge and usage of this framework is expected to encourage research and the usage of deep CNNs for land cover mapping in cases of lack of training data as obtainable in developing countries.

k-Modes 분할 알고리즘에 의한 군집의 상관정보 기반 빅데이터 분석 (A Big Data Analysis by Between-Cluster Information using k-Modes Clustering Algorithm)

  • 박인규
    • 디지털융복합연구
    • /
    • 제13권11호
    • /
    • pp.157-164
    • /
    • 2015
  • 본 논문은 융복합을 위한 범주형 데이터의 부공간에 의한 군집화에 대해서 다룬다. 범주형 데이터는 수치형 데이터에만 국한되지 않기 때문에 기존의 범주형 데이터들의 평가척도들은 순서화(ordering)의 부재와 데이터의 고차원성과 희소성으로 인하여 한계를 가지기 마련이다. 따라서 각각의 군집에 존재하는 범주형 속성들의 상호 유사도을 보다 근접하게 측정할 수 있는 조건부 엔트로피 척도를 제안한다. 또한 군집의 최적화를 위하여 군집내의 발산을 최소화하고, 군집간의 독립성을 향상시킬 수 있는 새로운 목적함수를 제안한다. 제안된 알고리즘의 성능을 4개의 알고리즘과 비교검증하기 위하여 5가지의 데이터에 대하여 실험을 수행하였다. 비교검증을 위한 평가척도는 정확도, f-척도와 적응된 Rand 색인이다. 실험을 통하여 제안된 방법이 평가척도에 의한 결과에서 기존의 방법들보다 좋은 성능을 보였다.

Prediction of pollution loads in agricultural reservoirs using LSTM algorithm: case study of reservoirs in Nonsan City

  • Heesung Lim;Hyunuk An;Gyeongsuk Choi;Jaenam Lee;Jongwon Do
    • 농업과학연구
    • /
    • 제49권2호
    • /
    • pp.193-202
    • /
    • 2022
  • The recurrent neural network (RNN) algorithm has been widely used in water-related research areas, such as water level predictions and water quality predictions, due to its excellent time series learning capabilities. However, studies on water quality predictions using RNN algorithms are limited because of the scarcity of water quality data. Therefore, most previous studies related to water quality predictions were based on monthly predictions. In this study, the quality of the water in a reservoir in Nonsan, Chungcheongnam-do Republic of Korea was predicted using the RNN-LSTM algorithm. The study was conducted after constructing data that could then be, linearly interpolated as daily data. In this study, we attempt to predict the water quality on the 7th, 15th, 30th, 45th and 60th days instead of making daily predictions of water quality factors. For daily predictions, linear interpolated daily water quality data and daily weather data (rainfall, average temperature, and average wind speed) were used. The results of predicting water quality concentrations (chemical oxygen demand [COD], dissolved oxygen [DO], suspended solid [SS], total nitrogen [T-N], total phosphorus [TP]) through the LSTM algorithm indicated that the predictive value was high on the 7th and 15th days. In the 30th day predictions, the COD and DO items showed R2 that exceeded 0.6 at all points, whereas the SS, T-N, and T-P items showed differences depending on the factor being assessed. In the 45th day predictions, it was found that the accuracy of all water quality predictions except for the DO item was sharply lowered.

강변여과 취수정 주변 지하수위를 위한 시계열 모형 (A Model for Groundwater Time-series from the Well Field of Riverbank Filtration)

  • 이상일;이상기;함세영
    • 한국수자원학회논문집
    • /
    • 제42권8호
    • /
    • pp.673-680
    • /
    • 2009
  • 지표수 부족과 수질에 대한 불신 때문에 대체 수자원의 확보가 요구되고 있으며, 유력한 대안으로 강변여과에 관심이 모아지고 있다. 국내 최초의 강변여과는 경남 창원에서 2001년에 시작되었으며, 현재 창원시 수돗물의 100%를 여기에 의존하고 있다. 본 연구는 강변여과 취수장 부근 지하수위를 설명하는 시계열 모형의 개발에 관한 것이다. 연구 대상지역은 창원시 대산면 현장으로 11개 관측정으로부터의 5년간(2003년 1월$\sim$2007년 12월) 지하수위 자료를 이용했다. 지하수위의 장기변동을 알아보기 위해 분단위 자료를 월자료로 변환하고, 결측치를 보완하여 Box-Jenkins 방법에 따라 시계열분석을 실시했다. 대상지역의 지하수위 자료는 계절형 ARIMA 모형으로 잘 설명되는 것이 입증되었다. 본 연구는 향후 증가할 강변여과를 이용한 상수 공급시설의 안정적인 운영을 위해 반드시 필요한 지하수위 예측능력을 확보하기 위한 하나의 원형이 될 것이다.

데이터 서비스를 위주로 하는 이동통신 망에서의 주파수 소요량 산출 모델 (The Model of Estimating Spectrum Requirements in Mobile Networks with Data Traffic)

  • 김대극;양은샘;김화종
    • 한국산학기술학회논문지
    • /
    • 제10권2호
    • /
    • pp.364-369
    • /
    • 2009
  • WiMax, WiBro 등의 무선망에서의 데이터 서비스들은 더 빠른 이동성 확보와 더 높은 데이터 전송 속도의 실현을 목표로 변화와 발전을 계속하고 있다. 이러한 서비스 진화에서는 무선 데이터 통신망에서 가입자의 트래픽 수요를 충족시키고 무선망 구축을 위한 정확한 주파수 소요량 예측이 무엇보다 중요하다. 따라서 본 논문에서는 기존기술 연구의 문제점을 분석하여 데이터 서비스를 위주로 하는 이동 통신망의 주파수 소요량 산출시 고려해야 할 핵심 요소들을 제안하였다. 그것은 첫째 데이터 트래픽의 자기 유사성 특징, 둘째, QoS(Quality of Service)가 고려된 처리용량, 셋째, 기지국 부하율의 비균일 특성, 그리고 마지막으로 FA 증설구조이다. 또한 데이터 서비스를 위주로 하는 이동통신 망에서는 이러한 핵심 요소들을 적용하여 주파수 소요량 산출 표준 모델을 제안하였다.

무선 수동형 센서 망을 위한 Slotted ALOHA 기반의 기본적인 MAC 방식 (Elementary MAC Scheme Based on Slotted ALOHA for Wireless Passive Sensor Networks)

  • 최천원;서희원
    • 전자공학회논문지
    • /
    • 제53권4호
    • /
    • pp.20-26
    • /
    • 2016
  • 무선 수동형 센서 망은 RF 소스가 센서 노드에게 에너지를 공급하여 적어도 이론적으로 배터리 없이 영원히 동작할 수 있는 망이다. 그러나 기술이 성숙하지 못하여 무선 수동형 센서 망은 아직 센서 노드에서 에너지의 희소성, 에너지 수신과 data 전송의 동시불가성, data 전송의 비효율성 등 많은 어려움을 안고 있다. 본 논문에서는 이러한 현실적 제약을 고려하여 여러 센서 노드가 하나의 싱크 노드에게 packet을 전달하기 위한 기본적인 MAC 방식을 제안한다. 수신한 에너지로 캐패시터를 충전하는 충전 구간과 싱크 노드와 통신하는 활동 구간이 번갈아 반복되는 시간 구조에 기초하여 제안하는 MAC 방식은 활동 구간 동안 slotted ALOHA를 따라 싱크 노드에게 패?을 전달한다. 일반적으로 경합형 방식은 throughput이 상대적으로 낮은 경향을 보인다. 따라서 모의 실험 방법을 이용하여 제안하는 MAC 방식의 throughput 성능을 다각도로 평가한다. 모의 실험 결과로부터 활동 구간의 길이를 적절히 설정하여 망 전체 throughput 성능을 높일 수 있음을 확인할 수 있다.

탐색적 자료 분석(EDA) 기법을 활용한 온라인 해외직접구매에 대한 소비자 불만족 및 제도 개선 방안 연구 (A Researh for Consumer Dissatisfaction and Institutional Improvement of The Overseas Direct Purchase using Exploratory Data Analysis)

  • 박성우;강주영
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.41-54
    • /
    • 2020
  • 최근 인터넷 채널의 확장, 금융 기술과 정보통신기술이 발달하면서 해외직접구매가 확대되었다. 해외직접구매는 비교적 저렴한 가격의 제품과 국내에서 구하기 힘든 제품을 제공함으로써 소비자에게 가격, 희소성 면에서 유리한 위치를 선점하고 있지만, 아무래도 국내에서 구매하는 것보다 배송, 제품, A/S·환불 면에서 소비자 불만족이 발생할 확률이 높다. 따라서 본 연구에서는 해외직접구매 활성화에 따른 소비자 불만족을 분석하고 해외직접구매 문제점의 개선 방안을 연구하였다. 연구 방법으로 한국소비자원, 관세청, 한국무역협회에서 여러 통계자료를 수집했고, 탐색적 자료 분석 기법(EDA)을 활용해 분석하였다. 분석 결과 소비자는 해외직접구매 관련 정보에 대해 잘 알지 못한다는 것과 구매 유형에 따라 소비자 불만 유형이나 정도가 달라짐을 확인하였다. 따라서 본 연구는 EDA를 활용하여 해외직접구매의 전체적인 현황과 소비자 불만족을 파악하고 이에 따른 해외직접구매의 개선 방안을 제시함으로써 해외직접구매의 활성화 방향을 제시하는데 시사점이 있다.

Two person Interaction Recognition Based on Effective Hybrid Learning

  • Ahmed, Minhaz Uddin;Kim, Yeong Hyeon;Kim, Jin Woo;Bashar, Md Rezaul;Rhee, Phill Kyu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권2호
    • /
    • pp.751-770
    • /
    • 2019
  • Action recognition is an essential task in computer vision due to the variety of prospective applications, such as security surveillance, machine learning, and human-computer interaction. The availability of more video data than ever before and the lofty performance of deep convolutional neural networks also make it essential for action recognition in video. Unfortunately, limited crafted video features and the scarcity of benchmark datasets make it challenging to address the multi-person action recognition task in video data. In this work, we propose a deep convolutional neural network-based Effective Hybrid Learning (EHL) framework for two-person interaction classification in video data. Our approach exploits a pre-trained network model (the VGG16 from the University of Oxford Visual Geometry Group) and extends the Faster R-CNN (region-based convolutional neural network a state-of-the-art detector for image classification). We broaden a semi-supervised learning method combined with an active learning method to improve overall performance. Numerous types of two-person interactions exist in the real world, which makes this a challenging task. In our experiment, we consider a limited number of actions, such as hugging, fighting, linking arms, talking, and kidnapping in two environment such simple and complex. We show that our trained model with an active semi-supervised learning architecture gradually improves the performance. In a simple environment using an Intelligent Technology Laboratory (ITLab) dataset from Inha University, performance increased to 95.6% accuracy, and in a complex environment, performance reached 81% accuracy. Our method reduces data-labeling time, compared to supervised learning methods, for the ITLab dataset. We also conduct extensive experiment on Human Action Recognition benchmarks such as UT-Interaction dataset, HMDB51 dataset and obtain better performance than state-of-the-art approaches.