• 제목/요약/키워드: Automated Data Collection

검색결과 75건 처리시간 0.021초

Azure 클라우드 플랫폼의 가상서버 호스팅을 이용한 데이터 수집환경 및 분석에 관한 연구 (A study on data collection environment and analysis using virtual server hosting of Azure cloud platform)

  • 이재규;조인표;이상엽
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.329-330
    • /
    • 2020
  • 본 논문에서는 Azure 클라우드 플랫폼의 가상서버 호스팅을 이용해 데이터 수집 환경을 구축하고, Azure에서 제공하는 자동화된 기계학습(Automated Machine Learning, AutoML)을 기반으로 데이터 분석 방법에 관한 연구를 수행했다. 가상 서버 호스팅 환경에 LAMP(Linux, Apache, MySQL, PHP)를 설치하여 데이터 수집환경을 구축했으며, 수집된 데이터를 Azure AutoML에 적용하여 자동화된 기계학습을 수행했다. Azure AutoML은 소모적이고 반복적인 기계학습 모델 개발을 자동화하는 프로세스로써 기계학습 솔루션 구현하는데 시간과 자원(Resource)를 절약할 수 있다. 특히, AutoML은 수집된 데이터를 분류와 회귀 및 예측하는데 있어서 학습점수(Training Score)를 기반으로 보유한 데이터에 가장 적합한 기계학습 모델의 순위를 제공한다. 이는 데이터 분석에 필요한 기계학습 모델을 개발하는데 있어서 개발 초기 단계부터 코드를 설계하지 않아도 되며, 전체 기계학습 시스템을 개발 및 구현하기 전에 모델의 구성과 시스템을 설계해볼 수 있기 때문에 매우 효율적으로 활용될 수 있다. 본 논문에서는 NPU(Neural Processing Unit) 학습에 필요한 데이터 수집 환경에 관한 연구를 수행했으며, Azure AutoML을 기반으로 데이터 분류와 회귀 등 가장 효율적인 알고리즘 선정에 관한 연구를 수행했다.

  • PDF

AUTOMATIC PRECISION CORRECTION OF SATELLITE IMAGES

  • Im, Yong-Jo;Kim, Tae-Jung
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2002년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.40-44
    • /
    • 2002
  • Precision correction is the process of geometrically aligning images to a reference coordinate system using GCPs(Ground Control Points). Many applications of remote sensing data, such as change detection, mapping and environmental monitoring, rely on the accuracy of precision correction. However it is a very time consuming and laborious process. It requires GCP collection, the identification of image points and their corresponding reference coordinates. At typical satellite ground stations, GCP collection requires most of man-powers in processing satellite images. A method of automatic registration of satellite images is demanding. In this paper, we propose a new algorithm for automatic precision correction by GCP chips and RANSAC(Random Sample Consensus). The algorithm is divided into two major steps. The first one is the automated generation of ground control points. An automated stereo matching based on normalized cross correlation will be used. We have improved the accuracy of stereo matching by determining the size and shape of match windows according to incidence angle and scene orientation from ancillary data. The second one is the robust estimation of mapping function from control points. We used the RANSAC algorithm for this step and effectively removed the outliers of matching results. We carried out experiments with SPOT images over three test sites which were taken at different time and look-angle with each other. Left image was used to select UP chipsets and right image to match against GCP chipsets and perform automatic registration. In result, we could show that our approach of automated matching and robust estimation worked well for automated registration.

  • PDF

자동 위성영상 수집을 통한 다종 위성영상의 시계열 데이터 생성 (Generation of Time-Series Data for Multisource Satellite Imagery through Automated Satellite Image Collection)

  • 남윤지;정성우;김태정;이수암
    • 대한원격탐사학회지
    • /
    • 제39권5_4호
    • /
    • pp.1085-1095
    • /
    • 2023
  • 위성데이터를 활용한 시계열 데이터는 다양한 분야에서 변화 탐지와 모니터링에 필수적인 자료로 활용되고 있다. 시계열 데이터 생성에 관한 선행 연구에서는 데이터의 통일성을 유지하기 위해 주로 단일 영상을 기반으로 분석하는 방식이 사용되었다. 또한 공간 및 시간 해상도 향상을 위해 다종 영상을 활용하는 연구도 활발하게 진행되고 있다. 시계열 데이터의 중요성은 계속해서 강조되지만, 데이터를 자동으로 수집하고 가공하여 연구에 활용하기 위한 산출물은 아직 제공되지 않고 있다. 따라서 이러한 한계를 극복하기 위해 본 논문에서는 사용자가 설정한 지역의 위성정보를 자동으로 수집하고 시계열 데이터를 생성하는 기능을 제안한다. 본 연구는 한 종류의 위성영상뿐만 아니라 동일 지역의 여러 위성데이터를 수집하고 이를 시계열 데이터로 변환하여 산출물을 생성하는 것을 목표로 하며, 이를 위한 위성영상 자동 수집 시스템을 개발하였다. 이 시스템을 활용하면 사용자는 관심 있는 지역을 설정함으로써 해당 지역에 맞게 데이터가 수집되고 Crop되어 즉시 활용할 수 있는 데이터를 생성할 수 있다. 실험 결과로는 웹 상에서 무료로 제공되는 Landsat-8/9 OLI 및 Sentinel-2 A/B 영상의 자동 획득이 가능함을 확인하였으며, 수동 입력을 통해 별도의 고해상도 위성영상도 함께 처리할 수 있었다. 고해상도 위성영상을 기준으로 자동 수집 및 편집된 영상 간의 정확도를 비교하고 육안 분석을 수행한 결과, 큰 오차 없이 결과물을 생성할 수 있음을 확인했다. 이후 시계열 데이터 간 상대적 위치 오차 최소화 및 좌표가 획득되어 있지 않은 데이터 처리 등에 대한 연구 및 다양한 위성영상을 활용한 시계열 데이터 생성 기능 추가가 계획되어 있다. 위성영상을 활용한 시계열 데이터의 생성 방법이 정립되고, 국토위성, 농림위성과 같은 국내 위성정보를 이용한 시계열 데이터가 효과적으로 활용될 경우, 국토·농림·산업·해양 분야에서 다양한 응용 가능성이 기대된다.

사이버 공간 내 디지털 증거 수집 시스템에 관한 연구 (A Study on Digital Evidence Collection System in Cyberspace)

  • 정효정;최종현;이상진
    • 정보보호학회논문지
    • /
    • 제28권4호
    • /
    • pp.869-878
    • /
    • 2018
  • 사이버 공간 내 디지털 증거 데이터는 수정 및 삭제되기 쉬우며 실시간으로 변경사항이 반영되므로 사건 발생 시점 이후 증거 데이터의 빠른 획득이 필요하다. 클라이언트 측에서의 증거 수집은 별도의 행정절차로 인한 시간 지연 없이 데이터를 획득할 수 있다는 장점이 있지만, 대용량 데이터의 수집에 있어서는 마찬가지로 수집 시간 지연 문제에 취약하다. 따라서 본 논문에서는 사이버 공간 내 주요 웹 기반 서비스를 중심으로, 클라이언트 측면에서의 자동화 된 증거 수집 방식을 제안하여 대용량 데이터에 대한 효율적인 증거 수집이 가능하도록 한다. 나아가 제안한 방식을 사용하고 수집한 디지털 증거의 법정제출시점까지의 무결성을 보장하는 사이버 공간 내 디지털 증거 수집 시스템을 제안한다.

기어날끝의 표면마무리에 대한 품질검사시스템 (An Automated System for Inspecting Surface Finishes of Gear Teeth)

  • 김성준;임준묵
    • 산업공학
    • /
    • 제9권2호
    • /
    • pp.105-117
    • /
    • 1996
  • This paper presents an automated system for inspecting surface finish quality of gear teeth. The purpose of the presented system is to improve both efficiency and reliability of a gear inspection process with a lower cost. The system consists of two modules; one is for data collection and the other for data analysis. While and A/D converter is built in a PC to efficiently obtain digitized data, a window-based software for conducting quality tests is provided using VISUAL BASIC as well as C++. We successfully connect them with the existing gear tester. This system would be also useful for the gear quality improvement by means of a continuous data management.

  • PDF

A Design Procedure for Safety Simulation System Using Virtual Reality

  • Ki, Jae-Seug
    • 대한안전경영과학회지
    • /
    • 제1권1호
    • /
    • pp.69-77
    • /
    • 1999
  • One of the objectives of any task design is to provide a safe and helpful workplace for the employees. The safety and health module may include means for confronting the design with safety and health regulations and standards as well as tools for obstacles and collisions detection (such as error models and simulators), Virtual Reality is a leading edge technology which has only very recently become available on platforms and at prices accessible to the majority of simulation engineers. The design of an automated manufacturing system is a complicated, multidisciplinary task that requires involvement of several specialists. In this paper, a design procedure that facilitates the safety and ergonomic considerations of an automated manufacturing system are described. The procedure consists of the following major steps. Data collection and analysis of the data, creation of a three-dimensional simulation model of the work environment, simulation for safety analysis and risk assessment, development of safety solutions, selection of the preferred solutions, implementation of the selected solutions, reporting, and training. When improving the safety of an existing system the three-dimensional simulation model helps the designer to perceive the work from operators point of view objectively and safely without the exposure to hazards of the actual system.

  • PDF

Field Test of Automated Activity Classification Using Acceleration Signals from a Wristband

  • Gong, Yue;Seo, JoonOh
    • 국제학술발표논문집
    • /
    • The 8th International Conference on Construction Engineering and Project Management
    • /
    • pp.443-452
    • /
    • 2020
  • Worker's awkward postures and unreasonable physical load can be corrected by monitoring construction activities, thereby increasing the safety and productivity of construction workers and projects. However, manual identification is time-consuming and contains high human variance. In this regard, an automated activity recognition system based on inertial measurement unit can help in rapidly and precisely collecting motion data. With the acceleration data, the machine learning algorithm will be used to train classifiers for automatically categorizing activities. However, input acceleration data are extracted either from designed experiments or simple construction work in previous studies. Thus, collected data series are discontinuous and activity categories are insufficient for real construction circumstances. This study aims to collect acceleration data during long-term continuous work in a construction project and validate the feasibility of activity recognition algorithm with the continuous motion data. The data collection covers two different workers performing formwork at the same site. An accelerator, as well as portable camera, is attached to the worker during the entire working session for simultaneously recording motion data and working activity. The supervised machine learning-based models are trained to classify activity in hierarchical levels, which reaches a 96.9% testing accuracy of recognizing rest and work and 85.6% testing accuracy of identifying stationary, traveling, and rebar installation actions.

  • PDF

A Flow Analysis Framework for Traffic Video

  • Bai, Lu-Shuang;Xia, Ying;Lee, Sang-Chul
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.45-53
    • /
    • 2009
  • The fast progress on multimedia data acquisition technologies has enabled collecting vast amount of videos in real time. Although the amount of information gathered from these videos could be high in terms of quantity and quality, the use of the collected data is very limited typically by human-centric monitoring systems. In this paper, we propose a framework for analyzing long traffic video using series of content-based analyses tools. Our framework suggests a method to integrate theses analyses tools to extract highly informative features specific to a traffic video analysis. Our analytical framework provides (1) re-sampling tools for efficient and precise analysis, (2) foreground extraction methods for unbiased traffic flow analysis, (3) frame property analyses tools using variety of frame characteristics including brightness, entropy, Harris corners, and variance of traffic flow, and (4) a visualization tool that summarizes the entire video sequence and automatically highlight a collection of frames based on some metrics defined by semi-automated or fully automated techniques. Based on the proposed framework, we developed an automated traffic flow analysis system, and in our experiments, we show results from two example traffic videos taken from different monitoring angles.

  • PDF

개인 소프트웨어 프로세스 지원을 위한 도구 (A Tool to Support Personal Software Process)

  • 신현일;정경학;송일선;최호진;백종문
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권8호
    • /
    • pp.752-762
    • /
    • 2007
  • 개발자 개개인의 소프트웨어 개발 프로세스를 개선시켜 소프트웨어의 품질을 향상시킬 수 있도록 돕는 기법으로 PSP(Personal Software Process)가 널리 쓰이고 있다. PSP에 제시된 측정 및 분석활동을 지속적으로 수행함으로써 개별 개발자는 자신의 개발 프로세스에 내재된 약점을 파악할 수 있고, 이렇게 수집된 과거 프로젝트의 데이타를 이용하여 공수와 품질에 대한 예측의 정확도를 높일 수 있다. 그러나 수동으로 행해지는 데이타 수집의 오버헤드와 개발작업-측정작업 간의 문맥전환에 따른 집중력 분산의 문제점으로 인해 신뢰도 높은 데이타를 수집하기가 쉽지 않은 것이 현실이다. 한편, PSP에 제시된 문서형태의 프로세스 가이드는 프로세스 정보 검색의 불편함과 추가적인 정보를 삽입하는 데 어려움을 가지고 있다. 본 논문에서는 이러한 문제점들을 해결하기 위해 개발된 PSP 지원도구를 소개한다. 개발된 도구는 데이타 수집의 신뢰성을 높이기 위해 데이타 자동 수집 기능을 제공하고, PSP 프로세스 정보의 효율적인 검색을 위한 EPG(Electronic Process Guide) 기능 및 추가적인 프로세스 정보의 저장을 위한 경험 저장소 기능을 제공한다.

실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구 (A Study on Big Data Processing Technology Based on Open Source for Expansion of LIMS)

  • 김순곤
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권2호
    • /
    • pp.161-167
    • /
    • 2021
  • 실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.