• 제목/요약/키워드: 실시간 데이터

검색결과 6,140건 처리시간 0.043초

능동적 사고대처를 위한 유해화학물질의 실시간 대기확산시스템 개발 (Developing the Real-Time Atmospheric Dispersion System of Hazardous Chemicals for Proactive Response)

  • 오정석;손충연;현지이;성종규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.13-16
    • /
    • 2011
  • 에너지플랜트는 위험성이 높은 유해화학물질을 취급해서 누출사고가 발생 할 가능성이 높다. 유해화학물질이 누출되어 대기 중에 확산되면 강한 유독성으로 인해 대형피해를 불러온다. 유해화학물질의 누출로 인한 대기 중의 확산피해 최소화하는 방안에는 확산 될 범위를 산출하여 적절한 사고대응조치를 취하는 것이다. 대기확산모델의 시뮬레이션을 이용한 대기확산범위 산출은 가상으로 설정 된 시나리오의 데이터를 사용자가 수동으로 입력하여 결과를 도출한다. 가상 데이터로 산출 된 결과는 정확성이 결여 될 수 있으며 실시간 대기확산범위 산출이 불가능하다. 본 연구에서는 유해화학물질의 대기확산범위를 즉각적으로 산출 할 수 있는 실시간 대기확산시스템을 설계하고 구현한다. 대기확산범위 산출에 필요한 데이터는 실시간으로 수집 된 실제 데이터를 이용한다. 실시간으로 수집된 실 데이터를 토대로 데이터마이닝기법을 통해 자율적인 누출사고를 탐지하고 누출지점을 특정 할 수 있는 지능화모듈을 설계한다. 대기확산모델은 유해화학물질의 증기운의 무게에 따라 가우시안과 SLAB모델을 이용한다. 실시간으로 산출 된 대기확산범위는 ERPG의 각 단계의 농도 기준에 근거하여 총 3단계로 구분해서 GIS맵 상의 유저인터페이스에 표현한다. 산출된 대기확산피해범위는 현장 작업자의 모바일기기로 사고와 관련 된 대응조치와 함께 신속히 전파할 수 있도록 구현해서 누출로 인한 유해화학물질의 확산사고피해 최소화를 도모한다.

IoT 노드 클러스터 기반의 실시간 스트림 데이터 처리 방안 (Real-time stream data processing method based on IoT node cluster)

  • 임환희;김동현;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.1-4
    • /
    • 2019
  • Edge Computing 환경에서는 데이터 처리와 시스템 제어를 위한 별도의 서버가 존재하지 않는다. 서버를 통한 중앙통제 방식이 아닌 Edge computing에 사용된 IoT기기들이 연동되어 데이터 분산 처리와 연산을 통해 전체 시스템이 동작된다. 이러한 Edge computing 시스템 구조 특성상 전체 시스템이 과부하를 피하기 위해 각 IoT 기기에서 동시다발적으로 감지되는 실시간 상황 정보를 효율적으로 처리 하여야한다. 이에 따라 실시간 상황 정보를 효율적으로 처리하거나, 다양한 데이터 분석처리 알고리즘들이 연구 개발되어 데이터 처리에 적용되어 왔다. 하지만 데이터의 정보 흐름과 타입에 초점을 맞춘 것이 아니라 예상분석 및 획일화된 알고리즘을 통해서 분석되기 때문에 해당 플랫폼이 주로 지향하는 데이터 형식에 맞지 않으면 성능저하를 수반하며 사용에 제약이 많은 문제점이 있다. 따라서 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석을 연구를 진행한다.

  • PDF

공개소스프로젝트를 이용한 사이버물리시스템 데이터분석아키텍처 (CPS Data Analysis Architecture using Open Source Projects)

  • 임유진;최은미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.172-175
    • /
    • 2013
  • 사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

실시간 PSS/E 데이터 처리장치 구축 (The Establishment of Realtime Data Processing Device for PSS/E)

  • 박내호;문봉수;권태원
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 추계학술대회 논문집 전력기술부문
    • /
    • pp.293-295
    • /
    • 2002
  • 국내에서 가장 많이 사용되고 있는 전력계통 해석프로그램 PSS/E의 데이터 파일을 전력계통 감시장치 송전망 감시 중앙시스템에서 제공하는 실시간 정보를 이용, PSS/E 데이터 구조로 변환하는 실시간 PSS/E 데이터 파일 작성 프로그램을 개발하여 실계통 검증결과 매우 정확함을 확인하였다.

  • PDF

물관리 데이터베이스 통합을 위한 데이터 구조 설계에 관한 연구 (Study on the data structure design for the integration of water management database)

  • 정지원;정승권;강현중;권용현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.637-637
    • /
    • 2015
  • 2009년 미국에서 처음으로 스마트워터그리드의 개념이 도입된 이후로 국내외 국가 기관뿐만 아니라 민간 기업에서도 스마트워터그리드에 대한 관심이 높아지고 있다. 현재 스마트워터그리드는 IBM의 진출을 시작으로 Veolia, Suez 등 다국적 물관리 기업들이 사업을 추진 중이다. 국내의 ICT기술과 수자원시스템의 융합을 통하여 용수 수요 공급량을 실시간으로 파악하고 관리하여 수자원의 지역적 시간적 격차를 해소하는 스마트워터그리드 연구가 국내에서도 진행 중이다. 물관리 시장 주도권을 확보하기 위해 글로벌 물기업간 경쟁이 심화되고 있으며, 개별플랫폼을 구축 활용하여 신규기업의 물산업 진출을 가로막고 있는 실정이다. 이러한 상황에서 국외 물산업 시장 진출을 위하여 통합플랫폼 개발 및 체계적인 데이터 구조 설계가 필요하며, 본 연구는 스마트워터그리드를 운영하기 위해 여러 곳에 분산되어 관리 운영되어지고 있는 수자원 및 물관리 데이터의 통합을 위한 체계적인 데이터베이스 구조설계에 대한 연구를 수행하였다. 이에 본 연구에서는 스마트워터그리드 도메인 내에 주력하고 있는 통합데이터베이스 구조를 외부 데이터 마이닝과 연계하여 확장하는 구조로 현실적이고 단기적인 데이터 통합효과를 위해 ETL/데이터웨어하우스방식을 적용하여 데이터 통합을 추진하였다. 지자체간 분산되어 있는 데이터베이스간의 연동은 관련 법제도 및 지자체간 협의 등 다양한 문제가 연루되어 있어 단기적으로는 B2B 데이터 연동방식을 응용하여 구성하였다. 광역 중앙 제어를 위한 통합데이터베이스는 가상DB 방식을 고려하였으며, 이는 지자체별로 구성된 통합DB에 대한 인터페이스 및 Wrapper 플랫폼을 적용하였다. 이 플랫폼간의 연동은 WaterML2.0을 적용함으로써 단기간내 구현이 가능하도록 하고 상호운용성에 문제를 해결하며, 실시간 데이터 연계를 추구하였다. 본 연구를 통해서 궁극적으로는 수자원 및 물관리 데이터의 통합을 위해 해당플랫폼에서 스키마 맵핑, 프로토콜 변환 정합 등을 실시하며, 실시간 데이터 마이닝 및 통합이 가능하도록 구성함으로써 향후 스마트워터그리드의 빅데이터 플랫폼 개발까지 확장해나갈 수 있을 것으로 기대된다.

  • PDF

소형 밀리미터파 레이더를 위한 실시간 데이터 전처리 방법 연구 (A Study on Real-time Data Preprocessing Technique for Small Millimeter Wave Radar)

  • 최진규;신영철;홍순일;박창현;김윤진;김홍락;권준범
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권6호
    • /
    • pp.79-85
    • /
    • 2019
  • 최근 소형 레이더는 한번의 타격으로 표적의 시스템을 무능화시키기 위해 높은 거리해상도를 갖는 소형 밀리미터파 레이더 개발을 요구한다. 높은 거리해상도를 갖는 소형 밀리미터파 레이더가 표적을 획득하고, 추적하기 위해서는 대용량의 데이터를 실시간으로 처리해야한다. 본 논문에서는 소형 밀리미터파 레이더에서 요구하는 대용량의 데이터를 실시간으로 처리하기 위한 실시간 데이터 전처리 방법을 정리하였다. 또한 실시간 데이터 전처리 방법으로 제시한 디지털 IF(Intermediate Frequency) 수신기, Window처리, DFT(Discrete Fourier Transform)를 FPGA (Field Programmable Gate Array)를 활용하여 구현하였다. 마지막으로 구현한 실시간 데이터 전처리 모듈은 소형 밀리미터파 레이더를 위한 신호처리기에 적용하여 실시간 데이터 전처리 기능과 관련된 성능시험으로 검증하였다.

실시간 데이터 처리를 위한 개방형 데이터 프레임워크 적용 방안 (Application Of Open Data Framework For Real-Time Data Processing)

  • 박순호;김영길
    • 한국정보통신학회논문지
    • /
    • 제23권10호
    • /
    • pp.1179-1187
    • /
    • 2019
  • 오늘날의 기술 환경에서 대다수의 빅 데이터 기반 애플리케이션 및 솔루션은 스트리밍 데이터의 실시간 처리를 기반으로 한다. 빅 데이터 스트림의 실시간 처리 및 분석은 빅 데이터 기반 애플리케이션 및 솔루션 개발에서 중요한 역할을 한다. 특히 해사 분야 데이터 처리 환경에서도 데이터의 폭발적 증대에 따른 대용량 실시간 데이터를 빠르게 처리 및 분석할 수 있는 기술 개발의 필요성이 가속화되고 있다. 따라서 본 논문에서는 다양한 빅 데이터 처리를 위한 오픈소스 기술 중에 적합한 오픈소스로 NiFi, Kafka, Druid의 특징을 분석하여 한국형 e-Navigation 서비스에서 해사 분야 서비스 분석에 필요한 외부 연계 필요 정보들을 상시 최신 정보로 제공할 수 있도록 실시간 데이터 처리를 위한 개방형 데이터 프레임워크 기술 적용의 기초를 마련하고자 한다.

반도체 공정의 생산성 향상을 위한 실시간 대용량 데이터의 효율적인 저장 기법 (An Efficient Storing Scheme of Real-time Large Data to improve Semiconductor Process Productivities)

  • 정원일;김환구
    • 한국산학기술학회논문지
    • /
    • 제10권11호
    • /
    • pp.3207-3212
    • /
    • 2009
  • 반도체 산업이 발전함에 따라 생산 효율을 높이기 위해 무인 자동 생산 공정이 요구되고 있다. 이러한 무인자동화 생산 관리 시스템은 생산성 향상을 위해 생산 공정에서 발생하는 대량의 실시간 데이터 분석 및 관리를 필요로 한다. 따라서 실시간으로 발생하는 대용량 데이터를 저장하기 위한 저장 관리 시스템이 요구된다. 기존의 저장 관리 시스템으로 오라클, MY-SQL, MS-SQL 등의 디스크 기반 DBMS가 있다. 하지만 기존의 디스크 기반 DBMS는 반도체 장비로부터 실시간으로 발생하는 대용량 데이터 처리에 한계가 있다. 본 논문에서는 대용량 데이터를 저비용으로 실시간 저장하기 위해 블록 단위 삽입 트랜잭션을 이용한 압축-합병 저장 기법을 제안한다. 제안 기법은 블록 단위 트랜잭션을 이용하여 실시간 데이터를 빠르게 저장하며 데이터를 압축하고 압축된 데이터를 합병하여 저장하기 때문에 보다 적은 디스크 공간을 사용하여 저장할 수 있다. 따라서 반도체 공정에서 빠르게 발생하는 대용량 데이터를 기존 DBMS보다 빠르게 저장이 가능하고 저장 공간 비용을 감소시킨다.

실시간 데이터베이스에서 로킹기반 보안 프로토콜 (Lock-based Secure Protocol in Real-Time Databases)

  • 박수연;이승룡
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.211-213
    • /
    • 1998
  • 실시간 응용을 위한 데이터베이스 시스템은 시간 제약 조건을 만족시켜야 하며, 데이터 일관성을 유지해야 한다. 또한 다중레벨을 지원하는 보안 프로토콜은 cover channel의 생성을 방지하는 것이 중요하다. Son과 Mukkamala는 primary copy와 secondary copy를 사용한 SRT-2PL을 개발하였다. 이 프로토콜은 보안 레벨간의 불간섭(non-interference)을 지원하며, covert channel의 발생을 막을 수 있으며, 지연이 적고 취소가 적으므로 실시간 데이터베이스 시스템에서 보안을 유지하는데 사용될 수 있다. 그러나 secondary copy를 모든 데이터 오브젝트에 대해 항상 보존해야 하므로 작업공간의 낭비가 있고, 데이터의 갱신을 위해 update queue를 관리해야 하는 오버헤드와 그에 따른 예측성 결여가 문제점으로 나타난다. 따라서, 본 논문에서는 불간섭을 지원하여 covert channel의 발생을 방지하면서, 복사본의 유지 기간을 줄여 실시간 지원을 강화시키고, 예측성을 좀더 높인 개선된 SRT-2PL 실시간 데이터베이스 보안 프로토콜을 제안한다. 본 논문에서 제안하는 동적 복사 알고리즘은 트랜잭션의 동작에 따라 동적으로 복사본을 생성하여 레벨간의 불간섭을 제공함과 동시에, 복사본의 유지 기간을 줄여 작업공간의 낭비를 줄이고 예측성을 높일 수 있다.

Optima Rainfall Intensity 기법을 이용한 실시간 강우센서 강우 산정기법 개발 (Development of Real-time Rainfall Sensor Rainfall Estimation Technique using Optima Rainfall Intensity Technique)

  • 이병현;황성진;김병식
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.429-429
    • /
    • 2019
  • 최근 들어 이상기후 등 다양한 환경적 요인으로 인해 국지적이고 집중적인 호우가 빈발하고 있으며 도로상의 교통체증과 도로재해가 사회적으로 큰 문제가 되고 있다. 이러한 문제를 해결하기 위해서는 실시간, 단기간 이동성 강우정보 기술과 도로 기상정보를 활용할 수 있는 방법에 대한 연구가 필요하다. 본 연구는 차량의 AW(AutoWiping) 기능을 위해 장착된 강우센서를 이용하여 강우정보를 생산하는 기술을 개발하고자 하였다. 강우센서는 총 4개의 채널로 이루어져있고, 초당 250개의 광신호 데이터를 수집하며, 1시간이면 약 360만 개의 데이터가 생산되게 된다. 5단계의 인공강우를 재현하여 실내 인공강우실험을 실시하고 이를 통해 강우센서 데이터와 강우량과의 상관성을 W-S-R관계식으로 정의하였다. 실내실험데이터와 비교하여 외부환경 및 데이터 생성조건이 다른 실외 데이터의 누적값을 계산하기 위해 Threshold Map 방식을 개발하였다. 강우센서에서 생산되는 대량의 데이터를 이용하여 실시간으로 정확한 강우정보를 생산하기 위해 빅 데이터 처리기법을 사용하여 계산된 실내 데이터의 Threshold를 강우강도 및 채널에 따라 평균값을 계산하고 $4{\times}5$ Threshold Map(4 = 채널, 5 = 강우정보 사상)을 생성하였고 강우센서 기반의 강우정보 생산에 적합한 빅데이터 처리기법을 선정하기 위하여 빅데이터 처리기법 중 Gradient Descent와 Optima Rainfall Intensity을 적용하여 분석하고 결과를 지상 관측강우와 비교검증을 하였다. 이 결과 Optima Rainfall Intensity의 적합도를 검증하였고 실시간으로 관측한 8개 강우사상을 대상으로 강우센서 강우를 생산하였다.

  • PDF