• 제목/요약/키워드: 데이터 오류

검색결과 1,753건 처리시간 0.03초

대중교통 OD구축을 위한 대중교통카드 데이터의 오류와 결측 분석 및 보정에 관한 연구 (The study on error, missing data and imputation of the smart card data for the transit OD construction)

  • 박준환;김순관;조종석;허민욱
    • 대한교통학회지
    • /
    • 제26권2호
    • /
    • pp.109-119
    • /
    • 2008
  • 대중교통 교통카드 도입 이후, 점차 이용율이 증가되고 있다. 카드 데이터를 통해 얻을 수 있는 자료를 고려할 때 대중교통 카드 이용의 증가는 통행패턴 분석 및 정책적 측면에서 중요한 의미를 가지고 있다. 그 중에서 특히 죤별 대중교통 통행수요(O/D)를 손쉽게 파악할 수 있다는 점에서 높은 중요성을 가진다. 카드데이터를 통해 대중교통 죤별 통행수요(O/D)를 파악함에 있어서 데이터 자체의 오류에 대한 분석이나 결측에 대한 보완 과정이 반드시 필요하다. 본 연구에서는 반드시 선행되어야 할 과제이지만 아직 연구사례가 없었던 카드데이터의 오류와 결측에 관해 살펴보았다. 그 결과, 통행수요(O/D)분석과 관련한 오류나 결측에 대한 특성을 제시하였고, 결측에 대한 보정방안을 제안하였다. 그리고 제시된 결측방안들에 대한 적용 및 평가와 함께 활용방안을 제시하여, 향후 보다 신뢰성있는 대중교통 OD구축을 위한 기반을 마련하였다.

SOA 기반 서비스 사이의 오류 데이터 정제 서비스 개발 (Developing dirty data cleansing service between SOA-based services)

  • 지은미;최병주;이정원
    • 정보처리학회논문지D
    • /
    • 제14D권7호
    • /
    • pp.829-840
    • /
    • 2007
  • 현재까지 오류 데이터를 정제하는 기법은 여러 소스로부터 대량의 데이터를 통합하여 데이터베이스에 저장되어 있는 데이터의 품질을 관리함으로써 의미 있는 정보를 추출하기 위함이었다. 급변하는 비즈니스 환경과 무한경쟁 사회에서 지속적으로 생존하려면 환경 변화에 빠르게 대처해야 한다. 최근 시스템의 요구사항이 복잡해짐에 따라 대규모의 분산 시스템을 통합 구축하기 위한 서비스 기반 구조 (Service Oriented Architecture)로 확산되고 있으며, 여기에서도 각 서비스간의 데이터 정제기법을 통한 신뢰성 있는 데이터 교환이 필수적이다. 따라서 본 논문에서는 서비스들이 하나의 시스템으로 통합되는 과정에서 이벤트를 통해 서비스 간에 전송되는 XML데이터의 품질 관리를 수행하여, 이미 통합되어 저장된 데이터베이스 데이터의 오류를 탐지하여 정제하는 것이 아니라 상호 작용하는 서비스간의 데이터 정제에 초점을 두고 SOA를 기반으로 하는 오류 데이터 정제 서비스를 개발한다.

딥러닝 기반의 다중 클라우드 환경에서 빅 데이터의 안전성을 보장하기 위한 비대칭 데이터 저장 관리 기법 (Asymmetric data storage management scheme to ensure the safety of big data in multi-cloud environments based on deep learning)

  • 정윤수
    • 디지털융복합연구
    • /
    • 제19권3호
    • /
    • pp.211-216
    • /
    • 2021
  • 분산 클라우드 환경에서는 다양한 이기종 장치의 정보들이 꾸준하게 증가하고 있다. 이 같은 이유는 고속의 네트워크의 속도와 대용량의 멀티미디어 데이터가 사용되고 있기 때문이다. 그러나, 이기종의 장치에서 송·수신되는 빅데이터의 정보 오류를 최소화하기 위한 방법은 여전히 연구가 진행되고 있다. 본 논문에서는 클라우드 환경에서 송·수신되는 정보들에 의해 발생되는 네트워크의 대역폭과 데이터 오류 최소화를 위한 딥러닝 기반의 비대칭적 저장 관리기법을 제안한다. 제안 기법은 각각의 디바이스에서 생성되는 빅 데이터정보를 비대칭적으로 해시 처리한 후 로드 밸런스를 최적화하기 위해서 딥러닝 기술을 적용하고 있다. 제안 기법은 각 디바이스에서 수집된 빅 데이터의 오류를 허용하는 동시에 빅 데이터의 연계 정보를 n개의 클러스터 그룹으로 그룹핑함으로써 빅 데이터의 연결성을 확보한 것이 특징이다. 특히, 제안 기법은 빅 데이터간의 유사 값을 시드로 추출한 손실 함수를 사용하였기 때문에 비대칭적으로 빅 데이터를 저장 관리 할때의 정보 오류를 최소화하였다.

해양사고 인적오류 예방을 위한 해심 주제어 분석에 관한 고찰

  • 장은진;강유미;임정빈
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2016년도 춘계학술대회
    • /
    • pp.196-198
    • /
    • 2016
  • 해양사고 원인의 대부분을 차지하는 인적오류 예방은 해양안전에 가장 중요하며 인적오류는 확률기반의 인적 모델을 구축하여 평가할 수 있다. 확률기반 인적 모델을 구축하기 위해 사건의 원인과 결과 사이에 연계성을 갖고 있는 통계 데이터가 필요하다. 이러한 데이터는 정부 공식통계로서 해양안전심판원에서 제공하는 재결서의 내용 분석을 통해 얻고자 하나, 측정변수가 너무 많아 계산량이 방대하다. 본 연구에서는 재결서 분석서의 원인판단에서 기준이 되는 해양안전심판원의 해양사고조사심판정보포털(이하 해심)에서 제공하는 재결서 내용의 핵심적인 내용으로 구성된 '주제어 '데이터를 활용하여 주제어에 포함된 핵심단어 분석절차를 수립하였다. 이들 단어가 구분형태별로 어떻게 분포된 상태인지 알아보고, 선박사고별로 최적으로 설명할 수 있는 단어 객체수를 검토해보고자 한다. 향후 축소된 차원으로도 해양사고 인적과실의 인과관계 설명이 가능하면, 인적모델의 측정변수를 결정하는 경우 쉽게 타당성을 확인 할 수 있어 해양안전을 위한 중요한 자료로 활용할 수 있다.

  • PDF

무선 ATM 망의 버스트 오류에 대한 효율적인 전송 방식에 대한 연구

  • 김중규;김용진
    • 한국산업정보학회논문지
    • /
    • 제3권1호
    • /
    • pp.239-255
    • /
    • 1998
  • 멀티미디어 초고속정보통신망 구축을 위한 가장 적합한 통신방식은 ATM(Asynchronous Transfer Model)으로 음성,영상, 데이터를 실시간, 비실시간 데이터로 구분하여 복합적으로 전송할 수있다. ATM 망은 유선 ATM망과 무선 ATM망으로 나누어지는데 무선 ATM 망의 가장 큰 차이점은 이동성과 전송 환경의 특성으로 발생하는 오류 확률이다. 따라서 무선 ATM 망에서 증가된 오류율을 유선 ATM망 수준으로 감소시키는 것이 매우 필요하다. 본 논문에서는 무선전송환경의 버스트오류에 효과적인 인터리빙 기법을 무선 전송단의 한정된 대역폭에 할당되는 ATM 셀의 가상 회선/경로의 수만감소시켜 일반 ATM 셀과의 연동성을 보장하는 인터리빙 수정 셀 방법을 제안하고 이의 성능을 분석한다. 분석결과 본 논문에서 제안한 방법을 사용하는 경우, 기존 셀에 추가되는 오버헤더 없이 전송성능이 향상되었으며, HARQ(Hybrid Automatic Request)를 적용했을 때 불가능한 실시간 데이터서비스도 가능한 것으로 나타났다.

IP data packet을 처리하기 위한 AAL type5 프로토콜 프로세서 구현 (Implementation of AAL type5 protocol processor for processing of IP data packet)

  • 박재현;최명렬
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (하)
    • /
    • pp.1379-1382
    • /
    • 2001
  • 본 논문에서는 ATM 망에서의 통합 네트워크 구현을 위한 IP data packet를 처리하기 위한 AAL type5 프로토콜 프로세서를 설계 및 구현하였다. AAL 계층의 중요 기능들은 ITU-T Recommendation 1.363과 1.363.5 에 근거하여 설계하였다. AAL 계층의 주요한 역할은 데이터의 Segmentation 및 셀의 Reassembly를 하는 것으로, Segmentation 과정에서는 상위 계층의 연속적인 데이터를 Segmentation하여 53-byte 크기의 ATM 셀을 구성하는 기능이다. Reassembly 과정에서는 들어오는 셀들을 연속적인 데이터로 만들어 AAL 계층 보다 상위 계층으로 전달하는 것이다. 이 과정에서 셀의 Header 를 확인한 후 crc-32를 통한 오류 검정을 거치게 되며, 데이터에 오류가 있을 경우에는 해당 셀을 버리고 오류가 없을 시에만 상위 계층으로 전달한다. 본 논문에서 구현한 AAL Type 5 프로세서는 향후 모든 Type의 data를 수용하는 칩 개발에 유용할 것으로 사료된다. 본 논문에서 원할한 테스트를 위해 데이터의 loop back 신호 DLB를 사용했다 VHDL 해석기로는 Synopsys 사의 VHDL Analyzer를 사용하였고, Design Compiler로 회로를 합성하였다.

  • PDF

위치 데이터에서 유도된 속도의 확률분포 (Use of Probability Distribution of Speed derived from Positioning Data)

  • 온경운;이준석;송하윤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1092-1095
    • /
    • 2013
  • 오늘날 모바일 스마트 기기의 발전은 위치기반의 새로운 기술을 이끌었다. 현재 위치 데이터를 사용하는 많은 응용프로그램들이 소개되었고, 또한 널리 사용되고 있다. 하지만 아직 이러한 위치 데이터들은 환경적인 요소 등으로 인해 오류가 많다. 우리는 이전 연구에서 위치 데이터의 오류 검출 및 교정 알고리즘을 제안하였다. 또 다른 연구에선 인간의 이동속도가 어떠한 확률분포모델을 따르는지 연구하였다. 그리하여 본 논문에서는 인간의 이동속도의 분포로서 적합하다고 판명된 확률분포모델 중 Lognormal 분포, Gamma 분포, Weibull분포를 선택하여 위치데이터 오류 검출 및 교정 알고리즘에 적용하기 위한 확률분포 계산을 제안한다. 그 중 일부는 계산의 복잡도를 낮추기 위해 확률분포표를 제공할 것이다.

Time Series Support Vector Machine을 이용한 Reactive Ion Etching의 오류검출 및 분석 (Fault Detection of Reactive Ion Etching Using Time Series Support Vector Machine)

  • 박영국;한승수;홍상진
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2006년도 춘계종합학술대회
    • /
    • pp.247-250
    • /
    • 2006
  • 현재 고밀도 반도체제작 환경에서는 Reactive ion Etching (RIE) 과정에서의 생산성을 극대화하기 위해서 비이상적인 공정장비를 발견하는 것이 매우 중요하다. 생산과정에서 오류발견의 중요성을 설명하기 위해 Support Vector Machine (SVM)은 실시간으로 공정오류에 대한 판단에 대한 도움을 주기 위해 사용되었다. baseline run으로부터 얻은 데이터로 SVM 모델을 구성하고 정상인 run 데이터와 비정상 run 데이터로 SVM 모델을 검증한다. 통계적 공정제어에서 흔히 이용되는 control limits를 도입하여 정상데이터가 내재하고 있는 램덤 변화율이 반영된 SVM 모델 기반의 control limits를 수립하고, 그 control limits를 바탕으로 오류발견을 실행한다. SVM을 이용함으로써 RIE의 오류발견은 run to run 기반에 정상인 run데이터는 0% 오류율이 증명되었다.

  • PDF

견실한 DTV 영상 전송을 위해 LSB 부호화를 이용한 MPEG-2 헤러 정보의 오류 복원 방법 (Error Resilience Method of MPEG-2 Header Parameters by using LSB Coding for Robust DTV Video Transmission)

  • 임태균;이상학
    • 한국정보통신학회논문지
    • /
    • 제9권5호
    • /
    • pp.1019-1024
    • /
    • 2005
  • MPEG-2로 부호화 된 영상에서 발생하는 전송 오류는 화질의 열화를 가져오고, 시공간적으로 오류를 전파시킨다. 특히 비디오 비트열에서 헤더 정보의 오류는 복호화 과정 전체에 영향을 미치므로 데이터 정보의 오류와 달리 전체 영상에 심각한 화질의 열화를 일으킬 수 있다. 따라서 헤더 정보에서의 오류를 복원하는 것은 데이터 정보에서 오류를 복원하는 것보다 더 중요하다. 본 논문에서는 LSB(least significant bit) 부호화를 이용하여 헤더 정보를 양자화 된 DCT(discrete cosine transform) 계수에 반복적으로 삽입하여 전송함으로써 MPEG-2의 신택스 구조 그대로 유지하면서 헤더 정보의 오류를 복원할 수 있는 방법을 제안한다.

원전 계측 신호 오류 식별 알고리즘 개발 (Development of Nuclear Power Plant Instrumentation Signal Faults Identification Algorithm)

  • 김승근
    • 한국산업정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.1-13
    • /
    • 2020
  • 본 논문에서는 원전 비상 상황 발생 시 다수의 신호 오류가 발생했을 때 어떤 신호에 오류가 발생했는지를 추정하는 신호 오류 식별 (Fault identification) 방법론을 개발하였다. 변분 오토인 코더 (Variational autoencoder; VAE) 기반 모델은 기존의 이상 탐지 방법론과 같이 정상 신호 데이터만을 이용하여 훈련이 진행되며, 이후 각 신호에 대한 복원 오차 (Reconstruction error)와 복원 오차를 입력의 특정 부분으로 미분한 값을 이용하여 어떤 부분에 오류가 포함되어 있는지를 예측한다. 데이터 취득을 위하여 시뮬레이션을 수행하였으며, 일련의 실험으로부터 제시한 신호 오류 식별 방법이 적절한 오차 범위 내에서 오류가 발생한 신호를 특정할 수 있음을 확인하였다.