• 제목/요약/키워드: 데이터 삽입

검색결과 765건 처리시간 0.022초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

퍼지 추론을 이용한 영상은닉 알고리즘 (An Image Concealment Algorithm Using Fuzzy Inference)

  • 김하식;김윤호
    • 한국항행학회논문지
    • /
    • 제11권4호
    • /
    • pp.485-492
    • /
    • 2007
  • 본 논문에서는 비디오 코덱의 수신단 블록 오류를 퍼지추론을 이용하여 검출하고 영상을 은닉하는 방법을 제안하였다. 제안한 블록 오류 검출 알고리즘은 인접된 두 프레임에서 서로 대응되는 블록들 간의 시간적 유사성을 이용하여 SSD를 구하고, 1차 임계값보다 SSD가 큰 블록들을 1차적인 오류 블록으로 분류하였다. 그리고 각각의 파라미터를 가지고 퍼지데이터 구한 후에 비례상수 ${\alpha}$와 임계값 TH1과 TH2를 결정하였다. 제안된 알고리즘의 타당성을 검토하기 위하여 QCIF 동영상에 랜덤 오류를 삽입하여 오류 검출 및 은닉 실험을 하였으며, 알고리즘의 성능평가는 동영상에 오류를 삽입한 후 기존의 VLC 테이블에 의한 오류 검출 알고리즘과 검출결과를 비교 분석하였다. 실험 결과, 제안한 오류 검출 알고리즘은 실험 영상의 오류 블록들을 모두 검출할 수 있었으며, 오류 은닉 후 영상의 화질이 기존의 오류 검출 알고리즘 보다 15dB 이상 개선됨을 알 수 있었다.

  • PDF

음성로고 삽입을 위한 디지털 영상 워터마킹에 관한 연구 (A Study on Digital Image Watermarking for Embedding Audio Logo)

  • 조강석;고성식
    • 대한전자공학회논문지TE
    • /
    • 제39권3호
    • /
    • pp.21-27
    • /
    • 2002
  • 디지털 워터마킹 기술은 멀티미디어 데이터에 적용하여 소유물에 대한 불법 복제나 소유자의 저작권 보호 문제를 해결할 수 있는 방법 중의 하나이다. 그렇지만 디지털 영상, 비디오, 그리고 오디오와 같은 멀티미디어 보호 문제를 해결하기 위해서는 여전히 소유권 주장 방법에 대해서 극복해야할 문제점을 가지고 있다. 본 논문에서는 저작물 소유자의 음성신호(Audio signal)를 음성로고(Audio Logo)의 워터마크로 변환하고, 원 영상 내 픽셀 농도 값의 비선형적 특성를 이용하여 음성로고를 공간 영역에서 삽입한다. 그리고 추출된 음성로고를 음성신호로 변환하여 청각적으로 소유자의 음성신호를 스피커로 출력하여 소유권을 주장하는 방법을 제안한다. 실험 결과를 통해, 본 논문에서 제시하는 알고리즘이 일반적인 영상 처리나, 특히 손실 JPEG 등과 같은 다양한 공격에 대해서 강인성을 유지시킬 수 있어 음성로고를 이용해 저작물 보호를 확인할 수 있음을 검증하였다.

무배선 통신을 위한 선박 네트워크용 바이패스 장치 개발 (Development of Bypass Unit for Ship Area Network Based on Legacy-line Communication)

  • 전호익;김현식;정균식;손경락
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제39권3호
    • /
    • pp.292-297
    • /
    • 2015
  • 본 논문에서는 통신 장애 영역 또는 통신 불량 지점을 우회하기 위하여 선박 네트워크를 위한 바이패스 장치를 개발하였다. 바이패스 장치는 전원 차단, 보호회로 및 결합 변압기 회로의 세 부분으로 구성되어있다. 결합 변압기는 바이 패스 장치의 성능에 지배적인 영향을 미치기 때문에 본 연구에서는 최적의 자심 재료와 크기를 결정하는데 많은 노력을 기울였다. 개발된 장치는 삽입 손실, 온도 특성 및 진동 성능 시험을 통과하였으며, 삽입 손실은 90kHz ~ 30 MHz 범위에서 -2 dB 부근이고 평균 데이터 속도는 실험실 환경에서 59.2 Mbps 이었다. 또한 한국해양대학교의 실습선을 이용한 현장 적용시험을 수행하였다. 실험결과 전력선 모뎀기반 이기종 링크간 선박 네트워크 구성은 바이패스 장치를 사용함으로서 가능하다는 것을 보여주었고, 이를 이용한 ~ Mbps 급 고속 통신이 서비스될 수 있음을 보였다.

분산 고장 탐지 방식을 이용한 실시간 태스크에서의 최적 체크포인터 구간 선정 (Determination of Optimal Checkpoint Intervals for Real-Time Tasks Using Distributed Fault Detection)

  • 곽성우;양정민
    • 한국지능시스템학회논문지
    • /
    • 제26권3호
    • /
    • pp.202-207
    • /
    • 2016
  • 체크포인터를 삽입한 실시간 시스템에서는 고장이 발생하면 고장 직전의 체크포인터로 회귀하여 태스크를 재실행함으로써 과도 고장을 효과적으로 극복할 수 있다. 이번 논문에서는 체크포인터에서 실행되는 데이터 저장과 고장 탐지 과정을 분리한 새로운 체크포인터 방식을 제안한다. 하나의 체크포인터 구간 내에 여러 개의 고장 탐지 과정을 추가하면 고장 발생에서 탐지까지의 지연 시간을 줄일 수 있다. 본 논문에서는 태스크가 데드라인 이내에서 성공적으로 수행될 확률을 최대화하는 고장 탐지 과정의 삽입 방법을 제안한다. 고장 탐지 과정이 분리된 체크포인터 방식을 마코프 체인으로 모델링하고 실시간 태스크의 성공적 수행 확률을 계산하는 모의실험을 수행하여 최적의 해를 구하는 과정을 제시한다.

Lifting 기반 1D DWT 영역 상의 강인한 DNA 워터마킹 (A Robust DNA Watermarking in Lifting Based 1D DWT Domain)

  • 이석환;권기룡;권성근
    • 전자공학회논문지
    • /
    • 제49권10호
    • /
    • pp.91-101
    • /
    • 2012
  • 개인 유전정보 또는 대용량 DNA 저장 정보의 보호와 GMO(Genetically Modified Organism) 저작권 보호를 위하여 DNA 서열 워터마킹 연구가 필요하다. 기존 멀티미디어 데이터 워터마킹에서는 강인성 및 비가시성에 대한 성능이 우수한 DCT, DWT, FMT(Fourer-Mellin transform) 등 주파수 기반으로 설계되어졌다. 그러나 부호 영역 서열의 주파수 기반 워터마킹은 아미노산 보존성을 유지하면서 변환 및 역변환을 수행하여야 하므로, 워터마크 삽입에 대한 상당한 제약을 가진다. 따라서 본 논문에서는 변이 강인성, 아미노산 보존성 및 보안성을 가지는 부호 영역 서열의 Lifting 기반 DWT 변환 계수를 이용한 워터마킹을 제안하며, 주파수 기반 DNA 서열 워터마킹에 대한 가능성을 제기한다. 실험 결과로부터 제안한 방법이 10%의 포인트 변이와 5%의 삽입 및 삭제 변이에 대한 강인성을 가지며, 아미노산 보존성 및 보안성을 가짐을 확인하였다.

디지털 콘텐트 보호를 위한 강인한 웨이블릿 기반 로고 워터마킹 알고리즘 (A Wavelet Based Robust Logo Watermarking Algorithm for Digital Content Protection)

  • 김태중;황재호;홍충선
    • 인터넷정보학회논문지
    • /
    • 제9권1호
    • /
    • pp.33-41
    • /
    • 2008
  • 워터마킹 분야의 많은 연구 가운데 최근 JPEG2000과의 호환성, 다중해상도 분해, HVS에 기반한 시스템의 구현 등의 이점으로 웨이블릿 변환 기반 알고리즘에 관한 연구가 활발히 이루어지고 있다. 그러나 대부분 강인성 등에 중점을 두고 이론적 측면만을 지나치게 강조하여 복잡하고 실제적으로 적용하기 곤란한 면이 있다. 본 논문에서는 대용량의 많은 데이터를 대상으로 로고를 워터마크로 이용하는 강인한 워터마킹 알고리즘을 제안한다. 제안된 알고리즘은 웨이블릿 2단계 변환을 수행하며 랜덤 치환을 위해 LFSR을 채택하였으며 원영상과 랜덤 치환된 워터마크 영상을 $8{\times}8$ 블록으로 나누어 '1'의 순서로 매핑하여 워터마크를 삽입한다. 실험결과로 성공적으로 워터마크가 삽입되어 가시적으로 워터마크가 드러나지 않으며 JPEG 압축, 저주파 필터, 고주파 필터, 밝기 변화 둥의 영상 처리에 강인성이 있음을 보여 준다.

  • PDF

크로스 사이트 스크립팅(XSS) 취약점에 대한 공격과 방어 (Attacks and Defenses for Vulnerability of Cross Site Scripting)

  • 최은정;정휘찬;김승엽
    • 디지털융복합연구
    • /
    • 제13권2호
    • /
    • pp.177-183
    • /
    • 2015
  • 크로스사이트 스크립팅은 웹 애플리케이션의 취약점으로 사용자의 정보(쿠키, 세션 등)를 탈취하거나, 비정상적인 기능을 자동으로 수행하게 하거나 할 수 있다. 크로스사이트 스크립팅(XSS) 공격유형은 한 번의 HTTP 요청과 응답에서 행해지는 XSS인 반사 XSS(reflect XSS)와 페이로드를 전송한 뒤 다수의 피해자가 해당 페이지에 접속하면 XSS 공격에 노출되는 저장 XSS(Stored XSS)로 나눌 수 있다. 그리고 크로스사이트 스크립팅 공격에 대한 방어로 사용자 입력하는 데이터에 대한 입력 값 검증, HTML 인코딩 과정에서의 출력 값에 대한 검증, 사용자가 악의적 코드를 웹 어플리케이션에 삽입하기 위한 시도를 막기 위해 위험 가능성 삽입지점 제거를 제시하였다. 본 논문에서는 이 두 가지 방법에 대한 공격방법과 절차를 제시하고 모의해킹을 수행하였다. 이를 통해 크로스사이트 스크립팅 공격에 대한 이해가 가능하고 대응책을 통해 공격에 대비할 수 있도록 하였다.

Support Vector Machine을 이용한 오디오 워터마크 디코딩 모델 개발 (Development of Audio Watermark Decoding Model Using Support Vector Machine)

  • 서예진;조상진
    • 한국음향학회지
    • /
    • 제33권6호
    • /
    • pp.400-406
    • /
    • 2014
  • 본 논문은 SVM(Support Vector Machine)을 이용하여 공격에 강인한 워터마크 디코딩 모델을 제안한다. 이 모델은 워터마크 된 신호에 대해 워터마크 삽입 과정을 역으로 수행한 후 SVM을 이용하여 워터마크를 검출한다. SVM을 생성하기 위해 먼저 4가지 워터마킹 알고리즘을 이용하여 삽입한 워터마크를 추출하여 데이터를 만들고, 이들의 BER(Bit Error Rate)을 이용하여 문턱값을 구한다. 이 후, 이 문턱값을 기준으로 훈련 집합을 만든다. 강인성 검증을 위해 워터마크 된 신호에 StirMark, SMDI, STEP2000 벤치마킹 중에서 14개의 공격을 가하였는데, 그 결과 기존의 방법보다 PSNR(Peak Signal to Noise Ratio)과 BER이 모두 개선되었다. 특히, PSNR이 10 dB 이상인 경우에는 대부분의 공격에서 1 % 이내의 BER을 갖는 우수한 성능을 보였다.

저장 한계를 극복한 효율적인 디지털 워터마크 생성 방법 연구 (A Study on Effective Digital Watermark Generation Method to Overcome Capacity Limit)

  • 김희선;조대제
    • 한국콘텐츠학회논문지
    • /
    • 제5권6호
    • /
    • pp.343-350
    • /
    • 2005
  • 기존의 디지털 워터마킹 방법에서는 주로 PN-수열을 사용하여 산출된 이진데이터를 디지털 워터마크로 사용하였다. 이 방법은 영상의 크기가 작은 경우, 제한된 크기의 원 영상에 삽입 할 수 있는 워터마크의 크기는 한계가 있다. 본 논문에서는 혼돈 함수에 의하여 산출되는 혼돈수열을 이용하여 디지털 워터마크를 생성하고, 이를 사용하는 방법을 제시하였으며, 이것이 기존의 PN-수열을 대신하여 사용할 수 있음을 보였다. 또한 워터마크로 사용될 임의의 문장을 혼돈 수열로 변환하는 방법을 제시하였다. 실험을 통하여, 임의의 문장을 디지털 워터마크로 변환하여 원본 영상에 삽입하고 이를 추출하여 다시 원래의 문장으로 복원하는 과정을 구현하였다. 본 논문에서 제시한 알고리즘은 긴 문장을 짧은 혼돈 수열로 함축하는 방법을 사용하여 기존의 방법에 비해 보다 많은 정보를 원본 영상에 숨길 수 있기 때문에, 제한된 저장 한계를 극복할 수 있었다.

  • PDF