• 제목/요약/키워드: SQL analysis

검색결과 142건 처리시간 0.031초

공개소스 PostGIS 기반 공간정보 처리 툴 킷 사용자 인터페이스 구현 (Implementation of User Interface for Geo-spatail Information Processing Toolkit using Open Source-based PostGIS)

  • 한선묵;이기원
    • 대한원격탐사학회지
    • /
    • 제25권2호
    • /
    • pp.185-192
    • /
    • 2009
  • 최근, 지공간 정보 처리와 분석을 위한 여러 가지의 공개 소스가 개발되어 다양한 응용 개발 프로젝트에 적용되고 있다. 지형공간 분야에서 공개 소스는 뷰어, 응용 프로그램 인터페이스, 개발 환경으로 제공되는 엔진 소스코드, 툴 킷 등과 같은 여러 가지 유형으로 구분된다. 본 연구에서는 간편한 다중 공간정보처리 툴 킷을 구현하기 위하여 공간 데이터베이스 엔진으로 발표된 PostgreSQL-PostGIS를 적용하였다. 이 결과는 특정 응용 분야의 질의나 분석 기능을 포함하는 응용 시스템 개발시에 적용될 수 있다. 설계 및 구현 작업은 PostgreSQL 데이터베이스에서 운영되는 OGC 라이브러리와 C 인터페이스인 LIBPQ를 이용하였다. 결론적으로 가용성, 확장성, 대용량 처리, 안정성 등의 이점에 따라 PostGIS는 다중 공간정보를 다루는 대부분의 응용 시스템 개발 시에 이용될 수 있는 중요한 대안이 될 수 있다.

Classification of HTTP Automated Software Communication Behavior Using a NoSQL Database

  • Tran, Manh Cong;Nakamura, Yasuhiro
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제5권2호
    • /
    • pp.94-99
    • /
    • 2016
  • Application layer attacks have for years posed an ever-serious threat to network security, since they always come after a technically legitimate connection has been established. In recent years, cyber criminals have turned to fully exploiting the web as a medium of communication to launch a variety of forbidden or illicit activities by spreading malicious automated software (auto-ware) such as adware, spyware, or bots. When this malicious auto-ware infects a network, it will act like a robot, mimic normal behavior of web access, and bypass the network firewall or intrusion detection system. Besides that, in a private and large network, with huge Hypertext Transfer Protocol (HTTP) traffic generated each day, communication behavior identification and classification of auto-ware is a challenge. In this paper, based on a previous study, analysis of auto-ware communication behavior, and with the addition of new features, a method for classification of HTTP auto-ware communication is proposed. For that, a Not Only Structured Query Language (NoSQL) database is applied to handle large volumes of unstructured HTTP requests captured every day. The method is tested with real HTTP traffic data collected through a proxy server of a private network, providing good results in the classification and detection of suspicious auto-ware web access.

안전한 소프트웨어 개발을 위한 정적분석 도구 시험코드 개발 (Validation Test Codes Development of Static Analysis Tool for Secure Software)

  • 방지호;하란
    • 한국통신학회논문지
    • /
    • 제38C권5호
    • /
    • pp.420-427
    • /
    • 2013
  • 최근 안전한 소프트웨어 개발을 위해 소프트웨어의 소스코드를 분석하여 보안취약점의 원인이 되는 소프트웨어 보안약점을 식별해 주는 정적분석 도구가 많이 활용되고 있다. 최적의 정적분석 도구를 선택하기 위해서는 도구가 보유한 보안약점 규칙 및 분석기능이 중요한 요소가 된다. 따라서, 본 논문은 정적분석 도구가 보유한 규칙 및 분석 성능을 평가하기 위해 개발한 시험코드를 제시하고자 한다. 시험코드는 SQL 삽입 등 43개 보안약점이 존재하는 소스코드로 정적분석 도구가 보유한 보안약점 규칙과 이를 기반으로 한 도구의 분석기능의 적절성을 평가하기 위해 사용될 수 있다.

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

빅데이터 플랫폼 환경에서의 워크로드별 암호화 알고리즘 성능 분석 (Analysis of Encryption Algorithm Performance by Workload in BigData Platform)

  • 이선주;허준범
    • 정보보호학회논문지
    • /
    • 제29권6호
    • /
    • pp.1305-1317
    • /
    • 2019
  • 공공기관 및 기업의 빅데이터 플랫폼 환경에서 데이터 보호를 위한 암호화는 필수적인 요소이나 실제 빅데이터 워크로드를 고려한 암호화 알고리즘에 대한 성능 검증 연구는 많이 진행되지 않았다. 본 논문에서는 몽고 DB(MongoDB) 환경에서 데이터와 노드를 추가하여 빅데이터의 6가지 워크로드별로 AES, ARIA, 3DES별로 성능 변화 추이를 분석하였다. 이를 통해 빅데이터 플랫폼 환경에서 각 워크로드 별 최적의 블록기반 암호 알고리즘이 무엇인지 확인하고, NoSQL 데이터베이스 벤치마크(YCSB)를 사용하여 데이터와 노드 구성환경에서 다양한 워크로드별로 테스트를 통해 MongoDB의 성능을 고려한 최적화된 아키텍처를 제안한다.

소용량 데이터베이스 처리를 위한 DBMS의 성능 비교 (Comparison of DBMS Performance for processing Small Scale Database)

  • 장시웅
    • 한국정보통신학회논문지
    • /
    • 제12권11호
    • /
    • pp.1999-2004
    • /
    • 2008
  • 대규모 용량의 데이터베이스를 처리하기 위한 상용 DBMS에 대한 성능의 비교는 벤치마크 테스트로 결과가 주어진 경우가 많은 반면, 소규모 용량의 데이터베이스를 처리하기 위한 DBMS의 성능에 대해서는 많이 알려져 있지 않다. 따라서 본 연구에서는 소규모 용량의 데이터 베이스를 처리하기 위한 상용 DBMS 및 공개용 DBMS의 성능에 대해 비교하고 분석하였다. 분석 결과, 오라클은 데이터 갱신 및 삽입에 관한 연산에서는 데이터의 안전성 보장을 위한 rollback 기능의 준비 작업이 많아 좋지 못한 성능을 보인 반면, MySQL이나 MS-SQL등의 경우에는 별다른 오버헤드가 없어 오라클에 비해 좋은 성능을 보였다.

반도체 공정의 생산성 향상을 위한 실시간 대용량 데이터의 효율적인 저장 기법 (An Efficient Storing Scheme of Real-time Large Data to improve Semiconductor Process Productivities)

  • 정원일;김환구
    • 한국산학기술학회논문지
    • /
    • 제10권11호
    • /
    • pp.3207-3212
    • /
    • 2009
  • 반도체 산업이 발전함에 따라 생산 효율을 높이기 위해 무인 자동 생산 공정이 요구되고 있다. 이러한 무인자동화 생산 관리 시스템은 생산성 향상을 위해 생산 공정에서 발생하는 대량의 실시간 데이터 분석 및 관리를 필요로 한다. 따라서 실시간으로 발생하는 대용량 데이터를 저장하기 위한 저장 관리 시스템이 요구된다. 기존의 저장 관리 시스템으로 오라클, MY-SQL, MS-SQL 등의 디스크 기반 DBMS가 있다. 하지만 기존의 디스크 기반 DBMS는 반도체 장비로부터 실시간으로 발생하는 대용량 데이터 처리에 한계가 있다. 본 논문에서는 대용량 데이터를 저비용으로 실시간 저장하기 위해 블록 단위 삽입 트랜잭션을 이용한 압축-합병 저장 기법을 제안한다. 제안 기법은 블록 단위 트랜잭션을 이용하여 실시간 데이터를 빠르게 저장하며 데이터를 압축하고 압축된 데이터를 합병하여 저장하기 때문에 보다 적은 디스크 공간을 사용하여 저장할 수 있다. 따라서 반도체 공정에서 빠르게 발생하는 대용량 데이터를 기존 DBMS보다 빠르게 저장이 가능하고 저장 공간 비용을 감소시킨다.

전문용어 정제를 위한 형태소 분석을 이용한 한의학 증상 진단 시스템 개발 (The Development of the Korean Medicine Symptom Diagnosis System Using Morphological Analysis to Refine Difficult Medical Terminology)

  • 이상백;손윤희;장현철;이규철
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권2호
    • /
    • pp.77-82
    • /
    • 2016
  • 증상 진단 시스템이라 함은 환자가 자신의 증상을 설명하고, 한의사가 증상에 맞는 질병 진단을 내리는 것을 말한다. 증상 진단 시스템을 자동화하기 위해서는 환자의 자연어로 이루어진 증상 설명에 대한 분석이 필요하다. 이에 본 논문에서는 증상 설명에 대하여 형태소 분석을 수행하고 한의학 병증 데이터와 비교하여 적합한 진단을 내리도록 증상 진단 시스템을 개발하였다. 증상 진단 검색의 효율을 높이기 위해서 Document형 NoSQL인 MongoDB를 이용하여 각각의 병증 데이터를 하나의 도큐먼트로 하고, 그 안의 필드값을 유연하게 관리할 수 있도록 데이터베이스를 구축하였다. 또한, 진단의 근거가 되는 한의사의 병증 설명과 환자의 증상 설명에서 사용되는 용어의 차이를 줄일 수 있도록 환자의 증상 설명을 축적하고 정제하여 일반인에게 친숙한 단어로 구성된 설명데이터를 제공할 수 있게 하였다.

CERES: 백본망 로그 기반 대화형 웹 분석 시스템 (CERES: A Log-based, Interactive Web Analytics System for Backbone Networks)

  • 서일현;정연돈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권10호
    • /
    • pp.651-657
    • /
    • 2015
  • 웹 응용 프로그램의 급격한 증가와 함께 웹 트래픽이 증가하고 있다. 웹에 대한 요청과 그 응답에 대한 기록인 웹 로그 또한 폭발적으로 증가하고 있다. 웹 로그로부터 가치 있는 정보를 취득하기 위해서는 매우 큰 용량의 데이터를 효과적이고 다양한 방법으로 다룰 수 있는 시스템이 필요하다. 본 논문에서는 백본망 로그 기반 대화형 웹 분석 시스템인 CERES를 소개한다. 기존의 웹 분석 시스템들과 달리, CERES는 하나의 웹 서버에 대한 분석이 아닌 백본망에서 생성되는 모든 웹 로그의 분석을 목적으로 한다. CERES는 하둡 분산 파일 시스템 (HDFS)을 저장소로 하는 서버 클러스터에 배포되며, 대용량의 로그에 기반한 분석을 분산 처리를 통해 지원한다. CERES는 백본망에서 생성된 웹 로그 데이터를 관계형 데이터로 변환하고, 사용자는 변환된 관계형 데이터에 대해 SQL을 이용하여 질의를 요청할 수 있다. 내부적으로 CERES는 웹 로그의 통계적 분석에 대한 질의를 효과적으로 처리하기 위해 데이터 큐브를 활용한다. 또한, CERES는 다양한 통계적 분석을 지원하기 위해 대화형 SQL 질의 인터페이스를 포함한 세 가지 형태의 웹 인터페이스를 제공하며 사용자는 이를 통해 쉽게 질의를 요청할 수 있고 그 결과를 시각적으로 확인할 수 있다.