• 제목/요약/키워드: 로그기반

검색결과 956건 처리시간 0.023초

Hadoop과 Spark를 이용한 실시간 Hybrid IDS 로그 분석 시스템에 대한 설계 (Design of Hybrid IDS(Intrusion Detection System) Log Analysis System based on Hadoop and Spark)

  • 유지훈;윤호상;신동일;신동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.217-219
    • /
    • 2017
  • 나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

지역특화산업의 정보센터 구축전략에 관한 비교연구 (A Comparative Study on Building Strategies for Industry Information Center of the for Locally-focused Industries)

  • 고일상;전건수;조나미
    • 한국정보기술응용학회:학술대회논문집
    • /
    • 한국정보기술응용학회 2002년도 추계공동학술대회 정보환경 변화에 따른 신정보기술 패러다임
    • /
    • pp.108-117
    • /
    • 2002
  • 본 연구에서는 지역진흥기반구축사업을 추진중인 광주광산업, 경남기계산업, 대구섬유산업, 부산 신발산업을 대상으로 정보지원센터, 전자카달로그 구축사업 사례를 비교하고 그 차이점을 분석하여 본다. 이론적 고찰과 문헌연구를 통해 사례연구모델을 제시하고 지역특화산업과 정보지원센터, 전자카달로그 대한 자료를 수집하여, 본 논문에서 제시된 사례연구 모델에 입력하고 지역특화산업과 정보지원센터, 전자 카달로그 구축사업과의 연계성을 알아본다. 본 논문은 국가에서 정책적으로 추진 중인 지역진흥기반구축사업을 배경으로 하고 있는 광주광산업, 경남기계산업, 대구섬유산업, 부산신발산업을 대상으로 정보지원센터와 전자카달로그 사업을 비교하여 차이점을 분석한 것으로 현재 사업을 주관하고 있는 사업추진기관에게 좋은 자료가 될 것이며, 특화산업 정보지원센터나 전자카달로그를 이용하여 전자거래를 하고자 하는 기업이나 사용자에게도 좋은 자료가 될 것이다.

  • PDF

벅데이터 로그파일 처리 분석을 통한 성능 개선 방안 (Improving Performance based on Processing Analysis of Big data log file)

  • 이재한;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.539-541
    • /
    • 2016
  • 최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

지역특화산업의 정보센터 구축전략에 관한 비교연구 (A Comparative Study on Building Strategies for Industry Information Center of the for Locally -focused Industries)

  • 고일상;전건수;조나미
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2002년도 추계공동학술대회
    • /
    • pp.108-117
    • /
    • 2002
  • 본 연구에서는 지역진흥기반구축사업을 추진중인 광주광산업, 경남기계산업, 대구섬유산업, 부산 신발산업을 대상으로 정보지원센터, 전자카달로그 구축사업 사례를 비교하고 그 차이점을 분석하여 본다. 이론적 고찰과 문헌연구를 통해 사례연구모델을 제시하고 지역특화산업과 정보지원센터, 전자카달로그 대한 자료를 수집하여, 본 논문에서 제시된 사례연구 모델에 입력하고 지역특화산업과 정보지원센터, 전자카달로그 구축사업과의 연계성을 알아본다. 본 논문은 국가에서 정책적으로 추진 중인 지역진홍기반구축사업을 배경으로 하고 있는 광주광산업, 경남기계산업, 대구섬유산업, 부산신발산업을 대상으로 정보지원센터와 전자카달로그 사업을 비교하여 차이점을 분석한 것으로 현재 사업을 주관하고 있는 사업추진기관에게 좋은 자료가 될 것이며, 특화산업 정보지원센터나 전자카달로그를 이용하여 전자거래를 하고자 하는 기업이나 사용자에게도 좋은 자료가 될 것이다.

  • PDF

소규모 회사 홍보용 모바일앱 카탈로그의 설계 및 구현 (Design and Implementation of a Mobile App Catalog for Publicizing Small Company)

  • 안성우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 추계학술대회
    • /
    • pp.320-323
    • /
    • 2013
  • 기업 홍보를 위해 사용되는 인쇄 기반의 카탈로그는 오프라인의 한계로 비용대비 효과를 보지 못하는 경우가 많기 때문에 최근에는 웹 기술을 이용해 고객에게 실시간으로 회사 정보를 제공하는 전자 카탈로그가 많이 사용되고 있다. 그러나 벤처기업, 소상공인 등의 소규모 기업 대부분은 전자 카탈로그를 구축하고 유지보수를 하기위해 인력과 비용을 지출하기가 힘들다. 이러한 문제를 해결하기 위해서 본 논문에서는 스마트폰 기반의 모바일앱 카탈로그 시스템을 설계하고 구현하였다. 구현된 시스템을 이용하여 소규모 회사에서는 적은 비용으로 쉽고 빠르게 카탈로그를 구축한 후 스마트폰에 설치함으로써 스마트폰만 있으면 언제 어디서든 고객에게 회사 및 제품을 소개할 수 있다. 또한, 구현된 시스템은 카탈로그 정보관리 기능을 제공함으로써 회사의 변경사항을 실시간으로 유지보수를 할 수 있는 장점이 있다.

  • PDF

모바일 웹 서버 로그 분석기 구현 (Implementation of Mobile Web Server Log Analyzer)

  • 박홍진
    • 한국산업정보학회논문지
    • /
    • 제11권2호
    • /
    • pp.63-68
    • /
    • 2006
  • 웹 서버가 이상이 발생되면 로그 파일은 에러를 찾는 매우 중요한 정보이다. 웹 서버 분석기는 웹 서버의 로그 정보를 분석함으로써 웹 서비스를 향상시키기 위해 중요한 역할을 수행한다. 그러나 대부분의 기존 웹 서버 분석기는 유선 기반이기 때문에 시공간적 제약성과 이동성에 있어서 문제점이 있다. 본 논문은 기존 유선 중심의 웹 서버 로그 분석기의 문제점을 해결하기 위해 모바일 기반에 웹 서버 분석기를 구현한다. 웹 서버 분석기를 모바일로 구현할 경우, 언제 어디서든지 쉽게 웹 서버 로그정보를 확인할 수 있을 뿐만 아니라 실시간으로 로그파일에 접근하여 최근의 정보를 바로 확인이 가능하다.

  • PDF

An Accurate Log Object Recognition Technique

  • Jiho, Ju;Byungchul, Tak
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권2호
    • /
    • pp.89-97
    • /
    • 2023
  • 본 논문에서는 로그 분석을 어렵게 하는 요인을 제안하고 이후 분석에 도움을 주는 로그 내 다양한 객체 인식 기법을 설계한다. 오늘날의 IT 시스템에서 로그는 다수의 고급 AI 분석 기술의 핵심적인 원천 데이터이다. 로그에는 유용한 정보가 많이 포함되어 있지만 로그는 본질적으로 반구조화되어 있기 때문에 로그 내 유용 정보에 기술을 직접적으로 적용시키기 어렵다. 로그 분석을 방해하는 요소는 file path, identifier, json 등 다양한 객체이다. 이러한 객체에 대한 BERT기반의 패턴 인식 알고리즘을 설계하고 객체 인식을 수행한다. 본 실험에서 정의한 패턴 인식 알고리즘은 객체의 정의, GROK 패턴, 그리고 정규 표현식에 기반한다. 기존에 알려진 패턴과 정규 표현식을 기반으로 한 간단한 패턴 매칭이 효과적이지 않다는 것을 확인할 수 있었다. 그 결과 기존 패턴과 정규 표현식만을 사용하는 것보다 훨씬 나은 정확도를 보여준다. 또한, BERT 모델의 경우 인식 객체 이외의 객체를 분류하는 정확도가 99%에 달하는 것을 확인할 수 있다.

룰 기반 웹 IDS 시스템을 위한 효율적인 웹 로그 전처리 기법 설계 및 구현 (Design and Implementation of Advanced Web Log Preprocess Algorithm for Rule based Web IDS)

  • 이형우
    • 인터넷정보학회논문지
    • /
    • 제9권5호
    • /
    • pp.23-34
    • /
    • 2008
  • 웹 기반 서비스가 다양한 형태로 제공되면서 웹 서비스 사용자 수는 꾸준히 증가하고 있다. 그러나 웹 서버에 대한 SQL Injection, Parameter Injection 및 DoS 등의 공격 등의 취약점이 발견되고 있다. 이와 같은 형태의 웹 공격에 능동적으로 대응하기 위해 현재 웹 IDS 시스템을 구축하여 룰 기반 대응 시스템을 구축하고 있으나, 웹 서버에서 생성되는 로그 정보에 대한 전처리 과정 없이 룰 기반 IDS 시스템이 구동되기 때문에 효율적인 웹 공격 대응체계가 구축되지 못하고 있다. 이에 본 연구에서는 웹 로그 정보를 웹 IDS 기반 공격 탐지 시스템의 룰 비교 특성에 적합한 형태로 전처리하는 알고리즘을 제시하고 이를 구현하였다. 제안한 알고리즘은 웹 로그 정보에 대한 필드 단위 파싱 및 중복 문자열 처리 과정을 고속으로 수행하여 대용량의 로그 처리시 성능을 향상시켜 개선된 웹 IDS 시스템 구축이 가능하다.

  • PDF

플래시 메모리 기반의 DBMS를 위한 동적 블록 할당에 기반한 효율적인 로깅 방법 (An Efficient Logging Scheme based on Dynamic Block Allocation for Flash Memory-based DBMS)

  • 하지훈;이기용;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권5호
    • /
    • pp.374-385
    • /
    • 2009
  • 플래시 메모리는 비휘발성이면서도 작고 가벼우며, 전력 소모가 적고 충격에 강하다는 장점 등으로 인해 휴대 기기를 포함한 다양한 기기의 저장매체로 사용되고 있다. 그러나 플래시 메모리는 하드디스크와는 달리 제자리 갱신이 불가능하고, 읽기 연산에 비해 쓰기 및 지우기 연산이 매우 느리기 때문에, 기존의 하드 디스크를 기반으로 설계된 데이터베이스 시스템은 플래시 메모리 상에서 최적의 성능을 내기 어렵다. 플래시 메모리 상에서 데이터베이스의 성능을 극대화하기 위해, 어떤 데이터에 변경이 발생하면 원래 위치의 데이터를 덮어쓰는 대신, 해당 데이터의 변경 사항에 대한 로그만을 다른 위치에 기록하는 방식들이 제안되었다. 본 논문에서는 플래시 메모리 기반의 데이터베이스 시스템을 위한 효율적인 로깅 방법을 제안한다. 제안하는 방법은 기존 방법들과 달리, 로그만을 저장하는 로그 블록들을 별도로 두고 데이터의 변경에 따라 발생하는 로그를 로그 블록들에 고르게 분포시킨다. 이를 통해 제안하는 방법은 페이지 쓰기 및 블록 지우기 연산의 횟수를 크게 감소시킬 수 있다. 합성 데이터와 TPC-C 벤치마크 데이터를 사용한 실험을 통해, 제안하는 방법은 기존의 방법에 비해 좋은 성능을 나타냄을 보였다.

웹 사용 마이닝을 위한 퍼지 카테고리 기반의 트랜잭션 분석 기법 (Fuzzy category based transaction analysis for web usage mining)

  • 이시헌;이지형
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2004년도 춘계학술대회 학술발표 논문집 제14권 제1호
    • /
    • pp.341-344
    • /
    • 2004
  • 웹 사용 마이닝(Web usage mining)은 웹 로그 파일(web log file)이나 웹 사용 데이터(Web usage data)에서 의미 있는 정보를 찾아내는 연구 분야이다. 웹 사용 마이닝에서 일반적으로 많이 사용하는 웹 로그 파일은 사용자들이 참조한 페이지의 단순한 리스트들이다. 따라서 단순히 웹 로그 파일만을 이용하는 방법만으로는 사용자가 참조했던 페이지의 내용을 반영하여 분석하는데에는 한계가 있다. 이러한 점을 개선하고자 본 논문에서는 페이지 위주가 아닌 웹 페이지가 포함하고 있는 내용(아이템)을 고려하는 새로운 퍼지 카테고리 기반의 웹 사용 마이닝 기법을 제시한다. 또한 사용자를 잘 파악하기 위해서 시간에 따라 관심의 변화를 파악하는 방법을 제시한다.

  • PDF