• 제목/요약/키워드: Hadoop security

검색결과 35건 처리시간 0.033초

Hadoop Ecosystem 기반 대용량 보안로그 수집 시스템 설계 및 구축 (Design and implementation of a Large-Scale Security Log Collection System based on Hadoop Ecosystem)

  • 이종윤;이봉환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.461-463
    • /
    • 2014
  • 네트워크 공격이 다양해지고 빈번하게 발생함에 따라 이에 따라 해킹 공격의 유형을 파악하기 위해 다양한 보안 솔루션이 생겨났다. 그 중 하나인 통합보안관리시스템은 다양한 로그 관리와 분석을 통해 보안 정책을 세워 차후에 있을 공격에 대비할 수 있지만 기존 통합보안관리시스템은 대부분 관계형 데이터베이스의 사용으로 급격히 증가하는 데이터를 감당하지 못한다. 많은 정보를 가지는 로그데이터의 유실 방지 및 시스템 저하를 막기 위해 대용량의 로그 데이터를 처리하는 방식이 필요해짐에 따라 분산처리에 특화되어 있는 하둡 에코시스템을 이용하여 늘어나는 데이터에 따라 유연하게 대처할 수 있고 기존 NoSQL 로그 저장방식에서 나아가 로그 저장단계에서 정규화를 사용하여 처리, 저장 능력을 향상시켜 실시간 처리 및 저장, 확장성이 뛰어난 하둡 기반의 로그 수집 시스템을 제안하고자 한다.

클라우드 기반의 공개의료 빅데이터 분석을 통한 삶의 질에 영향을 미치는 요인분석 (An Analysis of Factors Affecting Quality of Life through the Analysis of Public Health Big Data)

  • 김민경;조영복
    • 한국정보통신학회논문지
    • /
    • 제22권6호
    • /
    • pp.835-841
    • /
    • 2018
  • 본 연구에서 공개 의료 빅데이터 분석을 지역사회건강조사 2012~2014년 자료를 이용해 개인의 건강관련 삶의 질 차이와 삶의 질에 영향을 미치는 요인을 분석하였다. 제안논문에서는 공개의료 빅데이터 분석을 위해 Hadoop 기반의 Spack을 이용해 병렬처리 지원을 위한 클라우드 메니저를 구성하고 개인의 삶의 질에 영향을 미치는 요인을 하드웨어의 제약없이 빠르게 분석하였다. 건강관련 삶의 질에 미치는 영향을 개인적 특성과 지역사회 특성으로 구분하여 단계별 다수준 회귀분석(ANOVA, t-test)을 실시하였다. 연구결과 개인별 삶의 질에 영향을 미치는 요인으로는 남자 평균 73.8점, 여자 평균 70.0점으로 남자가 여자보다 건강관련 삶의 질이 높은 것으로 나타났다.

빅데이터 환경에서 미국 커버로스 인증 적용 정책 (Kerberos Authentication Deployment Policy of US in Big data Environment)

  • 홍진근
    • 디지털융복합연구
    • /
    • 제11권11호
    • /
    • pp.435-441
    • /
    • 2013
  • 본 논문은 빅데이터 서비스를 위한 커버로스 보안 인증 방안과 정책에 대해 살펴보았다. 빅데이터 서비스 환경에서 하둡 기반의 보안기술에 대한 문제점에 대해 분석하였다. 또한 커버로스 보안 인증체계의 적용 문제를 고려할 때 미국의 상용 분야에서 발생하고 있는 주요 내용을 중심으로 적용 정책을 분석하였다. 커버로스 정책 적용과 관련하여, 미국은 크로스플랫폼 상호운용성 지원, 자동화된 커버로스 설정, 통합 이슈, OTP인증, 싱글사인온, ID 등 다양한 적용에 대한 연구가 이루어지고 있다.

Hadoop기반의 공개의료정보 빅 데이터 분석을 통한 한국여성암 검진 요인분석 서비스 (Analysis of Factors for Korean Women's Cancer Screening through Hadoop-Based Public Medical Information Big Data Analysis)

  • 박민희;조영복;김소영;박종배;박종혁
    • 한국정보통신학회논문지
    • /
    • 제22권10호
    • /
    • pp.1277-1286
    • /
    • 2018
  • 본 논문에서는 공개의료정보 빅데이터 분석을 위해 클라우드 환경에서 아파치 하둡 기반의 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하고 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함했다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 빅데이터 분석을 위해 빈도분석과 카이제곱검정을 수행하고 유의 수준 0.05를 기준으로 단변량 로지스틱 회귀분석과 모델별 의미 있는 변수들의 다변량 로지스틱 회귀분석을 시행 하였다. (p<0.05) 의미 있는 변수들을 모델별로 나누어 다변량 로지스틱 회귀 분석한 결과 Model 3으로 갈수록 적합도가 높아졌다.

TPM을 이용한 하둡 보안의 강화 (Improving Hadoop security using TPM)

  • 박승제;김희열
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
    • /
    • pp.233-235
    • /
    • 2012
  • 하둡 프레임워크는 현재 오픈소스 기반의 클라우드 인프라의 사실상 표준이다. 최초 하둡은 보안요소를 고려하지 않고 설계 되었지만 현재는 강력한 인증프로토콜인 커버로스를 사용하는 등의 보안 기능이 추가되었다. 하둡 보안은 꽤 안전해 보이지만, 클라우드 컴퓨팅의 범용적인 사용의 가장 중요한 요소는 보안인 것을 감안해보면 클라우드 제공자는 기존보다 더욱 강력한 보안 레벨을 고객에게 보장하여야 한다. 본 논문에서는 하둡 보안의 한계점을 제시하고 하드웨어 보안칩 TPM(Trusted Platform Module)을 이용한 해결방안을 제시한다.

빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및 구현 (Real time predictive analytic system design and implementation using Bigdata-log)

  • 이상준;이동훈
    • 정보보호학회논문지
    • /
    • 제25권6호
    • /
    • pp.1399-1410
    • /
    • 2015
  • 기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터 분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고 있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량 로그에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을 탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다.

맵리듀스 기반 대용량 개인정보 분산 암호화 처리 시스템 (The Distributed Encryption Processing System for Large Capacity Personal Information based on MapReduce)

  • 김현욱;박성은;어성율
    • 한국정보통신학회논문지
    • /
    • 제18권3호
    • /
    • pp.576-585
    • /
    • 2014
  • 대량의 개인정보가 수집되어 활용됨에 따라 개인정보 유출 등의 보안 문제가 발생하고 있다. 이에 최근에는 수집된 개인정보를 암호화 하여 저장하고 활용하는 방법이 사용되고 있다. 본 논문에서는 기존에 수집된 대량의 개인정보를 단시간에 암호화하기 위한 방법으로 맵리듀스 기반의 분산 암호화 처리 방법을 제안하고, 시스템을 설계하고 구현하였다. 또한 맵리듀스 기반의 분산 암호화 처리 방법의 성능을 검증을 위해 테스트 환경을 구축하여 비교 실험을 진행하였다. 실험 결과 토큰 서버의 암호화 처리 시간이 순차처리 대비 평균 시간 효율이 약 15.3% 정도 향상 하였으며, 병렬처리대비 약 3.13%정도 향상되는 것을 확인 하였다.

로그 분석 처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법 (MapReduce-Based Partitioner Big Data Analysis Scheme for Processing Rate of Log Analysis)

  • 이협건;김영운;박지용;이진우
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.593-600
    • /
    • 2018
  • 인터넷과 스마트기기의 발달로 인해 소셜미디어 등 다양한 미디어의 접근의 용이해짐에 따라 많은 양의 빅데이터들이 생성되고 있다. 특히 다양한 인터넷 서비스를 제공하는 기업들은 고객 성향 및 패턴, 보안성 강화를 위해 맵리듀스 기반 빅데이터 분석 기법들을 활용하여 빅데이터 분석하고 있다. 그러나 맵리듀스는 리듀스 단계에서 생성되는 리듀서 객체의 수를 한 개로 정의하고 있어, 빅데이터 분석할 때 처리될 많은 데이터들이 하나의 리듀서 객체에 집중된다. 이로 인해 리듀서 객체는 병목현상이 발생으로 빅데이터 분석 처리율이 감소한다. 이에 본 논문에서는 로그 분석처리율 향상을 위한 맵리듀스 기반 분할 빅데이터 분석 기법을 제안한다. 제안한 기법은 리듀서 분할 단계와 분석 결과병합 단계로 구분하며 리듀서 객체의 수를 유동적으로 생성하여 병목현상을 감소시켜 빅데이터 처리율을 향상시킨다.

하둡 에코 시스템을 이용한 보안 로그 수집 및 분석 (Security Log Collection and Analysis by Utilizing Hadoop Eco System)

  • 김두회;신동규;신동일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.194-196
    • /
    • 2015
  • 시스템에 이상 징후가 발생하거나 해킹을 당했을 때, 전문가들은 가장 먼저 로그 파일을 확인한다. 이처럼 로그파일을 관리하고 분석하는 것은 시스템을 관리 하는 것에 있어서 필수불가결하다. 하지만 보안을 담당하는 장비에서 발생하는 로그들은 저장 공간의 한계 때문에 일부만 저장되었다가 사라지거나 HDD가 없는 보안장비들은 로그를 남길 수 없다. 따라서 이러한 단점을 해결하기 위해 본 논문에서는 보안 로그 수집과 분석에 하둡 에코 시스템을 접목시켜 방대한 로그를 저장하고, 이를 R프로그래밍으로 분석 할 수 있는 시스템 모델을 제안한다. 제안한 시스템 모델을 구현하기 위한 아키텍처에 대해서도 상세한 결과를 서술하였다.

보안 감시 서비스를 위한 센서 클라우드 시스템 설계 및 구현 (Design and Implementation of Sensor Cloud System for Security and Surveillance Service)

  • 심재석;최영호;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.137-138
    • /
    • 2012
  • 최근 다양한 센서를 활용한 보안 감시 시스템의 수요가 증가하면서 센서 데이터의 효율적인 관리 또한 중요해지고 있다. 본 논문에서는 높은 확장성 대비 낮은 비용이 장점인 클라우드 환경을 적용한 센서 클라우드 시스템을 설계한다. 본 시스템에서는 옥내에 분산되어 있는 센서 네트워크가 침입자를 감지하여 클라우드 게이트웨이를 통해 센서 클라우드로 센서 데이터를 전달한다. 전달된 센서 데이터는 Apache Hadoop 을 기반으로 하는 데이터 서버에 분산 저장된다. 또한 본 시스템은 센서 데이터를 실시간으로 파악하기 위한 시스템 인터페이스를 포함한다.