• 제목/요약/키워드: kafka

검색결과 34건 처리시간 0.028초

아파치 카프카의 메시지 지연시간 기반 로드 쉐딩 메커니즘 (Message Latency-based Load Shedding Mechanism in Apache Kafka)

  • 김하진;방지원;손시운;최미정;문양세
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.573-576
    • /
    • 2018
  • 아파치 카프카(Apache Kafka)는 데이터 스트림을 실시간 전달하는 분산 메시지 큐잉 플랫폼이다. 카프카는 대다수의 실시간 처리 응용에 사용되는데, 흔히 데이터 스트림의 발생지와 실시간 처리 시스템 사이(입력) 또는 실시간 처리 시스템과 처리 결과의 목적지 사이(출력)에 배치된다. 분산 기술을 도입한 카프카는 다른 메시지 큐잉 기술에 비해 대용량 데이터 스트림을 더욱 빠르게 전달 할 수 있다는 장점을 갖는다. 하지만, 카프카에 적재되는 데이터 스트림의 양과 실시간 처리 응용의 수가 증가할수록 메시지 지연시간은 매우 높아질 수 밖에 없다. 본 논문은 이러한 카프카의 메시지 지연 문제를 해결하고자 카프카의 로드 쉐딩 엔진을 제안한다. 로드 쉐딩의 세 가지 필수적인 결정에 따라, 제안하는 로드 쉐딩 엔진은 카프카의 프로뷰서에서 지연시간이 기준치를 초과할 경우 일부 메시지 전송을 제한하여 지연시간을 줄인다. 실제 실시간 처리 응용으로 실험한 결과, 단일/다중 데이터 스트리 모두 로드 쉐딩이 바르게 작동하여 지연시간이 지속적으로 증가하지 않고 오르내림이 반복되는 추세를 보였다. 본 연구는 데이터 스트림의 입출력을 카프카로 관리하는 실시간 처리 응용에 로드 쉐딩 기법을 적용한 첫 번째 시도로서, 앞으로 데이터 스트림 처리에 사용될 의미 있는 연구라 사료된다.

소수자 문학과 문학교육의 과제 (Deleuze and Guattari's Death, the Minor Literature and the Minor Philosophy of Education)

  • 윤승리
    • 한국교육논총
    • /
    • 제40권3호
    • /
    • pp.39-65
    • /
    • 2019
  • 생성의 입장에서 바라보는 죽음은 소수 교육철학의 형성에 기여한다. 소수 문학에 대한 탐구는 이 관계를 확고하게 해준다. 들뢰즈와 가타리의 소수 문학이란 소수 언어로 쓰인 문학을 말하는 것이 아니라 오히려 소수자들이 다수언어로 만들어내는 문학을 말한다. 그들은 카프카의 작품들을 그 전형으로 내세운다. 카프카의 작품들은 궁극적으로 이 생성(devenir)으로서의 죽음을 말한다. 죽음과 소수 문학은 강도(intensité)라는 이론적 도구를 공유함으로써 서로를 전제하는 것으로 파악된다. 소수 교육철학은 이런 주장을 좇아 그 가능성이 제기된다. 이는 잘 포장된 상품으로서의 지식을 전달하는 일에만 만족하는 현대 교육철학자들의 정체성에 의문을 제기하고, 특정한 방식으로만 철학자들을 독해하도록 강요하는 주류 교육철학에 맞선다. 우리는 이 가능성을 정동(affect)으로서의 언어에 입각한 교육활동을 통해 제기해 볼 수 있다.

  • PDF

대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템 (A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data)

  • 손시운;김다솔;문양세;최형진
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.58-68
    • /
    • 2018
  • 분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

실시간 데이터 처리를 위한 개방형 데이터 프레임워크 적용 방안 (Application Of Open Data Framework For Real-Time Data Processing)

  • 박순호;김영길
    • 한국정보통신학회논문지
    • /
    • 제23권10호
    • /
    • pp.1179-1187
    • /
    • 2019
  • 오늘날의 기술 환경에서 대다수의 빅 데이터 기반 애플리케이션 및 솔루션은 스트리밍 데이터의 실시간 처리를 기반으로 한다. 빅 데이터 스트림의 실시간 처리 및 분석은 빅 데이터 기반 애플리케이션 및 솔루션 개발에서 중요한 역할을 한다. 특히 해사 분야 데이터 처리 환경에서도 데이터의 폭발적 증대에 따른 대용량 실시간 데이터를 빠르게 처리 및 분석할 수 있는 기술 개발의 필요성이 가속화되고 있다. 따라서 본 논문에서는 다양한 빅 데이터 처리를 위한 오픈소스 기술 중에 적합한 오픈소스로 NiFi, Kafka, Druid의 특징을 분석하여 한국형 e-Navigation 서비스에서 해사 분야 서비스 분석에 필요한 외부 연계 필요 정보들을 상시 최신 정보로 제공할 수 있도록 실시간 데이터 처리를 위한 개방형 데이터 프레임워크 기술 적용의 기초를 마련하고자 한다.

Hadoop과 Spark를 이용한 실시간 Hybrid IDS 로그 분석 시스템에 대한 설계 (Design of Hybrid IDS(Intrusion Detection System) Log Analysis System based on Hadoop and Spark)

  • 유지훈;윤호상;신동일;신동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.217-219
    • /
    • 2017
  • 나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

아파치 카프카를 활용한 블랙박스 영상에서의 차량 번호판 인식 방법 (License plate recognition technique on black box using Apache Kafka)

  • 정상원;정승원;황인준;정창성
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.87-89
    • /
    • 2017
  • 차량의 블랙박스와 CCTV, 드론 등 다양한 채널에서 촬영된 영상의 증가로, 차량 및 교통 상황과 관련된 데이터의 양 또한 폭발적으로 증가하고 있다. 본 연구에서는 이러한 데이터들의 고속 처리를 위해, 실시간 메시지 분산처리 시스템인 아파치 카프카를 활용하여 블랙박스 영상의 프레임을 여러 노드에 분배하였다. 또한, 각각의 노드에 들어온 블랙박스 영상의 프레임을 입력으로 하여, 영상처리 기법을 통한 차량 번호판의 지역화와 문자 분할 및 이를 인식하기 위한 연구를 수행하였다.

Cataclysmic Variables as Supernova Ia Progenitors

  • Kafka, Stella
    • Journal of Astronomy and Space Sciences
    • /
    • 제29권2호
    • /
    • pp.163-167
    • /
    • 2012
  • Although the identification of the progenitors of type Ia supernovae (SNeIa) remains controversial, it is generally accepted that they originate from binary star systems in which at least one component is a carbon-oxygen white dwarf (WD); those systems are grouped under the wide umbrella of cataclysmic variables. Current theories for SNeIa progenitors hold that, either via Roche lobe overflow of the companion or via a wind, the WD accumulates hydrogen or helium rich material which is then burned to C and O onto the WD's surface. However, the specifics of this scenario are far from being understood or defined, allowing for a wealth of theories fighting for attention and a dearth of observations to support them. I discuss the latest attempts to identify and study those controversial SNeIa progenitors. I also introduce the most promising progenitor in hand and I present observational diagnostics that can reveal more members of the category.

대량의 트랜잭션을 처리하는 블록체인을 위한 분산처리 시스템 (Distributed processing system for blockchain processing a large number of transactions)

  • 고혁준;한성수;정창성
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.65-67
    • /
    • 2019
  • 최근 비트코인(Bitcoin)과 이더리움(Etherium)과 같은 퍼블릭 블록체인(Public Blockchain) 사용자의 급격한 증가로 인하여 블록체인 지갑 사용자가 늘어나고 있다. 또한, 암호화폐 거래소의 거래량이 증가와 이로 인한 지갑의 잔액 조회와 코인 이체를 위한 트랜잭션이 빈번하게 이루어 지고 있다. 한편, 최신의 잔액 조회와 빠른 이체를 위하여 마이닝 풀(Mining Pool)에서 사용되는 노드(Node)를 사용하는 것 같이 트래픽이 일부 노드에 집중되는 현상이 발생하여 시스템의 성능이 저하되는 문제가 있다. 이러한 문제를 해결하기 위하여 본 연구에서는 아파치 카프카(Apache Kafka)를 이용하여 트래픽 분산처리를 통한 효율적인 시스템을 제안한다. 또한, 시스템의 구조 설계 및 상세 모듈 설계를 제안한다. 제안 시스템은 기존 블록체인 시스템과의 연계가 가능하며, 기존 시스템의 변경 없이 구축할 수 있다. 또한, 주키퍼(ZooKeeper)의 분산처리를 통해 고성능과 가용성 및 안정성을 확보할 수 있다.

압축 방식에 따른 분산 메시징 시스템 성능 분석 (Performance Analysis of Distributed Messaging System by Compression Method)

  • 황윤영;김수진;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.524-527
    • /
    • 2021
  • 인터넷 서비스의 발전으로 프로젝트의 규모가 커짐에 따라 발생하는 문제를 해결하기 위해 프로젝트의 구조가 Monolith 구조에서 Micro Service 구조로 변하는 중이다. Micro Service 구조는 각각 독립된 데이터베이스를 가지기 때문에 각 서비스들 간에 데이터를 공유하고 관리하는 것에 어려움이 있다. Apache Kafka와 같은 분산 메시징 시스템은 여러 개로 분산된 서비스 간에 메시지를 전송 및 수신하여 데이터의 통신과 교환을 가능하게 한다. 본 논문에서는 분산 메시징 시스템에서 지원하는 압축 방식 별로 성능을 측정하고 분석하고자 한다.

The Concept of Postmodernism

  • Le Huy Bac, A.
    • 수완나부미
    • /
    • 제4권2호
    • /
    • pp.17-32
    • /
    • 2012
  • This study explores the concept of postmodernism in literature. There are many ideas which have conflicted with each other, but now postmodernism is real concept. We cannot deny. By researching papers of Jean-François Lyotard, Jean Baudrillard, Jacques Derrida, Michel Foucault, Julia Kristeva, Roland Barthes, Ihab Hassan etc. we find out many characteristics of postmodernism. From that, we propose a conceptual understanding of postmodern literature as follows: Starting from the late 1910s with the poetry of Dadaism (1916), Franz Kafka's prose (Metamorphosis 1915) and drama by Samuel Beckett (Waiting for Godot 1953), postmodern literature coexists with modern literature and is a thriving form from 1960 on. Postmodernism is opposed to modernism in nature in that it accepts nothingness, chaos, games and intertextuality. It tries to solve some difficult problems of modernism making use of science to free people from a life of darkness and dogma. Postmodernism is associated with the information technology revolution, an economic, scientific and technological boom and rapid urbanization.

  • PDF