• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.573-576
• /
• 2018

아파치 카프카(Apache Kafka)는 데이터 스트림을 실시간 전달하는 분산 메시지 큐잉 플랫폼이다. 카프카는 대다수의 실시간 처리 응용에 사용되는데, 흔히 데이터 스트림의 발생지와 실시간 처리 시스템 사이(입력) 또는 실시간 처리 시스템과 처리 결과의 목적지 사이(출력)에 배치된다. 분산 기술을 도입한 카프카는 다른 메시지 큐잉 기술에 비해 대용량 데이터 스트림을 더욱 빠르게 전달 할 수 있다는 장점을 갖는다. 하지만, 카프카에 적재되는 데이터 스트림의 양과 실시간 처리 응용의 수가 증가할수록 메시지 지연시간은 매우 높아질 수 밖에 없다. 본 논문은 이러한 카프카의 메시지 지연 문제를 해결하고자 카프카의 로드 쉐딩 엔진을 제안한다. 로드 쉐딩의 세 가지 필수적인 결정에 따라, 제안하는 로드 쉐딩 엔진은 카프카의 프로뷰서에서 지연시간이 기준치를 초과할 경우 일부 메시지 전송을 제한하여 지연시간을 줄인다. 실제 실시간 처리 응용으로 실험한 결과, 단일/다중 데이터 스트리 모두 로드 쉐딩이 바르게 작동하여 지연시간이 지속적으로 증가하지 않고 오르내림이 반복되는 추세를 보였다. 본 연구는 데이터 스트림의 입출력을 카프카로 관리하는 실시간 처리 응용에 로드 쉐딩 기법을 적용한 첫 번째 시도로서, 앞으로 데이터 스트림 처리에 사용될 의미 있는 연구라 사료된다.

• Korean Educational Research Journal
• /
• v.40 no.3
• /
• pp.39-65
• /
• 2019

This essay examines the relationship between death and the minor literature and the minor philosophy of education. Deleuze and Guattari conceive death as the source of question and the problem. Death overcomes Freud's death-drive and is conceived as the universal event. Then, death is understood as the essential problem, the condition of thought about life, and the paradox of actuality. On the other hand, their minor literature is able to figure in Kafka's works, Metamorphosis and so on, excellently. Deleuze and Guattari argue that Kafka's works push ahead to the edge of the deterritorization. Their argument on the minor literature has the following three characteristics: first, the territorization of the language; second, the directional connection between the individual and the social; third, the collective arrangement of the statement. Death and the minor literature share the "intensity" as the theoretical tool and thus presuppose each other. From this, we are able to draw the possibility of the minor philosophy of education. It makes a crack on the major philosophy of education, exposing the limitation of the doctrines. In other words, the major philosophy of education enforces the reading of grand philosophers by the defined ways only. Instead, Deleuze and Guattari show the creative way through their research of the history of philosophy and extend the field of thought. In following this way, we can repeat the novel in the philosophy of education also. In this essay, we examine their "affect" for the possibility.

• Database Research
• /
• v.34 no.3
• /
• pp.58-68
• /
• 2018

Distributed computing helps to efficiently store and process large data on a cluster of multiple machines. The performance of distributed computing is greatly influenced depending on the state of the servers constituting the distributed system. In this paper, we propose a self-diagnosis system that collects log data in a distributed system, detects anomalies and visualizes the results in real time. First, we divide the self-diagnosis process into five stages: collecting, delivering, analyzing, storing, and visualizing stages. Next, we design a real-time self-diagnosis system that meets the goals of real-time, scalability, and high availability. The proposed system is based on Apache Flume, Apache Kafka, and Apache Storm, which are representative real-time distributed techniques. In addition, we use simple but effective moving average and 3-sigma based anomaly detection technique to minimize the delay of log data processing during the self-diagnosis process. Through the results of this paper, we can construct a distributed real-time self-diagnosis solution that can diagnose server status in real time in a complicated distributed system.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.10
• /
• pp.1179-1187
• /
• 2019

In today's technology environment, most big data-based applications and solutions are based on real-time processing of streaming data. Real-time processing and analysis of big data streams plays an important role in the development of big data-based applications and solutions. In particular, in the maritime data processing environment, the necessity of developing a technology capable of rapidly processing and analyzing a large amount of real-time data due to the explosion of data is accelerating. Therefore, this paper analyzes the characteristics of NiFi, Kafka, and Druid as suitable open source among various open data technologies for processing big data, and provides the latest information on external linkage necessary for maritime service analysis in Korean e-Navigation service. To this end, we will lay the foundation for applying open data framework technology for real-time data processing.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.217-219
• /
• 2017

나날이 증가하는 해킹의 위협에 따라 이를 방어하기 위한 침임 탐지 시스템과 로그 수집 분야에서 많은 연구가 진행되고 있다. 이러한 연구들로 인해 다양한 종류의 침임 탐지 시스템이 생겨났으며, 이는 다양한 종류의 침입 탐지 시스템에서 서로의 단점을 보안할 필요성이 생기게 되었다. 따라서 본 논문에서는 네트워크 기반인 NIDS(Network-based IDS)와 호스트 기반인 HIDS(Host-based IDS)의 장단점을 가진 Hybrid IDS을 구성하기 위해 NIDS와 HIDS의 로그 데이터 통합을 위해 실시간 로그 처리에 특화된 Kafka를 이용하고, 실시간 분석에 Spark Streaming을 이용하여 통합된 로그를 분석하게 되며, 실시간 전송 도중에 발생되는 데이터 유실에 대해 별도로 저장되는 Hadoop의 HDFS에서는 데이터 유실에 대한 보장을 하는 실시간 Hybrid IDS 분석 시스템에 대한 설계를 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.87-89
• /
• 2017

차량의 블랙박스와 CCTV, 드론 등 다양한 채널에서 촬영된 영상의 증가로, 차량 및 교통 상황과 관련된 데이터의 양 또한 폭발적으로 증가하고 있다. 본 연구에서는 이러한 데이터들의 고속 처리를 위해, 실시간 메시지 분산처리 시스템인 아파치 카프카를 활용하여 블랙박스 영상의 프레임을 여러 노드에 분배하였다. 또한, 각각의 노드에 들어온 블랙박스 영상의 프레임을 입력으로 하여, 영상처리 기법을 통한 차량 번호판의 지역화와 문자 분할 및 이를 인식하기 위한 연구를 수행하였다.

• Journal of Astronomy and Space Sciences
• /
• v.29 no.2
• /
• pp.163-167
• /
• 2012

Although the identification of the progenitors of type Ia supernovae (SNeIa) remains controversial, it is generally accepted that they originate from binary star systems in which at least one component is a carbon-oxygen white dwarf (WD); those systems are grouped under the wide umbrella of cataclysmic variables. Current theories for SNeIa progenitors hold that, either via Roche lobe overflow of the companion or via a wind, the WD accumulates hydrogen or helium rich material which is then burned to C and O onto the WD's surface. However, the specifics of this scenario are far from being understood or defined, allowing for a wealth of theories fighting for attention and a dearth of observations to support them. I discuss the latest attempts to identify and study those controversial SNeIa progenitors. I also introduce the most promising progenitor in hand and I present observational diagnostics that can reveal more members of the category.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.65-67
• /
• 2019

최근 비트코인(Bitcoin)과 이더리움(Etherium)과 같은 퍼블릭 블록체인(Public Blockchain) 사용자의 급격한 증가로 인하여 블록체인 지갑 사용자가 늘어나고 있다. 또한, 암호화폐 거래소의 거래량이 증가와 이로 인한 지갑의 잔액 조회와 코인 이체를 위한 트랜잭션이 빈번하게 이루어 지고 있다. 한편, 최신의 잔액 조회와 빠른 이체를 위하여 마이닝 풀(Mining Pool)에서 사용되는 노드(Node)를 사용하는 것 같이 트래픽이 일부 노드에 집중되는 현상이 발생하여 시스템의 성능이 저하되는 문제가 있다. 이러한 문제를 해결하기 위하여 본 연구에서는 아파치 카프카(Apache Kafka)를 이용하여 트래픽 분산처리를 통한 효율적인 시스템을 제안한다. 또한, 시스템의 구조 설계 및 상세 모듈 설계를 제안한다. 제안 시스템은 기존 블록체인 시스템과의 연계가 가능하며, 기존 시스템의 변경 없이 구축할 수 있다. 또한, 주키퍼(ZooKeeper)의 분산처리를 통해 고성능과 가용성 및 안정성을 확보할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.524-527
• /
• 2021

인터넷 서비스의 발전으로 프로젝트의 규모가 커짐에 따라 발생하는 문제를 해결하기 위해 프로젝트의 구조가 Monolith 구조에서 Micro Service 구조로 변하는 중이다. Micro Service 구조는 각각 독립된 데이터베이스를 가지기 때문에 각 서비스들 간에 데이터를 공유하고 관리하는 것에 어려움이 있다. Apache Kafka와 같은 분산 메시징 시스템은 여러 개로 분산된 서비스 간에 메시지를 전송 및 수신하여 데이터의 통신과 교환을 가능하게 한다. 본 논문에서는 분산 메시징 시스템에서 지원하는 압축 방식 별로 성능을 측정하고 분석하고자 한다.

• SUVANNABHUMI
• /
• v.4 no.2
• /
• pp.17-32
• /
• 2012

This study explores the concept of postmodernism in literature. There are many ideas which have conflicted with each other, but now postmodernism is real concept. We cannot deny. By researching papers of Jean-François Lyotard, Jean Baudrillard, Jacques Derrida, Michel Foucault, Julia Kristeva, Roland Barthes, Ihab Hassan etc. we find out many characteristics of postmodernism. From that, we propose a conceptual understanding of postmodern literature as follows: Starting from the late 1910s with the poetry of Dadaism (1916), Franz Kafka's prose (Metamorphosis 1915) and drama by Samuel Beckett (Waiting for Godot 1953), postmodern literature coexists with modern literature and is a thriving form from 1960 on. Postmodernism is opposed to modernism in nature in that it accepts nothingness, chaos, games and intertextuality. It tries to solve some difficult problems of modernism making use of science to free people from a life of darkness and dogma. Postmodernism is associated with the information technology revolution, an economic, scientific and technological boom and rapid urbanization.