• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10c
• /
• pp.694-696
• /
• 2001

현재 웹서버 중 가장 많이 이용하는 아파치 웹서버는 안정적이며 다양한 기능을 제공한다. 특히, 차기버전인 아파치 2.0은 다중 스레드 및 파일 캐쉬를 기본적으로 지원한다. 본 논문에서는 아직 가지 연구가 활발하지 않은 아파치 2.0에 대한 성능 분석을 하였다. 아파치 2.0과 1.3의 성능 비교에 대한 실험 결과 아파치 2.0은 1.3보다 처리율이 최고 25% 향상된 모습을 나타내었고, 사용자 응답시간은 평균 23% 향상되었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2017.01a
• /
• pp.15-16
• /
• 2017

IoT 시대가 도래함에 따라 실시간으로 대규모 데이터가 발생하고 있으며 이를 효율적으로 처리하고 활용하기 위한 분산 처리 및 기계 학습에 대한 관심이 높아지고 있다. 아파치 스파크는 RDD 기반의 인 메모리 처리 방식을 지원하는 분산 처리 플랫폼으로 다양한 기계 학습 라이브러리와의 연동을 지원하여 최근 차세대 빅 데이터 분석 엔진으로 주목받고 있다. 본 논문에서는 아파치 스파크 기반 기계 학습 라이브러리 성능 비교를 통해 아파치 스파크와 연동 가능한 기계 학습라이브러리인 MLlib와 아파치 머하웃, SparkR의 데이터 처리 성능을 비교한다. 이를 위해, 대표적인 기계 학습 알고리즘인 나이브 베이즈 알고리즘을 사용했으며 학습 시간 및 예측 시간을 비교하여 아파치 스파크 기반에서 실시간 데이터 처리에 적합한 기계 학습 라이브러리를 확인한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.67-68
• /
• 2016

최근 빅 데이터를 이용한 시스템들이 여러 분야에서 활발히 이용되기 시작하면서 대표적인 빅데이터 저장 및 처리 플랫폼인 하둡(Hadoop)의 기술적 단점을 보완할 수 있는 다양한 분산 시스템 플랫폼이 등장하고 있다. 그 중 아파치 스파크(Apache Spark)는 하둡 플랫폼의 속도저하 단점을 보완하기 위해 인 메모리 처리를 지원하여 대용량 데이터를 효율적으로 처리하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만, 아파치 스파크의 작업은 메모리에 의존적이므로 제한된 메모리 환경에서 전체 작업 성능은 급격히 낮아진다. 본 논문에서는 메모리 용량에 따른 아파치 스파크 성능 비교를 통해 아파치 스파크 동작을 위해 필요한 적정 메모리 용량을 확인한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.316-318
• /
• 2003

아파치 웹 서버는 사용자들에게 좀더 빠른 서비스를 제공하기 위해 멀티 프로세스 모델을 사용해 왔다. 그러나 최근 들어 웹 서비스를 사용하는 사람들이 급격히 증가함에 따라 멀티 프로세스 구조보다 더 빠르고 더 많은 요청을 처리할 수 있는 구조가 요구되어진다. 이러한 문제를 해결하기 위해서 생성 및 문맥전환 등에 있어서 오버헤드가 프로세스 보다 더 적다고 알려진 멀티 쓰레드 모델을 도입하게 된다. 하지만 멀티 쓰레드를 사용하는 것이 항상 멀티 프로세스를 사용한 것보다 더 좋은 성능을 보여주진 않는다. 본 논문에서는 멀티 프로세스와 멀티 쓰레드를 주어진 상황에 따라 어떻게 활용하는 것이 응답시간과 처리율 면에서 더 효율적인지를 알아보기 위하여 시뮬레이터를 제작하여 아파치 웹 서버의 성능을 측정한다. 실험을 통해 아파치 웹 서버의 다양한 지시자에 대한 설정 값에 따라 멀티 프로세스와 멀티 쓰레드 구조의 성능이 달라 질 수 있음을 확인하고 이의 결과를 제시한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.79-80
• /
• 2016

아파치 스파크는 효율적으로 대용량 데이터를 처리하기 위해 분산 메모리 추상화를 사용하는 오픈 소스 분산 데이터 처리 플랫폼이다. 하지만 아파치 스파크 플랫폼의 특정 작업의 성능은 입력 데이터의 유형과 크기, 디자인 및 알고리즘의 구현 및 컴퓨팅 능력에 따라 메모리 사용량 및 I/O 비용이 크게 달라질 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 논문에서는 아파치 스파크 플랫폼에 대한 높은 정밀도 작업 성능을 예측할 수 있도록 CPU core수의 증가에 따른 WordCount 시뮬레이션을 비교 평가 하였다.

• KIPS Transactions on Software and Data Engineering
• /
• v.4 no.2
• /
• pp.77-82
• /
• 2015

Big Data technology has been attracted much attention in aspect of fast data processing. Research of practicing Big Data technology is also ongoing to process large-scale structured data much faster in Relatioinal Database(RDB). Although there are lots of studies about measuring analyzing performance, studies about structured data loading performance, prior step of analyzing, is very rare. Thus, in this study, structured data in RDB is tested the performance that loads distributed processing platform Hadoop using Apache sqoop. Also in order to analyze the influence factors of data loading, it is tested repeatedly with different options of data loading and compared with data loading performance among RDB based servers. Although data loading performance of Apache Sqoop in test environment was low, but in large-scale Hadoop cluster environment we can expect much better performance because of getting more hardware resources. It is expected to be based on study improving data loading performance and whole steps of performance analyzing structured data in Hadoop Platform.

• Journal of the Korea Convergence Society
• /
• v.7 no.5
• /
• pp.1-6
• /
• 2016

Many studies have been carried out for the development of big data utilization and analysis technology recently. There is a tendency that government agencies and companies to introduce a Hadoop of a processing platform for analyzing big data is increasing gradually. Increased interest with respect to the processing and analysis of these big data collection technology of data has become a major issue in parallel to it. However, study of the collection technology as compared to the study of data analysis techniques, it is insignificant situation. Therefore, in this paper, to build on the Hadoop cluster is a big data analysis platform, through the Apache sqoop, stylized from relational databases, to collect the data. In addition, to provide a sensor through the Apache flume, a system to collect on the basis of the data file of the Web application, the non-structured data such as log files to stream. The collection of data through these convergence would be able to utilize as a basic material of big data analysis.

• Journal of KIISE
• /
• v.45 no.3
• /
• pp.280-287
• /
• 2018

Recently, the use of a recommendation system and tensor data analysis, which has high-dimensional data, is increasing, as they allow us to analyze the tensor and extract potential elements and patterns. However, due to the large size and complexity of the tensor, it needs to be decomposed in order to analyze the tensor data. While several tools are used for tensor decomposition such as rTensor, pyTensor, and MATLAB, since such tools run on a single machine, they are unable to handle large data. Also, while distributed tensor decomposition tools based on Hadoop can handle a scalable tensor, its computing speed is too slow. In this paper, we propose S-PARAFAC, which is a tensor decomposition tool based on Apache Spark, in distributed in-memory environments. We converted the PARAFAC algorithm into an Apache Spark version that enables rapid processing of tensor data. We also compared the performance of the Hadoop based tensor tool and S-PARAFAC. The result showed that S-PARAFAC is approximately 4~25 times faster than the Hadoop based tensor tool.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.561-564
• /
• 2018

최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.87-89
• /
• 2017

차량의 블랙박스와 CCTV, 드론 등 다양한 채널에서 촬영된 영상의 증가로, 차량 및 교통 상황과 관련된 데이터의 양 또한 폭발적으로 증가하고 있다. 본 연구에서는 이러한 데이터들의 고속 처리를 위해, 실시간 메시지 분산처리 시스템인 아파치 카프카를 활용하여 블랙박스 영상의 프레임을 여러 노드에 분배하였다. 또한, 각각의 노드에 들어온 블랙박스 영상의 프레임을 입력으로 하여, 영상처리 기법을 통한 차량 번호판의 지역화와 문자 분할 및 이를 인식하기 위한 연구를 수행하였다.