• 한국전자통신학회논문지
• /
• 제18권1호
• /
• pp.85-90
• /
• 2023

보건의료분야 데이터 분석 방법론이 기존의 통계 중심의 연구방법에서 머신러닝을 이용한 예측 연구로 전환되고 있다. 본 연구에서는 다양한 머신러닝 도구들을 살펴보고, 보건의료분야에서 많이 사용하고 있는 통계 도구인 R을 빅데이터 머신러닝에 적용하기 위해 R과 스파크를 연계한 프로그래밍 모델들을 비교한다. 그리고, R을 스파크 환경에서 수행하는 SparkR을 이용한 선형회귀모델 학습의 성능을 스파크의 기본 언어인 스칼라를 이용한 모델과 비교한다. 실험 결과 SparkR을 이용할 때의 학습 수행 시간이 스칼라와 비교하여 10~20% 정도 증가하였다. 결과로 제시된 성능 저하를 감안한다면 기존의 통계분석 도구인 R을 그대로 활용 가능하다는 측면에서 SparkR의 분산 처리의 유용성을 확인하였다.

• 한국전자통신학회논문지
• /
• 제17권1호
• /
• pp.161-166
• /
• 2022

본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.

• 전기전자학회논문지
• /
• 제15권4호
• /
• pp.305-312
• /
• 2011

A primary interest of this work is to develop an efficient and powerful repetitive pulser system for the application of ultra wide band generation. The important component of the pulser system is a small-sized coaxial type spark gap with planar electrodes filled with SF6 gas. A repetitive switching action by the coaxial spark gap generates two consecutive pulses in less than a microsecond with rise times of a few hundred picoseconds (ps). A set of several parameters for the repetitive switching of the spark gap is required to be optimized in charging and discharging systems of the pulser. The parameters in the charging system include a circuit scheme, circuit elements, the applied voltage and current ratings from power supplies. The parameters in the discharging system include the spark gap geometry, electrode gap distance, gas type, gas pressure and the load. The characteristics of the spark gap discharge, such as breakdown voltage, output current pulse and recovery rate are too dynamic to control by switching continuously at a high pulse repetition rate (PRR). This leads to a low charging efficiency of the spark gap system. The breakthrough of the low charging efficiency is achieved by a parallel operation of two spark gaps system. The operational behavior of the two spark gaps system is presented in this paper. The work has focused on improvement of the charging efficiency by scaling the PRR of each spark gap in the two spark gaps system.

• 응용통계연구
• /
• 제29권6호
• /
• pp.1077-1094
• /
• 2016

아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

• 한국분말재료학회지
• /
• 제14권1호
• /
• pp.32-37
• /
• 2007

Using spark plasma sintering process (SPS), Ti-6Al-4V alloy powders were successfully consolidated without any contamination happened due to reaction between the alloy powders and graphite mold. Variation of microstructure and mechanical properties were investigated as a function of SPS temperature and time. Compared with hot isostatic pressing (HIP), the sintering time and temperature could be lowered to be 10 min. and $900^{\circ}C$, respectively. At the SPS condition, UTS and elongation were about 890 MPa and 24%, respectively. Considering the density of 98.5% and elongation of 24%, further improving the tensile strength would obtain by increasing the SPS pressure.

• Bulletin of the Korean Chemical Society
• /
• 제15권8호
• /
• pp.622-627
• /
• 1994

Conducting solid samples are successfully analyzed with the spark ablation combined to the moderate power (500W) Helium Microwave Induced Plasma (He MIP). The relative standard deviations are in the range of 3-10% and the detection limits are around 50 ${\mu}$g $g^-1$. These values are higher than those of Ar MIP or Ar Inductively Coupled Plasma. Spark ablated particles are examined to investigate the analytical characteristics of the system.

• 한국분말재료학회지
• /
• 제15권5호
• /
• pp.371-377
• /
• 2008

This paper deals with the phase analysis of $MgB_2$ bulk using spark plasma sintering process after ball milling. Mg and amorphous B powders were used as raw materials, and milled by planetary-mill for 9 hours at argon atmosphere. In order to confirm formation of $MgB_2$ phase, DTA and XRD were used. The milled powders were fabricated to $MgB_2$ bulk at the various temperatures by Spark Plasma Sintering. The fabricated $MgB_2$ bulk was evaluated with XRD, EDS, FE-SEM and PPMS. In the DTA result, reaction on formation of $MgB_2$ phase started at $340^{\circ}C$. This means that ball milling process improves reactivity on formation of $MgB_2$ phase. The $MgB_2$ MgO and FeB phases were characterized from XRD result. MgO and FeB were undesirable phases which affect formation of $MgB_2$ phase, and it's distribution could be confirmed from EDS mapping result. Spark Plasma Sintered sample for 5 min at $700^{\circ}C$ was relatively densified and it's density and transition temperature showing super conducting property were $1.87\;g/cm^3$ and 21K.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1989년도 하계종합학술대회 논문집
• /
• pp.89-93
• /
• 1989

In this paper, a mathematical engine model based on the actual engine operation is formulated to be adapted for the evalution and development of engine control system. In the model the classification of fuel paticle siza is considered. The model is simulated through the mathematical interpretation of intake manifold in the rapidly-accerated state. The spark-timing is analyzed with respect to engine r.p.m. The result shows that the model behaves similar performance to the actual engine operation and the spark-timing is very important to the characterization of engine r.p.m..

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
• /
• pp.15-16
• /
• 2017

IoT 시대가 도래함에 따라 실시간으로 대규모 데이터가 발생하고 있으며 이를 효율적으로 처리하고 활용하기 위한 분산 처리 및 기계 학습에 대한 관심이 높아지고 있다. 아파치 스파크는 RDD 기반의 인 메모리 처리 방식을 지원하는 분산 처리 플랫폼으로 다양한 기계 학습 라이브러리와의 연동을 지원하여 최근 차세대 빅 데이터 분석 엔진으로 주목받고 있다. 본 논문에서는 아파치 스파크 기반 기계 학습 라이브러리 성능 비교를 통해 아파치 스파크와 연동 가능한 기계 학습라이브러리인 MLlib와 아파치 머하웃, SparkR의 데이터 처리 성능을 비교한다. 이를 위해, 대표적인 기계 학습 알고리즘인 나이브 베이즈 알고리즘을 사용했으며 학습 시간 및 예측 시간을 비교하여 아파치 스파크 기반에서 실시간 데이터 처리에 적합한 기계 학습 라이브러리를 확인한다.

• 한국멀티미디어학회논문지
• /
• 제23권2호
• /
• pp.241-246
• /
• 2020

Hadoop is a framework to process large data sets in a distributed way across clusters of nodes. It has been a popular platform to process big data, but in recent years, other platforms became competitive ones depending on the characteristics of the application. Spark is one of distributed platforms to enable real-time data processing and improve overall processing performance over Hadoop by introducing in-memory processing instead of disk I/O. Whereas Hadoop is designed to work on Java and data analysis is processed using Java API, Spark provides a variety of APIs with Scala, Python, Java and R. In this paper, the goal is to find out whether the APIs of different programming languages af ect the performances in Spark. We chose two popular APIs: Python and Scala. Python is easy to learn and is used in AI domain in a wide range. Scala is a programming language with advantages of parallelism. Our experiment shows much faster processing with Scala API than Python API. For the performance issues on AI-based analysis, further study is needed.