• 제목/요약/키워드: Scala

검색결과 27건 처리시간 0.037초

Spark 기반에서 Python과 Scala API의 성능 비교 분석 (Performance Comparison of Python and Scala APIs in Spark Distributed Cluster Computing System)

  • 지경엽;권영미
    • 한국멀티미디어학회논문지
    • /
    • 제23권2호
    • /
    • pp.241-246
    • /
    • 2020
  • Hadoop is a framework to process large data sets in a distributed way across clusters of nodes. It has been a popular platform to process big data, but in recent years, other platforms became competitive ones depending on the characteristics of the application. Spark is one of distributed platforms to enable real-time data processing and improve overall processing performance over Hadoop by introducing in-memory processing instead of disk I/O. Whereas Hadoop is designed to work on Java and data analysis is processed using Java API, Spark provides a variety of APIs with Scala, Python, Java and R. In this paper, the goal is to find out whether the APIs of different programming languages af ect the performances in Spark. We chose two popular APIs: Python and Scala. Python is easy to learn and is used in AI domain in a wide range. Scala is a programming language with advantages of parallelism. Our experiment shows much faster processing with Scala API than Python API. For the performance issues on AI-based analysis, further study is needed.

Feasibility Study Of Functional Programming In Scala Language By Implementing An Interpreter

  • Sugwoo, Byun
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권2호
    • /
    • pp.111-119
    • /
    • 2023
  • 본 논문에서는 스칼라 언어의 함수형 프로그래밍 기능의 타당성에 대해서 검토한다. 주된 관심사는 스칼라가 어느 정도까지 람다 식, 고차 함수, 제너릭 타입, 대수적 타입, 모나드 등 함수형 프로그래밍의 주요 특성을 표현할 수 있는 가에 있다. 이 목적을 위하여 명령형 프로그래밍 언어의 인터프리터를 구현한다. 동일한 함수형 프로그래밍 기법을 적용하여 인터프리터를 하스켈과 스칼라로 구현한 다음, 이 두 버전의 구현을 비교 분석한다. 명령형 프로그래밍 언어의 추상 구문트리는 스칼라의 제너릭스를 갖는 대수적 타입과 enum 클래스로서 표현되고, 명령형 프로그래밍의 상태 변환은 상태 모나드를 이용하여 구현된다. 또한 스칼라의 새로운 기능인 extension과 given도 사용된다.

커널 쓰레드 웹가속기(SCALA-AX) 개발 (Development of a Kernel Thread Web Accelerator (SCALA-AX))

  • 박종규;민병조;임한나;박장훈;장휘;김학배
    • 정보처리학회논문지A
    • /
    • 제9A권3호
    • /
    • pp.327-332
    • /
    • 2002
  • 주로 캐싱서버로 사용되는 기존의 프록시웹캐시는 단순히 웹서버의 컨텐츠를 복사해서 서비스를 제공하는 시스템이다. 이 방법은 실제로 컨텐츠 서비스를 담당하는 웹서버의 성능 향상보다는 컨텐츠 전달 중간단계의 속도 향상에 초점을 맞추고 있다. 그러나, 과다한 동시 접속자로 인하여 웹서버에 과부하가 걸렸을 경우에는 많은 효과를 보지 못하고 있다. 본 논문에서는 웹서버의 성능을 극대화시켜 클라이언트에게 보다 빠른 서비스를 제공하기 위해서 웹가속기(SCALA-AX)를 제안한다. SCALA-AX는 리눅스 커널 모듈로 구현되어, 유저레벨 웹서버 어플리케이션과 함께 작동을 한다. SCALS-AX는 HTTP 요청을 커널쓰레드를 이용하여 처리 하기 때문에 전달 속도 향상뿐만 아니라 캐싱서버 설치로 인한 추가비용도 발생하지 않는다. SCALS-AX의 성능평가 결과, SCALA-AX가 구현된 웹서버는 기존의 웹서버보다 데이터 전달면에서 5배 이상의 속도 향상을 얻었다. 즉, 웹서버의 성능이 크게 향상되었음을 볼 수 있다.

Development of a Web Accelerator in the Kernel

  • Park, Jong-Gyu;Lim, Han-Na;Kim, Hag-Bae
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2001년도 ICCAS
    • /
    • pp.70.3-70
    • /
    • 2001
  • In this paper, we suggest a kernel level multi thread web accelerator (called the SCALA-AX), which significantly improves the performance of the web soerver. In comparison with a conventional proxy web cache that is generally called a caching server and a simple content-copy based system, the primary functions and goals of SCALA-AX are designed to maximize the content services of a front end web server with high performance. Specifically, the SCALA-AX runs on the kernel level of a web sorrel, based on the newest caching techniques. Moreover, the SCALA-AX supports the http 1.1 protocol and allows the dynamic pages as well as static pages to be processed.

  • PDF

스파크에서 스칼라와 R을 이용한 머신러닝의 비교 (Comparison of Scala and R for Machine Learning in Spark)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제18권1호
    • /
    • pp.85-90
    • /
    • 2023
  • 보건의료분야 데이터 분석 방법론이 기존의 통계 중심의 연구방법에서 머신러닝을 이용한 예측 연구로 전환되고 있다. 본 연구에서는 다양한 머신러닝 도구들을 살펴보고, 보건의료분야에서 많이 사용하고 있는 통계 도구인 R을 빅데이터 머신러닝에 적용하기 위해 R과 스파크를 연계한 프로그래밍 모델들을 비교한다. 그리고, R을 스파크 환경에서 수행하는 SparkR을 이용한 선형회귀모델 학습의 성능을 스파크의 기본 언어인 스칼라를 이용한 모델과 비교한다. 실험 결과 SparkR을 이용할 때의 학습 수행 시간이 스칼라와 비교하여 10~20% 정도 증가하였다. 결과로 제시된 성능 저하를 감안한다면 기존의 통계분석 도구인 R을 그대로 활용 가능하다는 측면에서 SparkR의 분산 처리의 유용성을 확인하였다.

LALR(1) 파스테이블 생성 콤비네이터 (A LALR(1) Parse-Table Construction Combinator)

  • 최민영;도경구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.21-23
    • /
    • 2015
  • Scala의 파서 콤비네이터를 사용하면 프로그래밍 언어의 파서를 비교적 손쉽게 구현할 수 있다. 그런데 Scala의 파서 콤비네이터는 몇 가지 문제점이 있다. 첫째, 파싱을 할 때마다 파서를 생성해야 하는 온라인 방식이라 처리속도가 늦을 수밖에 없다. 둘째, 하향식 파서라 좌 재귀 문법을 처리하지 못하는 문제가 있다. 따라서 좌 재귀가 없도록 문법을 작성해야한다. 본 논문에서는 위의 문제들을 해결하기 위해 파서 콤비네이터의 장점인 직관적인 문법정의와 LALR(1)의 문법 표현력을 결합한 LALR(1) 파스테이블 생성 콤비네이터를 정의한다.

3차원 달팽이관 모델에서의 인공와우 전극의 거동에 대한 유한요소해석 (Evaluation of the Cochlear Electrode Behavior in the 3D Human Cochlea Model by FEM Analysis)

  • 임윤섭;박세익;김용협;오승하;김성준
    • 대한의용생체공학회:의공학회지
    • /
    • 제25권3호
    • /
    • pp.207-215
    • /
    • 2004
  • 본 연구에서는 유전 프로그램을 이용하여 6가지 형태의 금속 와이어 배치를 가진 전극을 생성하여 각 전극이 3차원 형태의 달팽이관에 미치는 기계적인 영향과 그 거동을 유한요소법을 이용하여 분석하였다. 그리고 전극이 삽입되는 달팽이관은 helico-spiral 근사방법에 의해 결정된 식을 이용하였으며, 고실계단(scala tympani)의 형태는 실제 고실계단 단면의 영상정보를 추출하여 얻어내었다. 해석결과 금속 와이어가 평행하게 배치될 경우 가장 큰 힘을 달팽이관 외벽에 전달하며, 삽입에도 가장 큰 힘이 필요한 것을 알 수 있었다. 그리고 달팽이관은 3차원 구조이므로 전극이 삽입되면서 삽입 전에 자극 사이트가 바라보도록 설정한 방향보다 조금 돌아감을 확인하였다. 이 연구의 결과로부터 전극의 강성이 외상(trauma)을 줄이는데 중요하다는 것을 알 수 있다.

Control the length of beam trajectory with a quadruple triplet for heavy ion accelerator

  • Wei, Shaoqing;Zhang, Zhan;Lee, Sangjin;Kim, Do Gyun;Kim, Jang Youl
    • 한국초전도ㆍ저온공학회논문지
    • /
    • 제18권4호
    • /
    • pp.40-43
    • /
    • 2016
  • Beam trajectory is needed to be controlled in heavy ion accelerator system. Quadruple magnets are widely used in heavy ion accelerator for focusing the transporting particles. A quadruple triplet system which consists of three consecutive quadrupoles, Q1, Q2 and Q3, is used to control beam trajectory at a focused position. Q1 and Q3 have symmetry with respect to Q2. The beam trajectory in magnet system is affected by higher order fields existed in real fields. For quadrupoles, the representation simulation of beam trajectory was carried out to study the beam trajectory and to estimate an effect of higher order field in triplet system. SCALA program was used to simulate the beam trajectory in $Opera^{TM}$. SCALA can analyze a large number of beam trajectories at the same time by adjusting the size of finite element of the emitter. With $Opera^{TM}$ and $Matlab^{TM}$ programs, the position of focused beam spot in quadruple triplet system can be increased or decreased using evolution strategy (ES) method, therefore the length of triplet system can be controlled. Finally, the quadruple triplet system with the appropriate length and expected beam spot range was suggested in this paper.