DOI QR코드

DOI QR Code

GO언어를 이용한 대용량 데이터 리스트의 동시성 처리 비교

Concurrency processing comparison of large data list using GO language

  • 이요셉 (숭실대학교 미디어학과) ;
  • 임영환 (숭실대학교 미디어학과)
  • 투고 : 2022.02.14
  • 심사 : 2022.03.08
  • 발행 : 2022.03.31

초록

대용량 데이터를 처리 하는 방식은 여러 가지가 있다. 처리 방법에 따라서 대용량 데이터 리스트를 만드는데 처리속도가 많은 차이를 두고 있다. 대표적으로 대용량 데이터 리스트를 만들기 위해서 대용량 데이터를 정규화 된 쿼리로 만들고 만들어 낸 쿼리의 결과를 List Map 담아두고 출력 가능한 형태로 변환 한다. 이러한 과정은 단계별로 처리 속도가 저하되는 원인으로 발생된다. 만들어 낸 쿼리의 결과를 List Map으로 담는 과정에서 데이터의 형태별로 저장되는 형식 다르기 때문에 처리속도의 차이가 나타난다. GO언의 동시성 처리를 통해서 기존에 처리속도의 차이가 발생되던 문제를 해결하고자 한다. 즉 GO언의 동시성 처리 결과가 기존의 List Map에 담는 형식과 동시성을 사용하여 처리하는 방식의 대용량 데이터 리스트 처리 방식이 얼마나 차이가 나고 어떠한 방식으로 진행되는지를 제공하여 보다 빠른 처리를 할 수 있도록 비교 한다.

There are several ways to process large amounts of data. Depending on the processing method, there is a big difference in processing speed to create a large data list. Typically, to make a large data list, large data is converted into a normalized query, and the result of the query is stored in a List Map and converted into a printable form. This process occurs as a cause of lowering the processing speed step by step. In the process of storing the results of the created query as a List Map, the processing speed differs because the data is stored in a different format for each type of data. Through the simultaneous processing of GO language, we want to solve the problem of the existing difference in processing speed. In other words, it compares the results of GO language concurrency processing by providing how different and how it proceeds between the format contained in the existing List Map and the method of processing using concurrency in large data lists for faster processing. do.

키워드

참고문헌

  1. So .hee. Kim, "Big data Analysis using Pyhon in Agriculture Forestry and Fisheries" The International Journal of Advanced Culture Technology (IJACT), Vol. 5, No. 1, pp. 47-50, March 2016.
  2. Hye-Wuk Jung, "A Case Study of Python programming Error in an Online Learning Environment" the journal of the Convergence on Culture Technology (JCCT), Vol. 7, No. 3, pp. 247-253, August 2021. https://doi.org/10.17703/JCCT.2021.7.3.247
  3. Hee-chan Yang, "An Implementation of Python Web Crawler Using Thread" Proceedings of korea Information Processing Society Conference (KEPA), Vol. 26, No. 2, pp. 70-72, 2019.
  4. Wonjun Jang, "An Efficient Data Transfer Algorithm based on Multi-thread for Big Data Transfer System" Proceedings of korea Information Processing Society Conference (KEPA), Vol. 26, No. 2, pp. 85-88, 2019.
  5. DaeWha Seo, "Parallel Processing : Distrbuted Shared Memory Scheme for Multi-thread programming" Proceedings of korea Information Processing Society Conference (KEPA), Vol. 3, No. 4, pp. 791-802, 1996.
  6. Nal Kalchbrenner, Erich Elsen, Karen Simonyan, Seb Noury, Norman Casagrande, Edward Lockhart, Florian Stimberg, Aaron van den Oord, Sander Dieleman, Koray Kavukcuoglu. "Efficient neural audio synthesis", arXiv preprint. https://arxiv.org/pdf/1802.08435.pdf, 2018, Feb.
  7. Hyun-sik An, "Constructing Effective Code Analyzer to Measure theQuality of Blockchain Code based on Go Languag" Proceedings of korea Information Processing Society Conference (KEPA), pp. 694-696, 2019.
  8. Hyo-Jong Kim, "Crepe Search System Design using Web Crawling" Journal of digital convergence Vol. 15, No. 11, (JDC), pp. 261-269, 2017. https://doi.org/10.14400/JDC.2017.15.11.261