DOI QR코드

DOI QR Code

A Method of Reducing the Processing Cost of Similarity Queries in Databases

데이터베이스에서 유사도 질의 처리 비용 감소 방법

  • 김선경 (메가존클라우드(주) DB Architect) ;
  • 박지수 (전주대학교 컴퓨터공학과) ;
  • 손진곤 (한국방송통신대학교 컴퓨터과학과)
  • Received : 2021.11.29
  • Accepted : 2022.01.14
  • Published : 2022.04.30

Abstract

Today, most data is stored in a database (DB). In the DB environment, the users requests the DB to find the data they wants. Similarity Query has predicate that explained by a similarity. However, in the process of processing the similarity query, it is difficult to use an index that can reduce the range of processed records, so the cost of calculating the similarity for all records in the table is high each time. To solve this problem, this paper defines a lightweight similarity function. The lightweight similarity function has lower data filtering accuracy than the similarity function, but consumes less cost than the similarity function. We present a method for reducing similarity query processing cost by using the lightweight similarity function features. Then, Chebyshev distance is presented as a lightweight similarity function to the Euclidean distance function, and the processing cost of a query using the existing similarity function and a query using the lightweight similarity function is compared. And through experiments, it is confirmed that the similarity query processing cost is reduced when Chebyshev distance is applied as a lightweight similarity function for Euclidean similarity.

오늘날 대부분의 데이터는 데이터베이스(database: DB)에 저장된다. 이러한 DB 환경에서 사용자는 자신이 원하는 데이터를 찾아줄 것을 DB에게 요청하게 된다. DB 질의 중 유사도 질의는 DB 사용자가 원하는 조건으로 유사도가 포함되어 있는 것을 말한다. 그러나 유사도 질의를 처리하기 위한 과정은 처리 레코드의 범위를 줄일 수 있는 색인을 이용하기 힘들어 테이블의 전체 레코드에 대해서 매번 유사도를 계산하는 비용이 높다. 본 논문은 이러한 문제점을 해결하기 위하여 경량 유사도 함수를 정의한다. 경량 유사도 함수는 유사도 함수에 비해 데이터를 여과하는 정확도는 떨어지지만 비용이 유사도 함수에 비하여 적게 소모되는 특징이 있다. 이러한 경량 유사도 함수의 특징을 이용하여 유사도 질의 처리 비용 감소 방법을 제시한다. 그리고 유클리드 거리 함수에 경량 유사도 함수로 체비쇼프 거리를 제시하고 기존의 유사도 함수를 이용하는 질의와 경량 유사도 함수를 이용하는 질의의 처리 비용을 비교한다. 그리고 실험을 통하여 유클리드 유사도에 대한 경량 유사도 함수로 체비쇼프 거리를 적용하였을 때 유사도 질의 처리 비용이 감소하는 것을 확인한다.

Keywords

References

  1. D. Reinsel, J. Gantz, and J. Rydning, "Data age 2025: The evolution of data to life-critical," International Data Corporation, Retrieved 2, 2017.
  2. C. Shang and F. You "Data analytics and machine learning for smart process manufacturing: Recent advances and perspectives in the big data era," Engineering, Vol.5, Iss.6, pp.1010-1016, 2019. https://doi.org/10.1016/j.eng.2019.01.019
  3. T. Kim et al., "Similarity query support in big data management systems," Information System, Vol.88, pp.101455, 2020. https://doi.org/10.1016/j.is.2019.101455
  4. S. K. Vangipuram and R. Appusamy, "A survey on similarity measures and machine learning algorithms for classification and prediction," International Conference on Data Science, E-learning and Information Systems, pp.198-204, 2021.
  5. D. Ryu and J. Baik, "A comparative study on similarity measure techniques for cross-project defect prediction," KIPS Transactions on Software and Data Engineering, Vol.7, No.6, pp.205-220, 2017. https://doi.org/10.3745/KTSDE.2018.7.6.205
  6. J. Wang, H. T. Shen, J. Song, and J. Ji, "Hashing for similarity search: A survey," arXiv:1408.2927v1 [cs.DS], 2014.
  7. J. S. Park, "A similarity join algorithm using a median as a filter", KIPS Transactions on Software and Data Engineering, Vol.4, No.2, pp.71-76, 2014. https://doi.org/10.3745/KTSDE.2015.4.2.71
  8. M. Chen, S. Mao, and Y. Liu, "Big data: A survey," Mobile Networks and Applications, Vol.19, No.2, pp.171-209, 2014. https://doi.org/10.1007/s11036-013-0489-0
  9. P. M. B. Vitanyi, "Information distance in multiples," IEEE Transactions on Information Theory, Vol.57, No.4, pp.2451-2456, 2011. https://doi.org/10.1109/TIT.2011.2110130
  10. S. H. Cha, "Compresive survey on distance/similarity measures between probability density functions," International Journal of Mathematical Models and Methods in Applied Sciences, Vol.1, No.4, pp.300-307, 2007.
  11. J. A. O'Keefe, "The universal transverse mercator grid and projection," The Professional Geographer, Vol.4, Iss.5, pp.19-24, 1952. https://doi.org/10.1111/j.0033-0124.1952.45_19.x
  12. elgw, Tests the speed of common mathematical operations [Internet], https://github.com/elgw/math_ops_speed, (down loaded 2021, Oct. 19).
  13. Ministry of the Interior and Safety, Location Information Summary DB [Internet], https://www.juso.go.kr/addrlink/addressBuildDevNew.do?menu=geodata, (downloaded 2021, Nov. 14).
  14. K. Kawase, "Concise derivation of extensive coordinate conversion formulae in the Gauss-Kruger projection," Bulletin of the Geospatial Information Authority of Japan, Vol.60, pp.1-6, 2013.
  15. H. K. Sharma, Mr. S.C. Nelson, "Explain plan and SQL trace the two approaches for RDBMS tuning," Database Systems Journal, Vol.8, No.1, pp.31-39, 2017.