The Journal of Korea Institute of Information, Electronics, and Communication Technology (한국정보전자통신기술학회논문지)

Korea Information Electronic Communication Technology (한국정보전자통신기술학회)
권호 표지
DOI QR코드

DOI QR Code

Spatial Big Data Query Processing System Supporting SQL-based Query Language in Hadoop

Hadoop에서 SQL 기반 질의언어를 지원하는 공간 빅데이터 질의처리 시스템

  • Joo, In-Hak (Electronics and Telecommunications Research Institute)
  • Received : 2016.11.25
  • Accepted : 2017.02.22
  • Published : 2017.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper we present a spatial big data query processing system that can store spatial data in Hadoop and query the data with SQL-based query language. The system stores large-scale spatial data in HDFS-based storage system, and supports spatial queries expressed in SQL-based query language extended for spatial data processing. It supports standard spatial data types and functions defined in OGC simple feature model in the query language. This paper presents the development of core functions of the system including query language parsing, query validation, query planning, and connection with storage system. We compares the performance of the suggested system with an existing system, and our experiments show that the system shows about 58% performance improvement of query execution time over the existing system when executing region query for spatial data stored in Hadoop.

본 논문에서는 Hadoop에 공간 데이터를 저장하고 SQL 기반 질의언어에 의하여 공간 데이터를 질의할 수 있는 공간 빅데이터 질의처리 시스템을 제시한다. 제안한 시스템은 대용량의 공간 빅데이터를 HDFS 기반의 저장 시스템에 저장하고 공간 데이터 처리기능이 추가확장된 SQL 기반 질의언어로 질의를 할 수 있도록 지원하며 OGC 심플 피처모델 기반의 공간 데이터 표준 데이터타입과 함수를 지원한다. 본 논문에서는 질의언어 파싱, 질의언어 검증, 질의계획 생성, 저장시스템 연동 등 질의처리의 주요 기능 개발을 제시하였다. 제안한 시스템의 성능을 기존 시스템과 비교하였으며, 실험에서는 Hadoop에 저장된 공간 데이터에 대한 영역질의의 질의실행시간에 있어서 비교 시스템 대비 약 58%의 성능향상을 나타냄을 보였다.

Keywords

References

  1. Ahmed Eldawy & Mohamed F. Mokbel, "A Demonstration of SpatialHadoop An Efficient MapReduce Framework for Spatial Data", Proceedings of the VLDB Endowment, 6(12), pp.1230-1233, 2013. https://doi.org/10.14778/2536274.2536283
  2. Ablimit Aji, Fusheng Wang, Hoang Vo, Rubao Lee, Qiaoling Liu, Xiaodong Zhang & Joel Salt, "Hadoop-GIS: A High Performance Spatial Data Warehousing System over MapReduce", Proceedings of the VLDB Endowment, 6(11), pp.1009-1020, 2013. https://doi.org/10.14778/2536222.2536227
  3. Ashish Thusoo, Joydeep Sen Sarma, Namit Jain, Zheng Shao, Prasad Chakka, Ning Zhang, Suresh Antony, Hao Liu, & Raghotham Murthy, "Hive - a Petabyte Scale Data Warehouse using Hadoop", 2010 IEEE 26th International Conference on Data Engineering(ICDE 2010), pp.996-1005, 2010.
  4. Choi, H. S., Son, J. H., Yang, H. M., Ryu, H. S., Lim, B. N., Kim, S. H., & Chung. Y. D, "Tajo: A distributed data warehouse system on large clusters", Data Engineering (ICDE), 2013 IEEE 29th International Conference, pp.1320-1323, 2013.
  5. Open Geospatial Consortium Inc, OGC 06-103r4 "OpenGIS(R) Implementation Standard for Geographic information - Simple feature access - Part 1: Common architecture", 2011.
  6. Open Geospatial Consortium Inc, OGC 05-134 "OpenGIS(R) Implementation Specification for Geographic information - Simple feature access - Part 2: SQL option", 2005.
  7. Choi, W. G., Kim, M. S., Jang, I. S., & Chang, Y. S., "The Comparative Research on 2D Web Mapping Open API for Designing Geo-spatial Open Platform", Journal of Korea Spatial Information Society, 22(5), pp.87-98, 2014. https://doi.org/10.12672/ksis.2014.22.5.087

Cited by

  1. 맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 vol.19, pp.8, 2017, https://doi.org/10.5762/kais.2018.19.8.535
  2. Spatiotemporal Aspects of Big Data vol.23, pp.2, 2017, https://doi.org/10.2478/acss-2018-0012