Apache Spark对比Apache Drill

by 司马顿 | 2022年3月31日 下午7:05

在towards data science看到这篇帖子,简单对比了spark和drill的SQL引擎。

从我个人经验看,只看SQL引擎,spark当然不如drill。因为后者实现了完整的ANSI SQL 2003标准,而spark受Hive SQL影响,只实现了一个子集。

在使用方式上,drill的交互式shell可以直接像Mysql一样,运行查询语句。spark并不能这样,它的交互式shell里要编写简单的程序,才能运行SQL查询。

比如,查询同样的外部csv数据源,如下是drill的方式:

apache drill (dfs.pyh)> select * from `people.csv` order by born desc, name limit 5;
+---------------+----------+--------+---------+-------------------------+
|     name      |   born   |  sex   |   tel   |           job           |
+---------------+----------+--------+---------+-------------------------+
| Ashley T.T.   | 1999-9-9 | Female | 6862502 | Management Analyst      |
| Charlie M.F.  | 1999-9-8 | Female | 3333064 | Teacher Assistant       |
| Daniel F.Y.   | 1999-9-8 | Male   | 5160463 | Real Estate Agent       |
| Daniella G.R. | 1999-9-8 | Female | 5477888 | Radiologic Technologist |
| Ford H.U.     | 1999-9-8 | Male   | 5888765 | Bus Driver              |
+---------------+----------+--------+---------+-------------------------+
5 rows selected (0.584 seconds)

如下是spark的方式:

scala> val df =  spark.read.format("csv").option("inferSchema", "true").option("header", "true").load("tmp/people.csv")

scala> df.createOrReplaceTempView("peopleView")

scala> spark.sql("select * from peopleView order by born desc, name limit 5").show(false)
+-------------+--------+------+-------+-----------------------+
|name         |born    |sex   |tel    |job                    |
+-------------+--------+------+-------+-----------------------+
|Ashley T.T.  |1999-9-9|Female|6862502|Management Analyst     |
|Charlie M.F. |1999-9-8|Female|3333064|Teacher Assistant      |
|Daniel F.Y.  |1999-9-8|Male  |5160463|Real Estate Agent      |
|Daniella G.R.|1999-9-8|Female|5477888|Radiologic Technologist|
|Ford H.U.    |1999-9-8|Male  |5888765|Bus Driver             |
+-------------+--------+------+-------+-----------------------+

从上述对比可以看出,dirll的SQL查询要直接的多,上手即用。spark要写几句代码,将外部文件加载到dataframe目标,再把dataframe另存为一个临时表,最后才去查询这个临时表。

性能上,两者差不多,都挺快的,远快于Hive,这个性能差异之前我写过一篇博客

在架构上,如果采用分布式部署,spark和drill的架构和工作原理都高度类似,我上一篇博客也略有阐述。它们都同时支持数据分区和shuffle。也就是说,把数据分拆到不同的节点上进行分布式计算,并且根据需要来进行shuffle操作。

spark还有一点不如drill的地方,在于它支持的外部数据源没有drill那么多。drill支持的外置数据源相当丰富,比如NoSQL databases, Parquet files, S3 files等等。这些数据直接拉进来,用SQL就可以解析,十分的方便。而spark支持的数据源要少一些。

不过,虽然SQL引擎略微逊色,但spark还有其他几个牛叉的功能。比如RDD计算,这个功能虽然古老,但对处理非结构化数据,以及做数据transform,它是非常方便的。再比如streaming和MLlib,这俩都是spark的核心功能,但drill没有的。

综上,如果单纯选择SQL引擎,那我建议drill。但如果你还需要其他大数据处理功能,那spark当仁不让。

Source URL: https://smart.postno.de/archives/3727