Skip to content
司马顿的博客
司马顿的博客

司马顿的博客

漫谈流计算产品,没有标准的技术注定走不长远

Posted on 2019年11月29日 By 司马顿

当下大数据领域,流计算非常火热,各种框架层出,知名的有Storm, Spark stream, Kafka stream, Samza,还有最近大热的Flink。它们有个共同点,都是Apache开源基金会旗下的项目。

这些框架各自为战,各有自己的能力、亮点和缺陷,互相也并不兼容。这里带来的最大问题是缺乏标准,也就缺乏衡量流计算产品选型的统一指标。

我经常混开源社区,看到国内国外对开源文化的显著不同。老外们擅长搞标准,不管产品有没有,先搞出RFC协议。我常年关注的几个邮件组,比如DNS、Mail、MQ,高端用户都在里面讨论协议,比如DNSSec之类。这些协议一制定,影响的是全世界的基础架构。

Flink其实是个中国人主导的项目,Data Artisans被阿里收购了,现在改名叫Veverica。然后,你看到,在Flink社区里混的主要都是中国人,讨论的也是各种功能的实现。当然,这些实现有draft描述,但并没有在行业建立标准。

我倒不觉得中国人工程能力不强,实际上国人天性聪明和勤奋,动手能力很强。别说Flink,就连Alink、Blink大家都能搞出来,听说阿里就搞了个Blink。但是,这种没有标准的东西,注定很难走的长远。

我打个比方,QQ邮箱大家都说干净无广告,但Q邮背后的技术,大多并不遵循标准。它的反垃圾策略就是乱搞一通,人工拍脑袋的,既不遵循统计规律,又不以RFC标准为导向。国内还好,国外的邮箱与Q邮互通就是个杯具。

Flink也是,从头到尾自己搞的一套。服务器也好,客户端也好,交互协议也好,各种接口也好,都是自己搞的实现。这对程序员挺爽的,我想怎么玩就怎么玩。但这样玩着玩着,大家都死了。

流计算领域,我觉得当前迫切的,不是再去开发各种xxlink,而是大家统一起来,先把技术标准和实现规范制定了。在这个标准和规范指导下,各种产品可以互通,有统一的产品衡量指标,这样领域才能做大。

DNS、HTTP、SQL,就是很好的案例。有了标准,也就建立起一个世界观。在统一的世界观下,大家才能越混越好。没有标准,只能是浑浊、黑暗的深夜,看不到头。

Print this entry

博客 技术行业观点

文章导航

Previous post
Next post

Archives

  • 2022 年 9 月 (2)
  • 2022 年 8 月 (2)
  • 2022 年 7 月 (2)
  • 2022 年 6 月 (1)
  • 2022 年 5 月 (4)
  • 2022 年 4 月 (18)
  • 2022 年 3 月 (13)
  • 2022 年 2 月 (6)
  • 2022 年 1 月 (8)
  • 2021 年 12 月 (14)
  • 2021 年 11 月 (7)
  • 2021 年 10 月 (19)
  • 2021 年 9 月 (25)
  • 2021 年 8 月 (45)
  • 2021 年 7 月 (33)
  • 2021 年 6 月 (10)
  • 2021 年 3 月 (2)
  • 2021 年 2 月 (8)
  • 2021 年 1 月 (8)
  • 2020 年 12 月 (20)
  • 2020 年 11 月 (11)
  • 2020 年 10 月 (14)
  • 2020 年 9 月 (33)
  • 2020 年 8 月 (17)
  • 2020 年 7 月 (21)
  • 2020 年 6 月 (20)
  • 2020 年 5 月 (10)
  • 2020 年 4 月 (17)
  • 2020 年 3 月 (18)
  • 2020 年 2 月 (11)
  • 2020 年 1 月 (7)
  • 2019 年 12 月 (13)
  • 2019 年 11 月 (14)
  • 2019 年 10 月 (8)
  • 2019 年 9 月 (9)
  • 2019 年 8 月 (13)
  • 2019 年 7 月 (12)
  • 2019 年 6 月 (20)
  • 2019 年 5 月 (18)
  • 2019 年 4 月 (18)
  • 2019 年 3 月 (11)
  • 2019 年 2 月 (12)
  • 2019 年 1 月 (15)
  • 2018 年 12 月 (15)
  • 2018 年 11 月 (13)
  • 2018 年 10 月 (13)
  • 2018 年 9 月 (21)
  • 2018 年 8 月 (29)
  • 2018 年 7 月 (23)
  • 2018 年 6 月 (21)
  • 2018 年 5 月 (5)

标签

AI (24) Apache Drill (11) 加拿大 (21) 宇宙与人生 (19) 情感 (281) 技术 (75) 抑郁症 (68) 新冠病毒 (13) 汽车 (30) 生活 (333) 职场 (25) 行业观点 (60) 读书文艺 (48)
©2025 司马顿的博客 | WordPress Theme by SuperbThemes