加入收藏 | 设为首页 |

火竞猜娱乐-Hadoop 的丧钟:并非公共云、而是复杂性

海外新闻 时间: 浏览:209 次

作者:Monte Zweben是AI数据渠道公司Splice Machine的首席执行官。

Hadoop正在慢慢地死去,可是丧命要素就隐藏在咱们眼皮底下。(提示:在标题中。)

杂乱性或许为Hadoop发行版敲响丧钟。

关于Hadoop的三大分销商而言,2019年可谓是困难重重的一年。从关于1月份完结的Cloudera/Hortonworks兼并的内部达观和外部置疑,到MapR在5月份发布行将完蛋的信函、随后被HPE收买,再到Cloudera在6月份十分糟糕的周三(股价暴降和首席执行官Tom Reilly离任),这个范畴尽是欠好的音讯。或许最有说服力的内容来自Cloudera的季度收益布告,该布告将Hadoop的应战描绘为需求云解决方案:

“尽管第一季度一些客户因意料新渠道的发布而挑选推延续订和扩展协议,然后影响了咱们的全年远景,但这种客户反应和热心证明了客户需求咱们方针商场中的企业数据云解决方案。”

火竞猜娱乐-Hadoop 的丧钟:并非公共云、而是复杂性

杂乱火竞猜娱乐-Hadoop 的丧钟:并非公共云、而是复杂性性很丧命

Hadoop在云端也很杂乱。

很多文章宣称,公共云已杀死了Hadoop,可是正如我之前在这里所写的那样,关于这种分布式技术的未来,我却持相反的观念。

Hadoop面对两大应战:

  • 运维杂乱性:DevOps面对的负担是,为依据商用硬件的大规模分布式体系保证可用性、高性能和安全性。
  • 开发杂乱性:开发团队面对的负担是,将许多不同的核算和存储部件绑缚起来,组成一种有用的解决方案,又没有数据移动形成的推迟。

公共云消除了运维杂乱性方面的应战。这对像Cloudera、Hortonworks和MapR这些很晚进入到云年代的Hadoop发行版公司来说是沉重的冲击。AWS、Azure和谷歌云渠道(GCP)简直消除了运转Hadoop生态体系中心组件的运维杂乱性。

可是我火竞猜娱乐-Hadoop 的丧钟:并非公共云、而是复杂性以为,即便在公共云,成功选用这项技术仍存在巨大的应战。AWS的产品页面上实践上有数百种核算和存储解决方案。咱们以为业界对开发人员过于依靠。

你是想要造车仍是开车?

运用Hadoop就比方用许多部件拼装一辆轿车。

Hadoop是一套很棒的技术组件!咱们用它来建立自己的数据渠道。可是与为Hadoop施行而苦恼的多位CIO攀谈后发现,我逐步以为这些组件或许实在太初级了。打个比方,咱们需求运送时,咱们依据运送需求购买轿车。咱们并不购买独自的轿车零部件,比方喷油器、车轴、发动机和悬架体系。咱们让那些部件由制造商来拼装。

相同,你要衔接AWS Dynamo来运转应用程序时、衔接AWS Redshift来剖析数据、衔接AWS SageMaker来构建机器学习模型、衔接AWS EMR来运转依据Spark的ETL等时,你就在拼装“轿车”火竞猜娱乐-Hadoop 的丧钟:并非公共云、而是复杂性。这便是“Lambda架构”所谓的管道胶带。

可是,这导致了杂乱性和数据移动。而数据移动导致了等候数据进行“ETL处理”时常常遇到的推迟。此外,创立这些架构所需的技术稀缺且贵重。

因而,不管是不是能够经过迁移到云端来消除运维杂乱性(这确实并非易事),你依然面对把一切核算和存储部件绑缚起来的集成杂乱性。

一种预先集成的包装办法

咱们的观念是,就像用于运送的“轿车”相同,公司需求大规模可扩展的基础设施来处理操作、剖析和机器学习等混合作业负载,但它们应该没必要自行拼装该有用功能。

咱们以为,Hadoop的某些组件很合适嵌入和集成,然后让公司既能够构建新的应用程序,又能够更新改造现有的应用程序。另一些公司以其他方法将这些组件集成起来。不过,咱们以为这种预先集成必不可少;除非预先集成遍及开来,不然 Hadoop仍很难,即便在公共云也是如此。