Hadoop发生了什么？

模式读是一个错误

首先，所谓Hadoop的最佳功能竟是它的致命缺点。随着写模式限制的解除，TB级的数据结构化或非结构化的数据写入到数据湖中。由于Hadoop的数据治理框架和功能仍在设计，企业越来越难以确定其数据的血缘关系，导致它们对自己的数据失去信任，数据湖变成了数据沼泽。

Hadoop的复杂性和管道式的计算引擎

其次，Hadoop发行版中提供了一些列的开源计算引擎，例如Apache Hive，Apache Spark，Apache Kafka。这些计算引擎操作起来很复杂，需要专门的技术才能把这些技术串联起来，但比较困难。

错误的焦点 - 数据湖与应用程序

第三点也是最重要一点，数据湖项目开始失败,因为Hadoop集群往往成为企业数据流管道(过滤，处理，传输)的gateway，然后数据会转出到数据库和数据集市用于下游汇报，并且几乎从未在企业中找到真正的业务应用程序。结果，数据湖最终成为一组庞大的不同计算引擎，在不同的工作负载上运行，所有这些引擎共享相同的存储。这些很难进行管理。生态系统中的资源隔离和管理工具正在不断完善，但仍有很长的路要走。企业无法将注意力从使用数据湖作为廉价的数据存储库转移到使用数据和支持关键任务应用程序的平台。

（编辑：平顶山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!