云扩张的物理学。

基础设施（34）， 云（3）

新公司的第一个拼图正在调试哪个嗡嗡的启动时代，他们成立。Ruby在Rails？一些MongoDB或RIAK？啊，clojure，这是一个激动人心的时刻。技术堆栈甚至是一个早期工程师之前工作的强大指标。

每年发布许多新技术，它应该更加努力地将公司放入他们的时代，但我发现它变得越来越容易。javascript框架的硬盘驱动器已经帮助，但最近最好的指标已经在内部管理了哪些组件，并且已被移动到云端。最近，VMS向容器的移动具有指纹识别公司，肯定是从服务器到VM的前一步。

思考这种趋势如何重新定义基础设施工程在云端的公司的角色是特别感兴趣的。云将如何稳步推进我们未来的工作，以及我们今天可以做些什么来准备这些变化？

云扩展原则

云正在根据这些原则进行：

  1. Cloud providers will launch an accelerating number of exploratory products to test for value and product-market fit. These exploratory solutions require architectural decisions that new companies adopt easily, but are challenging to retrofit.ECS.从几年前探索集装箱机会，这是一个很好的例子，它在发射时有一个岩石价值主张，随后已经进入自己的。AWS lambda，Azure函数谷歌功能是今天这个空间中解决方案的一个很好的例子。
  2. Most of these exploratory solutions will eventually convert into something sufficiently commoditized and usable that even many existing companies are able to adopt it. Today, the time to evolve from exploratory to mature is about three years.
  3. 随着云提供者自己的成长，他们会发现越来越难以优先考虑小机会（包括，他们目前支持的一些机会无法证明支持）。
  4. Over time, cloud providers will solve any generalizable problem, even if it’s incredibly hard, but won’t solve any specialized problems, even if they’re very easy. The positive example of this isAWS KMS.提供硬件安全模块，负面示例是Lambda仍具有非常受限的语言支持。警告：他们非常愿意为大型用户做自定义工作，所以这一原则被淘汰出模糊。
  5. 随着云采用的发展，越来越多的云提供商的增长机会将来自令人信服的公司迁移现有的云提供商。这已经以争吵方式重写了他们的优先事项：
    • 降低迁移成本，特别是通过kubernetes apis，特使等的常见接口，
    • 提供最优值，特别是在可靠性，安全性，延迟和成本中，
    • 提供差异化​​的能力，以激发内部倡导者的移动，例如GCP的机器学习策略Beam。

内部基础设施的竞争优势

虽然云提供商对内部基础设施提供商的许多优点，但仍然存在许多结构优势，这是一个公司的特定基础架构需求负责：

  1. 我们不需要云提供商的规模经济;我们有自由做定制和专业化的工作。Azure函数，AWS Lambda和Google功能是一个很好的例子：考虑到他们所需的语言和语言沙箱支持的程度，他们只能提供几种语言的实现。我们可以支持我们公司想要的任何语言。
  2. 我们有机会understand our business domain deeply. We can target the specific compliance regimes, threat models, testing and other aspects that are unique to our company’s business.
  3. 我们直接和频繁地访问我们的用户。我们可以花费更多的时间理解，专门从事我们的工作来支持使用它的较小，更具体的人们。

Where should we keep investing?

建立云和内部提供商的竞争优势，让我们探索一些普通的基础设施领域。对于每个问题，问题是他们是否仍然值得投资，如果不是，我们如何开始脱离。

网络

网络是如此复杂，似乎不太可能云可以重现其功能。这在很大程度上是真的（云上的多播，任何人？），但它没有制定我怀疑网络设备提供商的努力：历史上是网络层问题的要求越来越多地将堆栈向上移动到应用层中（例如，除DNS之外还提供“服务发现服务”的特使）。它已经可以构建和维护复杂的基础设施在它下面对网络的理解很少。

网络配置周围的云刚性不灵活性（特别是在早期云中，虽然略微不太真实AWS vpc.那GCP vpc.而且类似的产品已扩展其功能）为此转移贡献，要求基础设施提供商在新的网络约束周围创新，并减少网络配置依赖项。

总的来说，我预计云在接下来的几年内吸收大多数网络功能：

  • 云已经赢得了核心网络质量，尤其是GCP，具有快速，可靠的连接，大多数公司可以合理地维护更多的进入点，而且更快地反应路由问题，而不是您可能提供的问题。
  • 基本CDN功能是，云上的速度比自己的方式更简单，更便宜，而不是大多数专用CDN提供商便宜。
  • 云正在赛车，以添加边缘计算容量，如Lambda @ Edge，方便的便利性意味着专用边缘计算提供商喜欢快速andCloudFlare工人将不得不为让人们留下来提供更大的价值或便利性，这似乎相当不可能。
  • DDOS缓解，长时间的公司专业粗略似乎位于云产品等云产品阿里巴巴云的反DDOS那AWS盾牌那Azure的DDOS保护。The clouds already need that capacity to mitigate DDoS attack against their own assets, meaning the incremental cost for them to offer these products is very low relative to a dedicated companies that have to maintain dedicated fleets for mitigation.
  • Because networking is increasingly a commodity rather than a differentiator for the clouds (and increasingly their competition is each other, and not a customer’s existing physical infrastructure), they’ll provide cloud-agnostic interfaces and tooling likeCNI.要使网络设置更容易迁移。我希望Kubernetes展示的模式在这里重复常见的管弦乐法接口，也许是这样的Itsio.。*Even with your own hardware, the clouds have a unique economy of scale to push on the boundaries of performance on the basics: e.g. Azure using FPGA to drive 30Gbps between VMs on TCP/IP between VMs isn’t something you’re likely to do.

Internal infrastructure providers can still provide value, particularly by grappling with the less scalable complexities that clouds shirk:

  • 写作和维护健康检查将保持足够的复杂性，并且特定于个别申请抵抗云产品的商品化。
  • 用户身份，服务身份和周围问题空间（Authn，Authz，SSO）的纯粹复杂性继续抵制云的批发流动，我怀疑这将继续存在几年。AWS IAMandGCP IAM将继续更接近边缘，但将受到无限可配置性对企业对较小公司来说的必要性的限制。
  • Multi-region redundancy will continue to require application layer changes, and latency across regions will continue to be constrained by the speed of light.
  • 像Vertica这样的以前的Eras开发的一些企业软件需要网络调整以设计为设计。它将是一个有趣的种族，看看云是否提供执行此调整的能力，或者如果现有云上的次优性能，请在此之前终止这些产品。

Overall, networking, routing and related concerns will be significantly commoditized over the next few years.

Compute

计算可以松散地闯入编排，构建和部署。虽然每个公司必须为这些问题提供一些解决方案，但大多数小公司都有简单的要求，并且通过自传PAAS提供商满足了他们的需求Heroku很长一段时间。大公司继续延伸到大多数PAAS提供商中，寻求增加的配置，降低成本和足够的便携性，以防止供应商锁定。

云提供商已经达到了足够的规模来使优化少数公司可以制造，他们的购买规模允许他们拥有SSD市场。最近，亚马逊宣布AWS eks.，加入Azure Aks.andGKE成为第三大云提供商提交to supporting Kubernetes as an interface, and providing a unified compute interface to the cloud. This unified interface will reduce cross-cloud migration costs, and signal that cloud providers view compute as a commodity where they’ll compete on value. This reduction to the interface is especially obvious in projects like虚拟kubelet.，其中与kubernetes界面耦合的隔离和可扩展性Azure ACI.orAWS Fargate（例如，如果你怎么办没有必须在Kubernetes集群中解决网络安全问题吗？也许很快你就不会！）。

云提供商赢得了编排，但另一个途径仍然成熟投资。

  • 构建和配置的连体问题，尤其是集装箱图像管理，将仍然是一项重大挑战。保持最新图像，安全地部署新版本的图像，存储图像可以快速下载的图像（特别是在地理区域）都是难题。

    云提供商将在未来几年内解决此问题（特别是图像存储），但纯粹的复杂性将防止商品化。这是一个区域，我预计一些非常受限制的新模式从允许新开发的应用程序的云中出现以减少其负载，但这需要足够的变化来防止迁移现有软件。这里的防守护马者是快速构建通常是危险的，安全构建通常很慢：我们需要在云的商品化之前，在这个空间中需要看到改进的技术。

    作为一个例子，今天大多数云构建器都不会缓存Docker图层，因为创建它们的操作并不一致地可重复可重复，使其以微妙的方式毒害图层缓存。这种无法缓存积极的缓存，使广泛的产品显着慢于自定义构建解决方案。看到它会令人兴奋Bazel’s ideas竞争作为安全和快速应用构建的可能路径，特别是当与集装箱采用合并应用程序和环境结合到原子伪影时。

  • 应用程序配置，例如提供的领事orettd.，将继续紧紧耦合应用程序代码和行为，以防止云的商品化。期望看到秘密管理的工具AWS KMS.要在随着时间的推移致力于解决整个应用程序配置空间的功能。

  • 多区域冗余仍然需要应用程序级架构和设计，并且我希望在最终在存储层中商品化之前保持真实。GCP正在尝试“默认情况下的多区域”策略，最可见的云扳手offering, but at this point adopting it would require completely buying into their platform and accepting their vendor lock-in. I’m also not familiar with many companies using that offering, yet, as it’s quite new. Ultimately, I don’t think GCP’s multi-region by default strategy can succeed until other cloud providers offer similar offerings to defray the lock-in risks, and consequently I think this is a safe area for investment for internal infrastructure for the next several years.

贮存

One of AWS’ earliest successes was their简单的存储服务，廉价地存储文件和可靠地存储文件。产品继续扩展到NoSQL产品，关系数据库，以及最近，最近队列（Kinesis那酒吧/亚）。

内部投资仍有很多领域成熟：

  • 虽然将商品化将被商品化，但管理辅助指标将与应用程序逻辑充分耦合，以防止被云吸收。(I would argue that key-value point lookups are not fully commoditized yet due to the price advantage of running your own e.g. Cassandra cluster versus using Dynamo, but I expect cloud providers to erode this price advantage over the next five to ten years, and honestly I suspect they’ve already eroded the fully loaded cost.)
  • 除了云扳手之外，云层的强度仍然难以实现。
  • 模式注册/强制/迁移非结构化数据，尤其是围绕队列的数据。
  • Graph databases continue to be extremely useful for some categories of machine learning and network problems, and so far there are no strong offerings in the cloud (e.g.泰坦。)
  • 存储是现有的多区域产品最有限的位置。任何合理的储存多区域故事都将继续需要重大内部投资。云扳手和CosmoDB这里有趣的例外情况，虽然我不知道在规模上广泛采用。
  • Compliance and data locality requirements likeGDPR继续比云更快地发展，目前能够支持。我预计云提供商的长期商品化。即使在今天，他们也在更好地旋转引入新数据和合规立法的国家的新地区，但他们还没有做得很多才能捕捉这个机会（尽管天空气在曲线上出现稍微出现稍微出现些什么）。
  • Managing database snapshots remains a complex, nuanced area as well. The cloud has built primitives, but they still require stitching together and maintenance for e.g. managing across environments.

批次，流媒体和机器学习

机器学习最近越来越巨大，云提供商渴望服务。也就不言而喻，更传统的数据处理领域不迅速发展，批量和流化计算也在不快发展。

Perhaps the common theme is that they are evolvingtoo quickly，具有比标准更多的实验：

  • 从字面上从AWS次数那来自GCP的数十个那and更多来自Microsoft Azure。
  • 谷歌数据流is a powerful and low-maintenance solution for bounded and unbounded event computation.
  • AWS Ironman.是一个完整的机器学习生态系统。
  • I think theAWS深度学习amis值得称之为一个有趣的戏剧，并在支持Google的TensorFlow API时，一个有趣的戏剧和API标准化的一个很好的例子。管理自己的想象，特别是每个月或两个人继续推出新的释放新版本的所有数十个，这是一个挑战性和辛苦的运动，并且是一个比可能是显而易见的更有趣和潜在的有益的实验。
  • 自定义硬件，就像谷歌的TPUS.是一个云提供商将深入竞争彼此竞争的地方，内部提供商根本无法获得经济竞争的地方。

也就是说，这些平台中的大多数仍然非常自以为是，受限或缺乏广泛的采用。鉴于数据生态系统的发展程度如何发展以及大数据迁移往往是多么慢，我认为这个空间将继续开放内部投资。（即使是Hadoop生态系统管理如Hadoop生态系统管理，你真正想要充分商品化的东西也在继续在规模上进行内部注意力。）

这里有很有趣，在这里快速发展的外部因素，就像上述GDPR一样，导致一波相关解决方案Apache地图集。When you combine these factors with where the edges of data is going, into avenues like tuning machine learning models, data continues to be ripe for internal investment.

工作流，工具和用户

把它全部拉到一起，我想要强调的消息不是云正在吃我们的职业，而是我们有一个非常特殊的机会，让我们的焦点和策略利用云。通过挑选正确的策略和投资领域，我们将自己定位在明天做得更加有趣的工作，对我们的用户和我们公司的公司更有价值。

By focusing on the workflows (alerting, incident management, debugging, deployment, build, provisioning/scaling/deprecating applications, …), the interfaces (containers, protocols, CLIs, GUIs …) and our users’ needs: the most interesting problems are still to come.

谢谢鲍比那凯特那拉赫兰那尼尔那Vickiand乌玛您的帮助。