测试点对点(p2p)系统非常困难。可靠且可重复地这样做更加困难。今天,我们向世界发布了Testground v0.5。对于我们以及更广泛的p2p生态系统而言,这是一个巨大的里程碑。
在这篇文章中,我们将带您了解什么是Testground,如何入门,接下来要做什么以及Testground的发起背景。
如果您遵循IPFS v0.5.0发行公告,则将听说有关Testground的信息。这是我们工作的重要组成部分,并实现了质量、速度和可靠性方面的重大改进。没有Testground,我们将无法大规模测量、迭代和验证v0.5.0中DHT和Bitswap的巨大改进。
在评估我们最新的libp2p gossipsub 1.1安全扩展中, Testground也是必不可少的。它使我们能够模拟一系列攻击,超过1万个实例集群,塞满了sybil和节点,用pubsub消息重击网络,记录每个事件以便以后进行分析和比较(很快会收到报告)。
建立防弹,不可阻挡的网络和系统雄心勃勃的使命需要坚如磐石的测试平台。
Testground作为从IPFS项目中孵化出来的,我们已经对Testground做了大量的测试,使其对分布式系统和P2P社区能够实现旗开得胜。我们希望Testground能够为分布式的互联网设计p2p和分布式系统的方式带来巨大的飞跃。
什么是Testground?
Testground是用于大规模测试、基准测试和模拟分布式和p2p系统的平台。它被设计为多语言且与运行时无关,可根据需要从2个实例优雅扩展到10k个实例。
Testground旨在支持各种测试工作流程,例如实验/迭代开发,A / B测试,向后/向前兼容性测试,互操作性测试和CI工作流程。
在Testground之前,分布式测试曾经意味着部署守护进程。您将通过API公开每个单独的内部组件、方法和配置参数,并通过充当外部脚本来命令和控制它们。
在Testground中,编写测试计划就像编写单元测试一样简单。
Testground方法对开发人员而言非常自然。为什么?因为测试计划直接调用您的内部API,并且它们利用分布式同步API与参与测试运行的其他实例进行协调。因此,测试用例变成遵循精确编排的分布式状态机。
目前,您可以在Go中编写测试计划。但是为另一种语言/运行时实现Testground SDK实在是太简单了!实际上,该社区正在利用针对节点和浏览器的TypeScript SDK。
由于真正的分布式系统受网络状况的影响,因此Testground可以通过翻转连接,在运行时更改IP地址或设置延迟、抖动、带宽等来影响网络流量。
而且,由于并非所有测试方案都需要数千个实例,因此您可以在本地将测试计划作为可执行文件或Docker容器运行,从而在需要扩展到约300个以上实例时,节省了诉诸集群部署的开销,时间和成本。在大部分情况下,Testground支持Kubernetes。
为了说明上述内容,请考虑一个200实例的测试运行。使用Kubernetes,可能需要1-2分钟才能将Docker映像运送到远程注册表,安排Kubernetes作业并等待工作负载开始。使用本地Docker运行程序,该开销为零,并且运行是立即的。听起来似乎并不多,但是开发人员知道由于一千次削减(或上下文切换)而导致的失败,这种延迟对一个人的生产力和工作流程造成了影响。
最重要的是观察管道(实验性的)。测试计划可以记录有关被测系统的原始数据点或汇总指标(直方图,EWMA,计数器等),并发出任意输出资产。Testground平台将收获它们并将其用于一站式收集。
如何入门
请尝试以下操作:
转至我们文档的入门部分。
通读Testground背后的概念和体系结构。
确保检查GitHub上的testground / testground回购。
看看一些示例测试计划。
探索Testground SDK的参考godocs,该库将用于编写Testground测试计划。
接下来会发生什么?
Testground团队每两周进行一次灵活的调整:
在接下来的几周中,我们计划通过扩大整个代码库的测试覆盖率来巩固Testground的基础。我们亲切地称此阶段为“测试试验场”。
在该sprint的尾端,我们将生成v0.7的Testground Core,它将用作我们计划开发的下一个功能的管道:
分时群集部署。
与GitHub紧密集成(以便开发人员可以@mention Testground并自动测试其PR)。
更好的基于矩阵的形式以可视化测试运行结果。
不用多说,欢迎您随时加入!继续阅读学习方法。
流程图
加入我们
Testground是一个开放的社区,我们所做的所有工作都是公开的。要了解团队正在做什么,您可以查看ZenHub董事会,并检查各个里程碑的范围和进度。
如果您喜欢冒险,并愿意帮忙编写一些代码,请查看标有“ good first issue”标签的问题,以开始使用!
如果遇到问题,请检查问题是否已经提出,或者通过GitHub问题跟踪器随意提出。
团队很想听听您在项目中如何使用Testground。通过Twitter在@run_testground上伸出手!
Testground的产生背景
几个月以来,我们(IPFS和libp2p核心团队)一直在设计和讨论想法,以提高DHT的性能,保护我们的pubsub协议并加快内容传输。
多数讨论导致了实质性的重新设计提案,最终又回到了最初的问题:
我们如何在不影响实时网络的情况下进行测试?
libp2p和IPFS项目的工程师倾向于采用科学方法,这是我们的DNA。我们阐明假设,收集证据,提出假设,对设计进行推测,并通过基准测试和量化其对系统的影响来对建议的更改进行迭代。
提出和合并影响核心子系统的请求请求并不是一件容易的事。我们努力采取坚实的步骤。不幸的是,我们缺乏能够做到这一点的工具,这正在减缓我们的进展。
合并看似健全的补丁并引起副作用或退化的风险正在恶化。微观级别的单元测试和基准测试不足以预测或预测宏观级别的分布式结构化或非结构化网络(在复杂的网络拓扑中有成千上万个节点)的突发行为的变化。
我们需要具备以下能力:
在数千个节点的专用网络上启动测试工作负载。
行使任意的提交或分支以获取有关其行为的指标。
对变更集A和B进行迭代,启动相同的测试计划,以将结果与基准进行比较。
衡量网络对客户流失和连接问题等情况的反应。
测量节点升级对整体网络运行状况的影响。
验证旧节点和升级后的节点可以有效地互操作(避免分区)。
模拟变化的网络状况,例如IP地址更改,延迟,带宽等。
一致、可复制的方式进行所有这些操作。
我们寻找现有的工具来释放我们的进度,但是找不到能够使我们做到这一点的平台。因此,我们建立了Testground。但是我们不是从零开始。Testground站在Kubernetes,Docker和Redis等OSS巨头的肩膀上。并且我们之前也曾进行过实验,例如向InterPlanetary TestLab(IPTB)学习并进行迭代。
从零日开始,我们意识到Testground对于更大的分布式系统和p2p社区的价值。因此,我们从一开始就使其与项目无关。
尽管是从IPFS和libp2p项目中诞生的,但Testground中的任何内容都不取决于libp2p或IPFS。
您不必使用IPFS或libp2p即可从Testground中受益,以测试您的p2p网络(无论是dapp,区块链还是其他p2p协议)!
我们希望Testground能够像对我们一样为您加速开发和试验,并帮助您获得信心和放心,如果您在改进系统,提交后再次提交,PR后PR,发布后释放。