Arweave – 一种类似区块链的块状编织结构（Lightpaper）

转载：

摘要

经典区块链在数据存储方面存在几个众所周知的主要问题。这些问题需要在现有区块链之上集成新的第三方协议，因为链上存储的费用太高。因此，使用经典区块链，访问内容总是有成本的，并且内容永远不会永久存储。随着对数据存储的需求呈指数级增长，对可扩展、分布式、低成本的数据存储协议的需求势在必行。

在这项工作中，我们介绍了 Arweave，一种类似区块链的块编织结构。 Blockweave 是一个致力于首次以具有成本效益的方式提供可扩展的链上存储的平台。随着系统中存储的数据量的增加，达成共识所需的哈希值减少，从而降低了存储数据的成本。该协议现有的 REST API 使得在块编织之上构建去中心化应用程序变得简单，这反映了 Arweave 对开发人员社区的关注以及其推动采用新兴和新颖协议的能力。

在本文中，我们还引入了新概念，例如“block-shadowing”——一种灵活的交易块分配算法——它可以提高其他区块链的性能。有一种“分片”技术可以优化网络拓扑，并带来一种称为访问证明的新共识机制。

1.简介

在这个信息时代，我们经常屈服于这样的错觉，即信息已被阅读且可用，并且永远不会更改或丢失。这是根本不正确的[7]。在互联网上，我们建立了庞大的去中心化信息传播系统，我们还没有建立相应的永久知识存储系统。现代历史上的例子很多——从图书馆和档案馆的火灾[9,10,3,8]到专制国家的焚书（焚书和儒家）[12,11]，重要信息。当我们在 Internet 上查找信息时，我们依赖于获得对集中存储的数据的访问权限。拥有此信息的服务器的访问所有者可以随时撤销此权限。此外，由于在 Internet 上提供信息需要支付服务器费用和维护费用，因此网站通常会在资金不足时消失。

更进一步，许多政府正在采取越来越多的措施来审查和删除对 Internet 上政治敏感信息的访问 [13、5、4]。与媒体和新闻机构一样，我们曾经拥有不可撤销的实体副本，现在我们只需访问信息，然后将其丢弃。随着时间的推移，媒体组织更新其文章内容已成为家常便饭。虽然这比以前的系统提供了一些优势，但最值得注意的是它可以传播有关正在展开的情况的实时更新，并且还可能导致重要的上下文丢失或模糊。

2.背景

所有区块链创新都站在巨人的肩膀上，包括比特币本身、数据结构、分布式网络工作和密码学的交响乐。我们还试图通过解决现有区块链网络的特定缺点（即存储）来扩展空间，并采用一种新颖的交易速度方法。当今大多数区块链技术都坚持“全节点”必须维护整个区块链的副本以验证未来的交易，而使这成为可能的 Merkle 数据结构本身就是一项了不起的壮举，并增加了无与伦比的安全性，我们相信一些性能围绕这个过程的改进可以减少整个节点的同步负担，在第 4 节中，我们介绍了几种技术来解决块、节点和钱包的同步问题。

在存储数据方面，完整的区块链要求甚至可能成为现有区块链技术的障碍。就以太坊这种去中心化的世界计算机而言，使用其原生代币的存储成本令人难以置信。 Arweave 的主要动机是实现永久的、不可变的存储，就像它在以太坊中所代表的那样。然而，高昂的费用使得这种存储越来越不切实际。虽然可以在以太坊上存储数据，但由于数据存储成本，以前的尝试并不切实际。

其他区块链技术专注于改进节点之间的共识算法，尤其是 Stellar Lumens 和 dPos 架构，如 APo 和 Neo。虽然这提高了交易速度，但存储负担仍然是许多此类网络将面临的长期障碍。通过首先解决存储问题，我们体验了一些可用于促进高吞吐量货币交易的性能增强。

3.动机

我们设计并实施了一个区块链网络，永久低成本存储已成为现实。将存储访问纳入共识，结合新颖的交易捆绑方法和任意大小的块，创建了一种高吞吐量的加密货币，其性能将优于比特币 [10] 和以太坊 [12] 等其他加密货币，它已经得到改进。过去，档案（互联网或其他）通常由单一机构（甚至个人）维护，因此容易受到两种主要形式的操纵。第一种是通过修改文档存储过程中的文档[2]。第二个问题是文档在进入存储之前可能已被伪造或修改 [1]。例如，许多归因于苏格拉底的作品被认为是他的门徒写的[6]。 Arweave 解决了这两个问题。一旦文档存储在组织上，它就会被加密并与组织上的每个其他块链接。这确保了任何更改文档内容的尝试都会被网络检测到并拒绝。这样，就不可能破坏组织信息。 Arweave 是 Internet 的可浏览姊妹网络，可提供 Internet 迫切需要但目前缺乏的长期、永久的数据存储。

Arweave 系统的关键组件旨在使开发人员能够轻松构建与网络数据交互、创建和使用数据的应用程序。这些使用与语言无关的 REST API 构建的应用程序将充当网络中的节点以侦听网络。这些应用程序的功能将是广泛而多样的，从分散和不可变的社交网络到讨论网站和新闻聚合器。为了提交信息进行编织，需要少量的代币。这些代币将用于支付矿工维护组织和网络以及抑制垃圾邮件传播的工作。这代表了对典型集中式存储系统的显着改进。同样，它使个人能够确保他们关心的信息能够长期存在。随着网络和文档将提高代币的价值，维持编织的动力也将如此。随着这些影响的加剧，我们预计 Arweave 代币将成为信息时代的宝贵资产。与大量重要文件密不可分且有内在联系。

4.技术

Arweave 建立在四项核心技术之上，这些技术协同工作以在新区块链上创建低成本、高效率的区块链。吞吐量的持久存储。这些创新是：

虽然这些技术相互交织，但每种技术都在创建新型网络以实现快速事务处理和低成本持久存储方面发挥着关键作用。

4.1 块编织

大多数区块链的一个众所周知的特性是，每个区块都必须存储起来，才能充当“全节点”参与验证交易。 Arweave 并非如此。

取而代之的是，Arweave 引入了两个新概念，允许节点在不拥有整个链的情况下执行关键网络功能。这些概念中的第一个是区块哈希列表，它是所有先前区块的哈希列表。这会验证旧块并有效地评估潜在的新块。这些概念中的第二个是钱包列表，它是系统中所有活动钱包的列表。这允许在不占用最后一个交易使用的块的情况下验证交易。使用这些由网络同步并可由矿工下载的区块链和钱包列表，节点几乎可以立即加入网络并参与挖矿组织。

此外，Arweave 使用“持续验证”系统，而不是让每个矿工在进入网络时验证从基因块到当前块的整个块结构。当矿工加入 Arweave 网络时，他们将下载当前区块并从当前区块中检索区块哈希和钱包列表。由于这些区块链和钱包列表通过每个区块的延续不断验证，新矿工可以立即开始参与，而无需验证整个组织。当然，任何希望执行该验证的节点都可以使用全编织验证。通过这种方式，矿工可以验证新交易，而无需查找与钱包相关的先前交易。相反，矿工只需要验证交易是否已由钱包所有者的私钥正确签名。为防止召回区块伪造攻击，区块哈希表的哈希值将随每个新区块一起分发。

Arweave - 一种类似区块链的块编织结构（Lightpaper）

图 1：blockweave 数据结构示意图，显示了前一个块的链接和回调块。

4.2 访问证明

Arweaves 共识机制基于访问证明 (PoA) 和工作证明 (PoW)。虽然典型的 PoW 系统仅依赖前一个块来生成每个连续的块，但 PoA 算法会合并来自随机选择的前一个块的数据。结合块编织数据结构，矿工不需要存储所有块（形成区块链），而是可以存储之前的任何块（由 PoA 和野火驱动），从而形成块编织，或块编织。通过获取当前区块的哈希值并计算其相对于当前区块高度的模数，可以选择要合并到下一个区块中的“调用区块”。

调用块中的交易与当前块中的交易进行哈希处理以生成下一个块。当矿工找到合适的哈希值时，他们会将新块与回调块一起分发到网络的其余部分。这使得网络的其他成员，即使是那些没有自己的回调块副本的成员，也能够独立地验证新块是否有效。

4.3 野火

作为数据存储系统，Arweave 不仅需要存储大量信息的能力，还需要以最便捷的方式提供这些数据的访问权限。此外，Arweave 系统的一个重要部分是在请求时免费访问数据。随后，Arweave 增加了一层激励机制，鼓励矿工自由分享数据。

Wildfire 是一个系统，它通过将网络上数据请求的快速满足作为参与的必要部分来解决分散网络中的数据共享问题。 Wildfire 通过在每个节点本地创建一个排名系统来工作，该系统根据它们响应请求和接受来自其他对象的数据的速度来确定新块和事务分配给对等方的速度。对等点按其排名顺序提供服务，性能较差的对等点从网络黑名单中删除。在经济上激励同行，让他们在彼此的排名中保持良好的地位，以便他们可以花最多时间有效地挖掘。

Arweave - 一种类似区块链的块状编织结构（Lightpaper）

图 2：野火系统示意图。每个节点都根据他们之前对其性能的评估对其对等节点进行排名。

这极大地鼓励了系统中的节点以对其他对等点最友好的方式运行，而不会影响接收数据的人，甚至可能是那些发出一次性请求的人。成本。更进一步，它创建了一个适合最有效的全局路由的网络拓扑，因为允许在系统中快速传输新数据的连接是首选。实际上，Wildfire 构建了一个网络拓扑，该拓扑映射了 Internet 的底层物理连接基础，以适应其架构随时间的变化。总体而言，Wildfire 系统确保了新块的高速分发，并以低延迟保持数据可用。

4.4 块阴影

在传统的区块链系统中，当挖掘一个新区块时，无论一个节点已经拥有多少块数据，每个完整的区块都会分发到网络中的每个节点。这不仅浪费了大量数据，而且大大减慢了网络就区块达成共识的速度。因此，Arweave 引入了新的区块影子技术，不仅可以最大程度地减少数据浪费，还可以实现快速的区块共识和巨大的交易吞吐量。

Blockshadowing 的工作原理是部分取消块中的交易，并在节点之间仅发送一个最小的块“影子”，允许对等方重建完整的块，而不是传输完整的块本身。这些区块影子专门包含钱包列表和哈希列表的哈希，而不是区块内的交易，只包含交易哈希列表。根据这些信息（可能只有几千字节），一个已经拥有区块中所有交易以及最新哈希和钱包列表的节点可以重建几乎任何大小的整个区块。为了促进这一点，节点之间也会立即共享交易，但只有在高度确定网络中的其他节点也有交易后才会尝试将交易放入区块中。

这个区块分发系统的结果是一个快速、灵活的区块分发系统，它可以让交易尽可能快地在网络上分发，并且可以以接近网络的速度达成共识。此外区块链存储数据太大，该系统可确保在网络使用率高时交易费用不会显着增加，并且在乐观的 100mbps 网络上交易吞吐量的理论限制约为每秒 5000 笔交易。

4.5 民主内容政策

为了支持网络中的个体参与者自由控制他们存储的内容，并让整个网络以民主的方式运作拒绝广受谴责的内容，Arweave 软件提供了黑名单系统。每个节点主节点都有一个（可选的）黑名单，例如它不想存储的某些数据的哈希或子字符串，并且永远不会写入与此匹配的磁盘内容。这些黑名单可以单独创建、协作创建或从其他来源导入。

在本地级别，这些黑名单允许节点控制自己的内容，但这些本地拒绝的总和也会创建网络范围的内容拒绝。超过一半被网络拒绝的内容不仅会被这些单个节点拒绝，而且会被整个网络拒绝。这创建了一个民主的全网内容拒绝系统，可以将来自不同文化和观点的黑名单组合成一个被普遍删除的特定内容的小黑名单。这个近乎普遍的民主黑名单使网络免受少数行为者的干扰，同时仍然允许它以民主方式保护自己的自由。

4.6 讨论4.6.1 存储池

对 Arweave 的潜在理论攻击 矿工可以合作维护一个组织的单个副本，他们都可以使用该副本来检索召回块，这已经变得非常大。虽然这种行为乍一看似乎是问题所在，但事实并非如此。如果大多数矿工使用这种“存储池”，其他矿工存储稀有区块的动机就会增加。这是因为如果中心化存储不可用，拥有稀有区块副本的矿工很可能会在该稀有区块将来成为撤回区块时获得奖励。这种自私行为为网络提供了一种风险抵消能力，该能力随着数据丢失（由集中式存储池引起）的可能性增加而扩展。

5.构建应用程序

您可以使用简单的 REST API 来构建使用您的组织的应用程序。 REST 端点是 HTTP，可以直接访问网络，因此任何 Arweave 钱包都可以读取和写入数据。客户只需通过 Chrome 扩展程序或带有 Arweave 钱包集成的本机应用程序将他们的 Arweave 钱包带到网站，即可从网络读取数据或将数据写入网络。可以在一个组织之上构建多种架构。

5.1 客户端-服务器架构

传统的 Web 或本地应用程序具有客户端-服务器架构。在云上运行的服务器将“启用 Arweave”，与一个或多个 Arweave 节点交互，代表客户端读取和写入数据。这些服务可以是将客户端作为访问者的网站，也可以是将客户端请求传递给开发人员操作的服务器的本地应用程序。这些服务器将需要维护 AR 令牌的浮动，以确保可以处理写入数据的请求。使用此模式从 weave 中读取数据仍然是免费的。

这种架构的盈利潜力很简单。开发人员需要通过广告、每月订阅或直接付款来获得更多价值，而不是使用为其存储提供动力的 AR 代币数量。持久不可变存储有许多应用。例如，存储抗量子、加密的法律案件文件、身份或医疗记录。虽然一些法规需要适应敏感信息存储、地理范围和被遗忘权，但也可以通过加密和密钥管理来缓解这种情况。多个创收模型可以在组织之上分层，主要价值主张是链上永久不可变存储。

5.2 无服务器架构

客户端可以通过支持 Arweave 的浏览器访问应用程序，并且应用程序可以自行运行。由于浏览器的普及和 Web 技术的普及，将这些应用程序存储为使用 HTML/CSS/JS 的标准前端 Web 应用程序是最有意义的。但是，如果客户端的本机应用程序包含针对不同语言（如 LLVM 字节码）或脚本语言（如 Python）的解释器/解析器，它们可以在客户端上运行，并可能受益于 Web 应用程序中的相同可升级性程序。

开发人员不仅可以将无服务器应用程序部署到 Arweave，而且这些应用程序还可以将持久且可证明的状态写入网络。由于 Arweave 没有强加特定的数据结构，因此开发人员可以自由地以对他们最有意义的格式存储数据。如果高度优化的 Merkle 结构（例如以太坊虚拟机 (EVM) 中的结构）最能满足应用程序的需求，则可以轻松实现。如果开发人员正在寻找更多的文本 blob 样式存储，这也是微不足道的。

无服务器应用程序非常有趣，因为它们可以编写自己的数据。例如，基于分布式计算将允许经过训练的神经网络存储其结果，并可能与其他网络共享其结果模型。

5.3 基于事件

在 Twitter 的早期，有一个蓬勃发展的山寨行业应用生态系统，开发人员在“firehost”API 之上开发，将推文流式传输给任何愿意付费访问的人。现在情况已不再如此，在 Facebook Cambridge Analytica 惨败之后，这些为客户提供数据分析的服务的许多“值得信赖的合作伙伴”被任意关闭。

Arweave 是一个去中心化的公共数据网络，因此它永远不会审查数据访问或数据本身，除非被民主拒绝。这意味着开发人员可以在 Arweave 之上自由构建，并可以使用 REST API 监听传入数据。当事件被触发时，监听器将为订阅这些事件的客户端触发相应的函数调用。开发人员不必担心被限制或关闭，因为网络被激励为他们提供对数据馈送的可靠访问。

5.4 去信任和可证明

应用程序架构可以设计为轻松实现需要存储并保证防篡改的信息。此外，可证明公平的运行时代码可以存储在组织中并由客户直接解释。使用内容的事务 ID，客户端可以在计算之前验证编织中的有效负载，并确保它们运行的​​代码既不可信又可证明是公平的，即其他客户端运行的代码相同。这为去信任的随机数生成器和服务于其他区块链网络的其他基于预言机的服务开辟了有趣的可能性。

6.用例

持久性存储有多种用例。具体而言，法规要求将文件存档一定年限。在充斥着回音室和假新闻的现代世界中，可验证的媒体报道、学术研究和不变的记录变得越来越重要。

6.1 真实性

法律体系经常与文件真实性的诉讼纠缠在一起。 Arweave 通过提供来自作者的任何数字内容的不确定和可验证的存储来解决这个问题。 2017 年，特拉华州裁定区块链证据在法庭诉讼中是可以接受的。这些记录可能会大大加速有关艺术归属和知识产权纠纷的争议。对于创意经济来说，效果是双重的，让艺术家可以立即将他们的作品转让给他人，避免无聊的诉讼。

7.结论

我们提出了一个新的区块链网络，支持低成本的不可变数据存储和高吞吐量的加密货币。 Arweave 协议是通过使用一种名为 blockweave 的新的类似区块链的数据结构来实现的。通过区块隐藏灵活分配大小交易；一种新的共识机制，可以减少对工作量证明的依赖区块链存储数据太大，称为访问证明；以及称为 Wildfire 的自我优化网络拓扑。就像比特币网络一样，我们孤立的技术进步并不是非常复杂。但是当组合成一个完整的网络时，涌现行为是非常强大的。从测试网结果可以看出，在公共、无需许可和去中心化的网络协议上，安全、可靠和不可变的数据存储是可能的。除了数据存储周期之外，任意大小的块还可以实现安全的高吞吐量加密，而无需借助复杂的共识机制，例如 dBFT 或 dPoS。

Arweave 通过其 REST API 与互联网结构紧密相连，并且正在使用 Arweave 主网建立一些创收业务。 Arweave 与其他流行的加密货币、安全计算和智能合约协议之间的桥梁将使低成本和永久数据存储轻松集成到去中心化应用程序的技术堆栈中。一个完全全球化的信息和金融交换世界需要永久记录。通过结合密码学和分布式系统，我们为这些永久记录提供了基础。我们希望 Arweave 将成为现有互联网协议（如万维网）的必要伴侣。与他人合作，建立一个更加开放和透明的未来。

8.参考Aweave白皮书地址：