什么是分散式存储? :由Filecoin进行深入研究
目录定义
去中心化存储系统在形成单一存储网络的许多独立运营商之间分担存储责任。
去中心化存储简介
现代计算是高度集中的。在过去的十年中,一些大型云公司通过将传统计算机系统分割成基于云的产品而获得了巨额财富。现代网络反映了这种集中化——当其中一个提供商发生故障时,这就是一场重大的互联网事件。 (如果您不相信我们,我们想提醒您 2017 年的Amazon Web Storage 中断、2020 年 6 月的 Github 长时间中断,或者 2020 年 10 月微软的多周云服务问题。)
我们在这些服务上托管的内容也好不到哪儿去,它们隐藏在经常损坏的脆弱链接后面。这对我们构建的计算机系统以及日益依赖计算机系统的社会具有深远的影响。
集中式架构之所以成功,部分原因是它们更容易构建。
为了阻止整合,开发人员需要同样易于组合的基础性新构建块。 去中心化存储就是这样的基石之一,是更加分布式的网络的先决条件。
去中心化存储的基本特征
设计去中心化存储系统有许多不同的方法。总的来说,他们都强调弹性和效率。
弹性
现代互联网极其脆弱。如今的 Web 内容位于 URL 后面,每个 URL 在任何给定时刻都属于一个确定的服务器。如果该提供商出于任何原因断开网络,则其指向的内容将无法访问。集中化加剧了这种影响,造成单点故障并为审查提供了便利的机会。
因此,在当今的互联网中,链接失效(顾名思义,当链接损坏或永久不可用时)非常普遍,国家级审查很简单,分布式拒绝服务攻击可以中断对几乎所有内容的访问。任何文件。
在理想的去中心化系统中,操作员的流失不应妨碍对先前存储和服务的内容的访问。通过将责任分散到网络的许多节点,去中心化系统也对审查和其他拒绝服务尝试具有天然的抵抗力,因为攻击者没有可以集中资源的集中目标。
加泰罗尼亚(西班牙 17 个自治区之一)举行独立公投时发生的事情就是集中式存储系统容易受到审查的一个典型例子。反对独立计划的西班牙政府在互联网服务提供商层面封锁了包含投票信息的网站。通过切断这些关键链接,政府有效地阻止了许多个人访问这些信息。
然而,其中许多网站也使用星际文件系统(IPFS)(一种点对点存储网络)进行镜像。任何运行 IPFS 节点的人都可以从网络上的其他节点下载经过审查的信息并开始自行共享。 IPFS 的去中心化性质对抗了西班牙政府阻止访问这些文件的尝试——一旦一个节点被阻止,另一个节点就可以轻松取代它。一般来说,去中心化存储系统使网络级阻塞变得更加困难。
效率
所有计算系统架构都有一些优点和一些缺点,没有一个解决方案适合所有可能的用例。不幸的是,现代网络对集中化的强调也不例外。
如今,世界上少数城市的几个集中式数据中心存储了大部分内容。例如,如果同一网络上的两个用户想要互相发送消息,这些消息通常会首先发送到其中一个数据中心。如果一百个用户在一个房间里用他们的设备观看相同的视频,他们每个人都会访问中央服务器并并行下载一百个副本,而不是下载单个副本并通过本地网络共享。
简而言之,去中心化存储可以更轻松地共享文件,而无需将整个互联网上的请求发送到某些数据中心。相反,节点使用尽可能少的中间人相互建立连接。例如,连接到其他国家的节点仍然需要几跳,但同一网络上的节点可以直接共享文件。去中心化存储系统的最终目标是拥有如此多的节点,以便每个人都可以找到相对本地的节点来获取他们正在寻找的信息。
去中心化存储解决方案可以为此类活动带来根本性的新效率。通过绕过稀疏数据中心,分布式系统可以将节点放置在比现代内容交付网络更接近最终消费者的位置,从而显着加快文件检索速度。通过本地网络进行点对点文件共享还可以节省宝贵的带宽,特别是在访问更广泛的互联网有限的地区。
去中心化存储的理想特征
虽然弹性和效率是去中心化存储的标志,但理想的存储系统还可能提供许多其他特征:
无障碍
理想的分布式系统应该是可访问的。参与网络应该很容易,允许尽可能多的节点代表网络存储和分发文件。
如果您正在阅读本文并想知道——我可以成为一个节点吗?答案是:视情况而定。
有了Filecoin ,任何相对精通技术的个人都应该能够运行客户端节点来与网络交互。至于运行存储矿工节点(更多信息请参见下文),这不是每个人和他们的妈妈都能做的事情 - 您需要拥有满足某些规格的硬件。
就 IPFS 而言,节点的硬件要求较低,这意味着更多的用户可以通过运行节点(也许通过运行内置的 Web 浏览器)为网络做出贡献。
可编程的
云服务提供商使廉价且可靠的存储变得比以往更容易使用。他们成功的一个主要方面是能够通过 API 通过代码配置和管理存储。任何竞争系统都应该能够提供相同水平的便利性。
内容寻址
正如所讨论的,URL 体现了一些固有的设计权衡。它们描述数据的位置,而不是其内容。
为了解释集中式系统如何使查找数据变得困难——想象一下您想要下载一张毛茸茸的小猫的图片。考虑这两个 URL:
https://example1.com/cat.jpeg
https://example2.com/cat.jpeg
这些 URL 中的每一个都引用一个名为 cat.jpeg 的文件,但不能保证这两个文件相同。如果 example1.com 离线,您无法确定 example2.com 是否有您要查找的内容 — 它的 cat.jpeg 可能完全不同。事实上,它甚至可能是一张狗的照片! URL 与其引用的内容之间没有内在关系。
因此,您无法在当今的互联网上询问“有人有这个文件吗?”因为除了文件的位置之外,您对文件一无所知。
当您使用 URL 共享文件时,可能会出现问题。服务器可以开始从该 URL 提供不同的文件,或者有人可以执行(令人惊讶的是并不罕见)中间人攻击并更改文件。验证访问该 URL 的每个人是否都收到了他们想要的文件是非常困难的。
相比之下,内容寻址根据内容标识符 (CID) 查找文件,内容标识符充当文件的数字指纹。以这种方式寻址文件解决了位置寻址的许多问题。当客户端需要文件时,他们不会向服务器询问 URL,而是向网络中的节点询问具有特定 CID 的文件。一旦客户端下载了文件,他们就会自己对其进行指纹识别。
回顾我们之前的示例,就好像所有网站都对在请求 cat.jpeg 时传送什么文件有一个共同的理解。因此,虽然不能保证任何节点都具有该特定的 cat.jpeg,但节点将检查该文件的指纹以尝试找到匹配项。
虽然像指纹识别这样的步骤需要比普通人更多的技术头脑来处理,但 Filecoin 和 IPFS 客户端可以轻松地自动化此过程。这可以让客户保证他们收到了他们要求的文件——在这个系统中,找到一条数据的替代提供者是微不足道的。
主要要点:CID 意味着您可以找到集中式系统中丢失的内容,并且 CID 还可以防止中间人攻击或服务器突然更改特定 URL 处的文件。
无需信任
无需信任的系统可以实现两方之间的合作,而无需他们相互了解或寻求第三方。相反,系统的激励推动参与者采取网络运行所需的行为。
可验证
理想的存储系统应该能够轻松地持续证明节点正在存储它们所承诺的准确数据。这种类型的可审计性是实现去信任化的关键。如果您始终能够确定数据存储正确,那么您就无需信任提供存储的一方。
打开
最后,一个理想的分布式存储系统是开放的:它的代码是开源的、可审计的。此外,存储系统不应该是单一的。相反,它应该公开一个任何人都可以实施和构建的开放协议,而不是鼓励锁定。
案例研究:Filecoin 如何体现这些特征
Filecoin 项目是一个去中心化存储系统,旨在满足这些特性。 Filecoin 协议于 2014 年首次被描述,最初是作为点对点存储网络星际文件系统 (IPFS) 的激励层而开发的。与 IPFS 一样,Filecoin 是一种开放协议,它建立在其老协议的属性之上,利用相同的底层点对点和内容寻址功能。
Filecoin 节点网络催生了一个用于文件检索和存储的去中心化存储市场。该网络由一个新颖的区块链支持,记录网络参与者做出的承诺。用户使用区块链的原生加密货币 FIL (⨎) 在网络上进行交易。
检索市场
在检索市场中,称为检索矿工的节点竞相尽快向客户提供文件。检索矿工通过小额 FIL 费用获得奖励。这使得内容传输关键位置的节点有动力加入网络,并促进文件的快速分发。它还鼓励建立一个强大的网络来复制和保存高需求的文件。
存储市场
在 Filecoin 的存储市场中,称为存储矿工的节点有权在价格和位置等各种特征上竞争合同,以在指定的时间内为客户提供文件托管服务。在接受合约之前,存储矿工必须提供抵押品FIL;如果存储矿工未能履行对客户的义务,这将用于自动补偿客户。
当存储矿工和他们的客户达成交易时,客户将他们的数据传输给存储矿工。存储矿工将他们的数据添加到扇区,扇区是 Filecoin 中存储的基本单位。然后,矿工执行称为密封的计算密集型操作,以创建该扇区数据的唯一副本。
如果客户端想要存储其数据的多个唯一副本,则密封过程可确保每个副本都具有唯一的指纹,并且派生指纹所需的计算工作将通过从基础数据重新生成指纹来防止节点作弊。密封的数据最终用于向 Filecoin 区块链发布复制证明。
在存储交易期间,存储矿工需要定期向区块链提交所谓的时空证明。矿工使用随机性(由区块链本身提供)、密封扇区和发布到区块链的复制证明来得出这些证明。这些证据为客户提供了强有力的概率论据,证明存储矿工拥有完整、唯一的数据副本。这是一个非常有力的保证——即使是现代云存储提供商也不会为他们的客户提供这一保证。
客户以 FIL 作为交易费用奖励 Filecoin 存储矿工。存储矿工还有机会为区块链挖掘区块,这既需要 FIL 奖励,又可以向希望在挖掘的区块中包含消息的其他人收取交易费用。
Filecoin 的证明系统意味着矿工需要一些额外的硬件,但要求仍然足够低,足以让精通技术的个人加入。作为客户端参与网络的硬件要求并不高。 Filecoin 节点还公开了一个 API,用于与网络进行编程交互,允许第三方服务构建在核心网络功能之上。
结果
去中心化存储为传统的集中式存储提供了一种引人注目的替代方案。它使开发人员有机会探索设计权衡空间的全新区域,强调内容存储和交付的稳健性和效率。 Filecoin 表明,这些系统能够提供具有竞争力的存储产品,具有多种非常理想的特性,为比以往更多的人提供作为数字遗产保管人的机会,同时使网络更具弹性并可供世界各地的人们访问。
本文包含第三方网站或其他内容的链接,仅供参考(“第三方网站”)。第三方网站不受 CoinMarketCap 的控制,CoinMarketCap 不对任何第三方网站的内容负责,包括但不限于第三方网站中包含的任何链接,或对第三方网站的任何更改或更新。聚会网站。 CoinMarketCap 向您提供这些链接只是为了方便起见,包含任何链接并不意味着 CoinMarketCap 对该网站或与其运营商有任何关联的认可、批准或推荐。本文旨在使用且必须仅用于提供信息的目的。在做出与所描述的任何产品或服务相关的任何重大决策之前,请务必进行自己的研究和分析。本文无意也不应被解释为财务建议。本文中表达的观点和意见是作者[公司]自己的观点和意见,并不一定反映CoinMarketCap的观点和意见。
9人喜欢这篇文章
米奇·瓦格纳
我是一名全职软件开发人员和兼职作家,热衷于传播 Web3 的新闻和知识。
目录定义
去中心化存储系统在形成单一存储网络的许多独立运营商之间分担存储责任。
去中心化存储简介
现代计算是高度集中的。在过去的十年中,一些大型云公司通过将传统计算机系统分割成基于云的产品而获得了巨额财富。现代网络反映了这种集中化——当其中一个提供商发生故障时,这就是一场重大的互联网事件。 (如果您不相信我们,我们想提醒您 2017 年的Amazon Web Storage 中断、2020 年 6 月的 Github 长时间中断,或者 2020 年 10 月微软的多周云服务问题。)
我们在这些服务上托管的内容也好不到哪儿去,它们隐藏在经常损坏的脆弱链接后面。这对我们构建的计算机系统以及日益依赖计算机系统的社会具有深远的影响。
集中式架构之所以成功,部分原因是它们更容易构建。
为了阻止整合,开发人员需要同样易于组合的基础性新构建块。 去中心化存储就是这样的基石之一,是更加分布式的网络的先决条件。
去中心化存储的基本特征
设计去中心化存储系统有许多不同的方法。总的来说,他们都强调弹性和效率。
弹性
现代互联网极其脆弱。如今的 Web 内容位于 URL 后面,每个 URL 在任何给定时刻都属于一个确定的服务器。如果该提供商出于任何原因断开网络,则其指向的内容将无法访问。集中化加剧了这种影响,造成单点故障并为审查提供了便利的机会。
因此,在当今的互联网中,链接失效(顾名思义,当链接损坏或永久不可用时)非常普遍,国家级审查很简单,分布式拒绝服务攻击可以中断对几乎所有内容的访问。任何文件。
在理想的去中心化系统中,操作员的流失不应妨碍对先前存储和服务的内容的访问。通过将责任分散到网络的许多节点,去中心化系统也对审查和其他拒绝服务尝试具有天然的抵抗力,因为攻击者没有可以集中资源的集中目标。
加泰罗尼亚(西班牙 17 个自治区之一)举行独立公投时发生的事情就是集中式存储系统容易受到审查的一个典型例子。反对独立计划的西班牙政府在互联网服务提供商层面封锁了包含投票信息的网站。通过切断这些关键链接,政府有效地阻止了许多个人访问这些信息。
然而,其中许多网站也使用星际文件系统(IPFS)(一种点对点存储网络)进行镜像。任何运行 IPFS 节点的人都可以从网络上的其他节点下载经过审查的信息并开始自行共享。 IPFS 的去中心化性质对抗了西班牙政府阻止访问这些文件的尝试——一旦一个节点被阻止,另一个节点就可以轻松取代它。一般来说,去中心化存储系统使网络级阻塞变得更加困难。
效率
所有计算系统架构都有一些优点和一些缺点,没有一个解决方案适合所有可能的用例。不幸的是,现代网络对集中化的强调也不例外。
如今,世界上少数城市的几个集中式数据中心存储了大部分内容。例如,如果同一网络上的两个用户想要互相发送消息,这些消息通常会首先发送到其中一个数据中心。如果一百个用户在一个房间里用他们的设备观看相同的视频,他们每个人都会访问中央服务器并并行下载一百个副本,而不是下载单个副本并通过本地网络共享。
简而言之,去中心化存储可以更轻松地共享文件,而无需将整个互联网上的请求发送到某些数据中心。相反,节点使用尽可能少的中间人相互建立连接。例如,连接到其他国家的节点仍然需要几跳,但同一网络上的节点可以直接共享文件。去中心化存储系统的最终目标是拥有如此多的节点,以便每个人都可以找到相对本地的节点来获取他们正在寻找的信息。
去中心化存储解决方案可以为此类活动带来根本性的新效率。通过绕过稀疏数据中心,分布式系统可以将节点放置在比现代内容交付网络更接近最终消费者的位置,从而显着加快文件检索速度。通过本地网络进行点对点文件共享还可以节省宝贵的带宽,特别是在访问更广泛的互联网有限的地区。
去中心化存储的理想特征
虽然弹性和效率是去中心化存储的标志,但理想的存储系统还可能提供许多其他特征:
无障碍
理想的分布式系统应该是可访问的。参与网络应该很容易,允许尽可能多的节点代表网络存储和分发文件。
如果您正在阅读本文并想知道——我可以成为一个节点吗?答案是:视情况而定。
有了Filecoin ,任何相对精通技术的个人都应该能够运行客户端节点来与网络交互。至于运行存储矿工节点(更多信息请参见下文),这不是每个人和他们的妈妈都能做的事情 - 您需要拥有满足某些规格的硬件。
就 IPFS 而言,节点的硬件要求较低,这意味着更多的用户可以通过运行节点(也许通过运行内置的 Web 浏览器)为网络做出贡献。
可编程的
云服务提供商使廉价且可靠的存储变得比以往更容易使用。他们成功的一个主要方面是能够通过 API 通过代码配置和管理存储。任何竞争系统都应该能够提供相同水平的便利性。
内容寻址
正如所讨论的,URL 体现了一些固有的设计权衡。它们描述数据的位置,而不是其内容。
为了解释集中式系统如何使查找数据变得困难——想象一下您想要下载一张毛茸茸的小猫的图片。考虑这两个 URL:
https://example1.com/cat.jpeg
https://example2.com/cat.jpeg
这些 URL 中的每一个都引用一个名为 cat.jpeg 的文件,但不能保证这两个文件相同。如果 example1.com 离线,您无法确定 example2.com 是否有您要查找的内容 — 它的 cat.jpeg 可能完全不同。事实上,它甚至可能是一张狗的照片! URL 与其引用的内容之间没有内在关系。
因此,您无法在当今的互联网上询问“有人有这个文件吗?”因为除了文件的位置之外,您对文件一无所知。
当您使用 URL 共享文件时,可能会出现问题。服务器可以开始从该 URL 提供不同的文件,或者有人可以执行(令人惊讶的是并不罕见)中间人攻击并更改文件。验证访问该 URL 的每个人是否都收到了他们想要的文件是非常困难的。
相比之下,内容寻址根据内容标识符 (CID) 查找文件,内容标识符充当文件的数字指纹。以这种方式寻址文件解决了位置寻址的许多问题。当客户端需要文件时,他们不会向服务器询问 URL,而是向网络中的节点询问具有特定 CID 的文件。一旦客户端下载了文件,他们就会自己对其进行指纹识别。
回顾我们之前的示例,就好像所有网站都对在请求 cat.jpeg 时传送什么文件有一个共同的理解。因此,虽然不能保证任何节点都具有该特定的 cat.jpeg,但节点将检查该文件的指纹以尝试找到匹配项。
虽然像指纹识别这样的步骤需要比普通人更多的技术头脑来处理,但 Filecoin 和 IPFS 客户端可以轻松地自动化此过程。这可以让客户保证他们收到了他们要求的文件——在这个系统中,找到一条数据的替代提供者是微不足道的。
主要要点:CID 意味着您可以找到集中式系统中丢失的内容,并且 CID 还可以防止中间人攻击或服务器突然更改特定 URL 处的文件。
无需信任
无需信任的系统可以实现两方之间的合作,而无需他们相互了解或寻求第三方。相反,系统的激励推动参与者采取网络运行所需的行为。
可验证
理想的存储系统应该能够轻松地持续证明节点正在存储它们所承诺的准确数据。这种类型的可审计性是实现去信任化的关键。如果您始终能够确定数据存储正确,那么您就无需信任提供存储的一方。
打开
最后,一个理想的分布式存储系统是开放的:它的代码是开源的、可审计的。此外,存储系统不应该是单一的。相反,它应该公开一个任何人都可以实施和构建的开放协议,而不是鼓励锁定。
案例研究:Filecoin 如何体现这些特征
Filecoin 项目是一个去中心化存储系统,旨在满足这些特性。 Filecoin 协议于 2014 年首次被描述,最初是作为点对点存储网络星际文件系统 (IPFS) 的激励层而开发的。与 IPFS 一样,Filecoin 是一种开放协议,它建立在其老协议的属性之上,利用相同的底层点对点和内容寻址功能。
Filecoin 节点网络催生了一个用于文件检索和存储的去中心化存储市场。该网络由一个新颖的区块链支持,记录网络参与者做出的承诺。用户使用区块链的原生加密货币 FIL (⨎) 在网络上进行交易。
检索市场
在检索市场中,称为检索矿工的节点竞相尽快向客户提供文件。检索矿工通过小额 FIL 费用获得奖励。这使得内容传输关键位置的节点有动力加入网络,并促进文件的快速分发。它还鼓励建立一个强大的网络来复制和保存高需求的文件。
存储市场
在 Filecoin 的存储市场中,称为存储矿工的节点有权在价格和位置等各种特征上竞争合同,以在指定的时间内为客户提供文件托管服务。在接受合约之前,存储矿工必须提供抵押品FIL;如果存储矿工未能履行对客户的义务,这将用于自动补偿客户。
当存储矿工和他们的客户达成交易时,客户将他们的数据传输给存储矿工。存储矿工将他们的数据添加到扇区,扇区是 Filecoin 中存储的基本单位。然后,矿工执行称为密封的计算密集型操作,以创建该扇区数据的唯一副本。
如果客户端想要存储其数据的多个唯一副本,则密封过程可确保每个副本都具有唯一的指纹,并且派生指纹所需的计算工作将通过从基础数据重新生成指纹来防止节点作弊。密封的数据最终用于向 Filecoin 区块链发布复制证明。
在存储交易期间,存储矿工需要定期向区块链提交所谓的时空证明。矿工使用随机性(由区块链本身提供)、密封扇区和发布到区块链的复制证明来得出这些证明。这些证据为客户提供了强有力的概率论据,证明存储矿工拥有完整、唯一的数据副本。这是一个非常有力的保证——即使是现代云存储提供商也不会为他们的客户提供这一保证。
客户以 FIL 作为交易费用奖励 Filecoin 存储矿工。存储矿工还有机会为区块链挖掘区块,这既需要 FIL 奖励,又可以向希望在挖掘的区块中包含消息的其他人收取交易费用。
Filecoin 的证明系统意味着矿工需要一些额外的硬件,但要求仍然足够低,足以让精通技术的个人加入。作为客户端参与网络的硬件要求并不高。 Filecoin 节点还公开了一个 API,用于与网络进行编程交互,允许第三方服务构建在核心网络功能之上。
结果
去中心化存储为传统的集中式存储提供了一种引人注目的替代方案。它使开发人员有机会探索设计权衡空间的全新区域,强调内容存储和交付的稳健性和效率。 Filecoin 表明,这些系统能够提供具有竞争力的存储产品,具有多种非常理想的特性,为比以往更多的人提供作为数字遗产保管人的机会,同时使网络更具弹性并可供世界各地的人们访问。
本文包含第三方网站或其他内容的链接,仅供参考(“第三方网站”)。第三方网站不受 CoinMarketCap 的控制,CoinMarketCap 不对任何第三方网站的内容负责,包括但不限于第三方网站中包含的任何链接,或对第三方网站的任何更改或更新。聚会网站。 CoinMarketCap 向您提供这些链接只是为了方便起见,包含任何链接并不意味着 CoinMarketCap 对该网站或与其运营商有任何关联的认可、批准或推荐。本文旨在使用且必须仅用于提供信息的目的。在做出与所描述的任何产品或服务相关的任何重大决策之前,请务必进行自己的研究和分析。本文无意也不应被解释为财务建议。本文中表达的观点和意见是作者[公司]自己的观点和意见,并不一定反映CoinMarketCap的观点和意见。
9人喜欢这篇文章
米奇·瓦格纳
我是一名全职软件开发人员和兼职作家,热衷于传播 Web3 的新闻和知识。
4 users upvote it!
0 answers