BTCV光复资讯 > 数字货币 > 全球最大的硬盘制造商希捷帮助IPFS,在存储集群

全球最大的硬盘制造商希捷帮助IPFS,在存储集群

来源:btcv-光复资讯  |   作者:btcv-光复资讯  |   时间:2020-08-26 07:22  |   点击量:

8月22 -23日,“共享新机遇——2020全球区块链计算会议暨新基础设施挖掘峰会”在成都举行。在成都市新经济委员会、成都市科技局和成都市成华区人民政府的指导下,会议由成都市成华区新经济技术局、成都市成华区投资促进局、巴比特、连锁节点和印度比特主办。

随着菲力肯在线测试线即将上线,存储轨道吸引了众多关注,围绕菲力肯矿业的上下游产业链也已提前布局。希捷目前是全球最大的硬盘、磁盘和读写头制造商,也是硬盘挖掘轨道的主要品牌。在峰会上,希捷科技的高级解决方案工程师李倩分享了《分布式数据存储基石,硬盘点亮数据价值》的主题。

以下是演讲内容文字精编,由巴比特整理发布。

很荣幸有机会与您分享希捷在分布式系统和产品进展方面的想法。在参与IPFS项目的过程中,您可能或多或少会接触到希捷,我们也是唯一参加此次会议的零件供应商。

希捷是一家非常传统的制造商。机械硬盘是40年前发明的。当时,硬盘的容量只有5M,而手机的存储容量现在已经达到了128G甚至更高。经过40年的发展,希捷的年营业额已经超过100亿美元。去年,出货量达到355台,员工超过4万人。主要生产工厂在泰国和无锡。

市场前景展望

许多嘉宾在分享时强调了数据对人们生活的影响。就增量而言,2002年之前生成的数据总量为23 EB,但今年每5小时可以生成23 EB的数据。现在是数据爆炸式增长的时代。

分布式存储应运而生。事实上,分布式文件系统出现得很早,20年前就被银行广泛使用。有P2P网络,每个人都应该使用蓝牙下载,这不是一个新概念。然而,时代给了我们新的应用场景,现在我们正面临一个新的时代,每年产生的数据高达175兆字节。我们需要考虑如何保存这些数据,以及如何挖掘这些数据的价值。

地下储存的石油对我们来说毫无价值,数据也是如此。只有当我们能够访问和处理数据时,数据本身才是有价值的。像IPFS这样的存储项目的优势在于,我们可以在更广的范围和更深的层次上保存数据,即使我们不知道这些数据今天可能会产生什么价值。

数据从哪个维度影响生活?首先是智能联网汽车。之所以智能,是因为该系统通过各种传感器分析收集的数据,包括毫米波雷达、激光雷达和照相机,使其具有更智能的特性。每辆车运行一天的数据量超过1pb;其次,在工厂中应用大数据可以将传统制造的效率提高70%;第三,智慧城市可以通过数据分析提高安全性、公共设施利用率和交通管理效率。我经常举一个例子。如果你不戴帽子或面具就把一名记者扔在北京的大街上,用一台智能相机不需要五分钟就能找到他。

新技术的登陆

对于希捷来说,40年后的硬盘仍有许多创新。机械硬盘容量今年为18T,明年为20T,明年为24T。为了使硬盘能够应付每年35%左右的年增长率,有必要利用激光热辅助技术加热硬盘上的某一点,并在产生避雷针效应后写入数据。有了这项技术,硬盘容量的年增长率可以达到35%,预计到2025年硬盘容量将达到50TB。

固态硬盘的发展也非常迅速,符合82定律的特点。我们知道80%的存储数据不经常被访问,这就是为什么数据中心75%以上的数据存储在机械硬盘上。IPFS是一个主要存储冷数据的网络,而冷数据存储正是机械硬盘的特点。

有许多数据类型,例如热数据、超热数据、冷数据和冰数据,这些都超出了今天讨论的范围。热辅助技术已经发展了20多年,那一年有许多短篇故事。每个人都知道,在华尔街,我们需要给投资银行家讲故事。固态硬盘发明后,许多分析家认为机械硬盘没有前途。希捷向华尔街展示了当年的热辅助技术。传感器使用了金,一种200纳米大小的金。经激光反复加热后,金可能会熔化,且分布时间不均匀。换句话说,机械硬盘不知道什么时候会出故障。

经过20年的研发,现在每个机械硬盘写入的数据量超过了4 PB,远远超过了每个人每年使用的企业硬盘550 TB的水平,平均故障率可以控制在0.4%。这是热辅助硬盘的特征之一。磁头上有一个亮点,那就是激光发生器。功率大约是几毫瓦。当激光击中磁盘时,它可以被加热,数据可以被写入。

双磁臂意味着同时使用两个磁臂,性能可以翻倍,这可以理解为将两个机械硬盘制成一个磁盘。

产品结构

让我们向您简要展示一下希捷的产品组合。就光盘而言,有硬盘驱动器,这是每个人在存储采矿机器上使用的规格。固态硬盘涵盖了所有人使用的各种接口。

你听说过“近存储计算”的概念吗?许多国内外制造商都在这个领域进行研究。当数据中心从集中式结构发展到分布式结构后,每个节点之间会有大量的东西向数据流。对于网络来说,这是一个巨大的开销。在“近存储计算”阶段,计算引擎构建在固态硬盘上。HDFS也是一个分布式存储系统,需要压缩数据。如果在固态硬盘中内置一个引擎,就不需要与中央处理器绑定,也不需要购买这样的硬件,效率就会大大提高。这是老板们需要考虑的问题,所以他们不会从这里开始。

对于希捷来说,目前的战略是模块化。众所周知,希捷是一家磁盘制造商。收购了几家制造商后,希捷也有能力制造机架和控制器模块。就像建造乐高积木一样,你可以选择不同的积木,希捷也有同样的策略。根据冷数据或热数据的要求,配合定制数据处理方式的机器,不同的磁盘、不同的机架和不同的控制器模块,实现所需的产品形式。

关于IPFS存储的思考

分享我对IPFS存储的个人想法,我注意到今天活动的规格非常不同。对于希捷来说,从P1到C2的过程不是我们关心的阶段。目前,有许多采矿机械具有所谓的紧耦合结构,也就是说,上述所有阶段都在一个箱子中处理。

如果能在法律阶段明确这种东西的产权,这是一个很好的解决办法。然而,就大规模集群而言,这种形式会带来很大的问题。P1需要捆绑AMD的CPU,但其供应能力不足。如果一切都放在一个盒子里,就没有办法实现灵活的扩展。要么存储先耗尽,要么计算能力先耗尽,因此无法独立扩展资源,这与分布式体系结构相反。

将每个阶段分开,您可以从所有云服务制造商那里看到,在不同的存储场景中,针对热数据、冷数据和冰数据有相应的存储解决方案。IPFS无法避免这一点,也就是说,它必须脱钩。这样做的优点是每个阶段可以独立扩展,并且可以提高硬件利用率。目前,特殊硬件的采购量不需要这么大,上网速度可以大大加快。

IPFS本身没有数据高可用性机制,因此无法避免如何确保数据在大规模存储集群的时空验证阶段每24小时在线一次。我看到一些采矿机器有单通道电源。在高存储集群密度的情况下,任何节点断开连接时的数据丢失都非常大,不可能在25秒内返回结果,损失可能大于挖掘的收益。

我做企业已经十多年了,我知道这有多难。例如,如果用10T磁盘重建数据需要50多个小时,并且在此期间磁盘再次丢失,则整个逻辑卷都将无法访问。如果我们使用RBOD,我们可以保护RBOD上的数据,并通过以太网或SAS电缆将其映射到主机。高可用性在RBOD进行管理,这可以为用户减轻很多痛苦。如果你不在前面想太多,当你在后面挖一个矿池时,你会遇到很多痛苦的惩罚。

我建议在存储方面,首先,尽可能多地使用大容量硬盘,其次,将高可用性机制卸载给存储设备供应商。此时,RBOD的形式优于JBOD,因为希捷有自己的擦除芯片。

这些都是为了今天思考和分享希捷产品和IPFS。谢谢你。

btcv注册
全球最大的硬盘制造商希捷帮助IPFS,在存储集群
网站分类
友情链接
    热门文章
    标签云
    btcv注册