AI数据存储设备选型的6个关键要素-南宫NG28官网

本文摘要：人工智能（AI）和机器学习将沦为协助企业利用其核心数字资产建构竞争优势的很最重要工具之一。

人工智能（AI）和机器学习将沦为协助企业利用其核心数字资产建构竞争优势的很最重要工具之一。但在选配AI数据存储设备之前，企业必需考虑到机器学习平台在提供、处置和保有数据时的一系列市场需求。

我们首先必须研究一下机器学习软件用于的数据的生命周期，因为这有助企业解读在为AI自由选择存储时应当考虑到哪些因素。最开始的时候，企业必需提供大量的数据来训练机器学习或AI算法。AI软件工具通过处置数据来自学任务，如辨识某个对象、处置视频和追踪运动。

数据可以从各种各样的源分解，并且本质上所谓结构化的，比如对象和文件。在训练或研发AI算法时，需要通过对数据的处置研发一个模型，为企业获取所需的洞察力或效益。研发机器学习算法很少是作为一个单一的过程来已完成的。随着企业大大累积新的数据，算法也不会获得改良。

这意味著很少有数据被弃置，忽略，数据不会随着时间的流逝而快速增长和重新处理。AI数据存储设备的选型标准在企业为AI平台自由选择存储设备之前，必需首先考虑到以下几点：1、成本。AI数据存储设备的价格对企业来说是一个关键因素。

似乎，低管层和那些参予订购决策的人会期望存储尽量具备成本效益，在许多情况下，这将影响的组织的产品自由选择和策略。2、可伸缩性。如上文所说，在创立机器学习或AI模型的过程中，搜集、存储和处置大量数据是十分适当的。

机器学习算法拒绝源数据呈圆形指数快速增长，才能构建精度的线性提升。创立可信而精确的机器学习模型有可能必须数百TB甚至PB的数据，而且这只不会随着时间的流逝而减少。建构PB级存储系统，一般必须用于对象存储或纵向拓展文件系统。如今的对象存储当然可以符合AI工作阻抗的容量市场需求，但它们有可能无法符合其他标准，如高性能。

纵向拓展文件系统可以获取高性能和较好的可伸缩性，但是将整个数据集存储在一个平台上可能会很便宜。另外，出于可伸缩性市场需求和高容量产品的成本，块存储往往不是机器学习或人工智能的准确自由选择。

这里唯一的值得注意是公有云，几天后我们回应展开辩论。存储成本的变化引进了分层存储或用于多种类型的存储来存储数据的概念。

例如，对象存储是存储大量不活跃的AI数据的较好目标。当必须处置数据时，可以将数据移动到对象存储中的高性能文件存储集群或节点上，一旦处置已完成，就可以将数据移动回去。3、性能。

AI数据的存储性能有三个方面。首先，有可能也是最重要的是延后，也就是软件处置每个I／O催促的速度。

较低延后很最重要，因为提高延后对创立机器学习或AI模型所需的时间有直接影响。简单的模型研发有可能必须数周或数月的时间。通过延长这个开发周期，的组织可以更慢地创立和细化模型。

在检查延后能力时，由于对象采访的流特性，对象将提到时间存储为第一个字节，而不是单个I／O催促的延后。性能的另一个方面是吞吐量，以及从存储平台载入或读取数据的速度。系统吞吐量很最重要，因为AI训练必须处置大量数据集，常常反复加载完全相同的数据，以精确地研发模型。

机器学习和AI数据的来源，例如自动驾驶汽车上的传感器，每天可以分解多个TB的新数据。所有这些信息都必需加到到现有的数据存储中，并且对任何现有处置的影响要大于。性能的最后一个方面是分段采访。

机器学习和AI算法并行处理数据，运营多个任务，这些任务可以多次加载完全相同的数据，并横跨多个并行任务。对象存储擅长于分段加载I／O处置，因为不必须管理对象锁住或属性。

文件服务器追踪内存中关上的I／O催促或文件句柄。因此，活动I／O催促的数量各不相同平台上能用的内存。机器学习数据可以由大量的小文件构成。

在这个领域，文件服务器可以获取比对象存储更佳的性能。这里必须问AI存储方案供应商的一个关键问题是，在大文件类型和小文件类型上，他们的产品的性能特征不会如何变化。4、可用性和耐久性。机器学习和AI模型可以长时间倒数运营。

通过训练研发算法有可能必须几天或几周的时间。在此期间，存储系统必需维持启动并持续能用。这意味著任何升级、技术更换或系统拓展都必须在不停机的情况下展开。

在大型系统中，组件故障是少见的。这意味著任何用作AI工作的平台都应当需要从设备（如硬盘或SSD）和节点或服务器故障中完全恢复。对象存储用于读取编码在许多节点上普遍产于数据，并最小化组件故障的影响。

有一些读取编码技术可以用在纵向拓展文件系统，以获取同等水平的弹性。读取编码方案的效率十分最重要，因为它必要关系到读取I／O的性能，尤其是对于小文件而言。由于多数大规模对象存储都过于大，无法定期备份，因此可信的读取编码沦为AI存储平台的一个基本特性。5、公有云。

研发机器学习和AI算法必须高性能存储和高性能计算出来。许多AI系统都是基于GPU的，比如NvidiaDGX，它可以用作研发准确算法所牵涉到的许多简单数学计算。公有云服务提供商早已开始获取GPU加快的虚拟世界实例，可用作机器学习。在公有云中运营机器学习工具减少了建构机器学习研发基础设施的资本成本，同时获取了拓展研发机器学习模型所需的基础设施的能力。

用于公有云计算的挑战在于，如何以一种同时具备成本效益和实用性的方式将数据引入公有云。基于云的对象存储速度太快，跟上机器学习的I／O市场需求；因此，必需用于本地块存储。

每延后一分钟移动数据，就不会带给更加多运营基础设施的成本，以及继续执行机器学习的延后。公有云的另一个问题是数据给定的成本。尽管云服务提供商不缴纳将数据移往到其平台的费用，但它们显然对从其平台外的公共网络采访的任何数据缴纳费用。

因此，尽管公有云在计算出来方面获取了灵活性，但以及时和经济有效地的方式从云中获取数据并不总是那么非常简单。供应商正在研发存储产品，这些产品运营在公有云中，覆盖面积了本地和云。这些产品可以有效地拷贝数据或将数据移动到云中，并且只在已完成后将结果移动回去。这些复制技术具备高效的比特率，使得在前提上存储数据并导入到云中展开分析工作显得切实可行。

6、构建。在本文中，我们将机器学习和AI的数据存储与计算出来分离来看。

建构AI数据存储有可能很艰难，因为必需考虑到存储网络和调优存储以与机器学习应用程序协同工作的其他因素。产品的预包使供应商需要在将产品交付给客户之前测试和优化其产品。如今，有一些存储产品融合了风行的AI软件、计算出来（如标准化cpu和gpu）、网络和存储，以交付给一个AI准备就绪的平台，许多详尽的调优工作是在部署这些系统之前已完成的。

尽管成本有可能是个问题，但对许多客户来说，预先包的系统可以减少使用AI存储的障碍。似乎，自由选择准确的AI数据存储平台，只不过是性能、可伸缩性和成本等指标之间的均衡。准确用于存储平台十分最重要，因为牵涉到的数据量十分大。

一旦自由选择错误，其代价有可能是高昂的。与任何存储产品选型决策一样，最重要的是与供应商交流，还包括展示和评估，以精确理解他们的产品如何符合人工智能和机器学习的市场需求。

本文来源：南宫NG28官网-www.gktechniek.com