9
在边缘AI与云AI之间寻找平衡
source link: http://www.d1net.com/ai/industry/568484.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
在边缘AI与云AI之间寻找平衡
责任编辑：cres | 2020-12-30 14:29:23 本文摘自：TechWeb
边缘的AI允许通过本地化处理进行实时机器学习，从而实现即时数据处理，详细的安全性和增强的客户体验。同时，许多企业正在寻求将AI推入云端，这可以减少实施障碍，改善知识共享并支持更大的模型。前进的道路在于找到一种利用云和边缘优势的平衡。
集中式云资源通常用于训练深度学习推理模型，因为开发精确模型需要大量数据和计算。生成的模型可以部署在中央云位置，也可以分发到边缘的设备。
边缘AI和云AI相得益彰，并且云资源几乎总是与边缘AI用例有关。在一个完美的世界中，为了简化和扩展，我们将所有工作负载集中在云中，但是，诸如延迟，带宽，自治性，安全性和隐私之类的因素使得必须在靠近数据的边缘部署更多的AI模型。消息来源。一些培训正在边缘进行，并且越来越多地关注联合学习的概念，该概念将处理集中在数据区域，同时集中结果以消除区域偏见。
边缘AI的崛起
更好的网络基础架构和新的边缘计算架构的兴起，正在打破集中式云AI与分布式边缘AI工作负载之间的障碍。
其优势是基础架构的巨大新兴变化，它通过增加分布在世界每个角落的信息技术层来补充云。我们相信边缘AI会引发一场革命，就像云技术获得牵引力一样大。
如果设计得当，Edge AI将为自动缩放带来新的机会，因为每个新用户都会为集体工作负载带来全新的机器。边缘还可以更好地访问更多未处理的原始输入数据，而云AI解决方案必须与预处理的数据一起使用以提高性能或庞大的数据集，这时带宽可能会成为一个严重问题。
将事物移到边缘的原因是为了获得更好的响应时间。速度和延迟对于诸如计算机视觉和用于5G的虚拟无线电接入网络等应用至关重要。另一个重大好处在于，通过限制将哪些数据上传到云来改善隐私。
Edge AI的部署也充满了限制，包括网络延迟，内存压力，电池消耗以及进程可能被用户或操作系统作为后台的可能性。从事边缘AI的开发人员需要计划各种限制，尤其是在探索手机等常见用例时。
大多数专家将边缘和云方法视为更大战略的补充部分。云AI更适合批量学习技术，该技术可以处理大数据集以构建更智能的算法，从而快速，大规模地获得最大的准确性。Edge AI可以执行这些模型，而云服务可以从这些模型的性能中学习并应用于基础数据以创建一个连续的学习循环。
保持适当的平衡-如果您完全致力于边缘AI，那么您将失去持续改进模型的能力。没有新的数据流，您将无处利用。但是，如果您完全致力于云AI，则可能会危及数据质量-由于需要进行权衡才能使其可上传，并且缺乏反馈来指导用户捕获更好的数据-或数据量。
边缘AI补充了云AI，可在需要时提供对即时决策的访问，并利用云获得更深入的见解或需要更广泛或更纵向的数据集来推动解决方案的见解。
例如，在连接的汽车中，汽车上的传感器会提供实时数据流，该数据流会不断进行处理并做出决策，例如施加制动器或调整方向盘。可以将相同的传感器数据流式传输到云中以进行长期的模式分析，从而可以警告所有者急需的维修，从而可以防止将来发生事故。另一方面，云AI对边缘AI进行了补充，以推动更深入的见解，调整模型并继续增强他们的见解。
云计算和边缘AI协同工作，以更深入的洞察力为驱动力，制定即时的需求决策，而这些洞察力不断被新的边缘数据所告知。
培训工作流程
使边缘AI和云AI协同工作的主要挑战是程序和体系结构。需要对应用程序进行设计，以便有目的地拆分和协调它们之间的工作量。
例如，启用边缘的摄像头可以处理源自传感器的所有信息，而不会因无关数据而使网络过载。但是，当最终在边缘检测到感兴趣的对象时，可以将相关帧广播到更大的云应用程序，该应用程序可以存储，进一步分析（例如，帧中对象的子类型是什么以及其属性是什么），以及与人类主管共享分析结果。
一种策略在于创建一种在模型和数据的大小与数据传输成本之间取得平衡的体系结构。对于大型模型，留在云中更有意义。有多种方法可以减小模型大小以帮助解决问题，但是，如果要处理非常大的模型，则可能需要在云中运行它。
在其他情况下，当在边缘生成大量数据时，在本地更新模型，然后将其子集反馈到云中以进行进一步优化可能更有意义。在对敏感数据进行推理时，开发人员还需要考虑一些隐私问题。例如，如果开发人员希望通过手机摄像头检测中风的证据，则应用程序可能需要在本地处理数据以确保符合HIPAA。
框架将不断发展，以提供更多有关在哪里进行培训以及如何提高重用性的选择。例如，TensorFlow.js使用WebGL和WebAssembly在浏览器中运行（有益于隐私，低延迟，利用桌面或移动GPU资源等），但也可以加载分片的，缓存的云训练模型版本。模型交换格式（例如，开放神经网络交换）也可以增加模型在不同环境中的流动性。Sletten建议探索像LLVM这样的工具，这是一个开源编译器基础结构项目，以使从应用程序所运行的环境中抽象出应用程序变得更加容易。
将更多的AI从云转移到边缘的关键挑战之一是，能够在边缘AI芯片中高效运行的神经网络架构。聪明的行车记录仪供应商。
通用计算平台（如在云服务器中找到的平台）可以运行任何网络体系结构。在边缘AI中这变得更加困难。架构和训练有素的模型必须经过修改才能在边缘的AI芯片组上运行。
这是一个巨大的挑战，因为用户可能会从高性能的移动网络驶向盲区，而无论如何都希望获得良好的性能。在推理期间，没有足够的网络带宽将所有数据从边缘移动到云，但是用例要求将本地推理输出进行全局汇总。边缘AI可以运行神经网络，以帮助过滤必须发送到云以进行进一步AI处理的数据。
在其他情况下，云AI训练可能会导致神经网络模型具有过多的层次，无法在边缘设备上有效运行。在这些情况下，边缘AI可以运行较轻的神经网络，从而创建输入的中间表示形式，该中间表示被压缩得更多，因此可以发送到云中以进行进一步的AI处理。在训练期间，边缘和云AI可以以混合模式运行，以提供类似于“虚拟主动学习”的功能，在这种情况下，边缘AI筛选大量数据并“教导”云AI。
边缘AI芯片组中受支持的神经网络架构的类型是有限的，并且通常比在云中可以实现的功能落后几个月。解决这些局限性的一种有用方法是使用编译器工具链和堆栈，例如Apache TVM，它们有助于将模型从一个平台移植到另一个平台。
另一种方法是使用已知可以在边缘AI中很好地工作的网络体系结构，并直接为目标平台训练它们。他发现，鉴于训练数据的数量和种类足够多，就绝对性能而言，这种方法通常可以胜过跨平台编译器方法。但是，它还需要在培训期间以及预处理和后期处理中进行一些手工操作。
边缘和云AI之间的常见折衷
开发人员需要在云和边缘AI之间进行权衡的一些最常见的折衷方案包括：
· 处理能力：边缘计算设备通常功能较弱，并且难以更换或升级。
· 延迟：云计算速度很快，但尚未为驾车或工业控制等实时应用做好准备。
· 能耗：大多数设计人员通常不必像对待边缘那样考虑云的能耗约束。
· 连通性：当连通性下降时，像自动驾驶汽车这样的安全关键服务将无法停止工作，这会将实时AI驱动的决策的处理推向边缘。
· 安全性：用于驱动身份验证和处理敏感信息（例如指纹或病历）的AI服务通常最好是在本地出于安全考虑而完成。即使部署了非常强大的云安全性，用户从边缘处理中获得更好的隐私感也可能是重要的考虑因素。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK