- 题目：Edgenuity: The Intersection of Edge and AI
- 演讲者：Jeff White, CTO, Edge Product and Operations, Dell Technologies
- 会议：SNIA Compute, Memory, and Storage Summit
- 日期：2024年5月21日
我今天要探讨的主题是边缘计算与AI的交汇。我们将探讨边缘计算的演变，以及AI如何成为边缘支持的关键工作负载。随着技术的不断发展，AI在边缘部署的规模化和管理中发挥着越来越重要的作用。
首先，我们来谈谈现代边缘计算。边缘计算在电信、工业设置等多个领域具有悠久的历史。它通过嵌入式系统实现，这是一种将硬件与软件紧密结合以创建可预测、高性能结果的硬件架构，因此也被视为定制硬件控制。然而，这也带来了一些挑战，正是这些挑战促使我们向现代边缘计算迈进。
首先，系统与硬件的紧密耦合使得进行更改时必须同时考虑硬件和软件环境。这在有限的时间内实现灵活更改方面带来了挑战。
其次，它导致了系统碎片化，引发了诸如数据共享能力有限、缺乏灵活性和封闭系统等问题。每种不同的应用，无论是用于视觉检查的传感器应用、零售中的自助结账系统，还是用于安全或工人安全的计算机视觉应用，最终都会成为一个独立的系统，拥有各自的支持、硬件、软件、云访问权限和数据结构。这些系统往往需要现场专家支持。
其中最为关键的是，每个系统都有其独特的安全策略。过去，边缘设备通常不直接连接到互联网。然而，随着技术的发展，现在所有设备都实现了在线连接，这增加了潜在的安全风险。
展望未来，现代边缘计算已经到来。我们正在将嵌入式系统迁移到具备更高计算能力的通用系统平台上。这个平台是共享的，采用软件多租户技术。它是开放的，支持混合和匹配不同类型的应用程序、硬件加速器、配置和能力，以实现更广泛的结果。现代边缘计算的支持可以远程提供，无需现场支持。事实上，戴尔系统正利用零触点入网技术，这是戴尔当前正在积极推动的一项创新。
统一的安全策略至关重要，就像在其他架构（如云）中一样，可以使用统一策略来保护底层软件和硬件平台。每个应用程序都负责其安全需求，这是一种现代且非常有效的技术。尽管仍有许多问题需要解决，如供应链攻击，但通过精心设计的现代边缘计算架构，可以创建一个更全面的安全策略。
功耗效率同样重要，因为正在运行具有更高计算能力的较少系统。这为现代工作负载如AI、动态孪生和数字孪生等提供了可能性。
接下来，我们将讨论其中的一些工作负载。
现代边缘计算必须确保安全性，并简化对工作量密集、关键任务、有时甚至是关键安全和实时需求的复杂要求的管理。最重要的是，边缘提供了能够满足这些工作负载性质所需的预测性、高性能结果的能力。
接下来，我们简要探讨一下边缘的应用场景。垂直行业应用场景大致可分为四大类：企业边缘和电信在我们的客户中广泛部署，涵盖了各种垂直领域。这只是一个示例；还有其他垂直领域，如医疗保健，正在逐渐崭露头角。
在电信领域，许多边缘应用是从传统电信演变而来的，但还有一组关于Open RAN和网络功能虚拟化的电信能力也在边缘运行。这些不是孤立的；它们是相互关联的。事实上，边缘利用了电信和网络能力，以及主机网络电信和网络能力。
我们越来越多地看到新的领域发展，如连接的自主系统，包括自动驾驶车辆、机器人技术、无人机、水下无人车辆、软体机器人和机器人过程自动化。许多自主系统正在涌现，这是AI发展的一部分。
此外，我们看到许多工作负载实际上已经在今天运行，超越了新兴的工作负载。我将其称为模拟扩展现实。这包括消费者扩展现实，有时被称为元宇宙，以及实现企业远程服务、数字孪生和模拟（这是两种不同但密切相关的概念）的新工作负载。
此外，还包括越来越多的新工作负载，如生成式AI、从2D到3D图像构建等。许多自主系统需要了解3D世界才能运作，不仅仅是车辆；它还可以是离散制造区域或仓储和物流中的物料处理。正如我们从拍照中所知道的那样，一张图片或图像是3D世界的2D表示，因此能够从摄像机重建2D图像并将其转换为3D理解至关重要。
最后，公共部门和国防应用正在迅速增长，并且是这些能力的一个超集。
现在，让我们稍微谈一下AI技术。多年来，边缘的AI一直支持计算机视觉和启用AI的工作负载，通常使用“辨别式AI”（Discriminative AI）。
接下来，我们将探讨边缘使用的不同类型的AI。边缘利用了各种类型的AI，从“符号式AI”（Symbolic AI）开始，它起源于70年代和80年代，并在90年代达到顶峰，但如今再次焕发活力。这包括基于逻辑符号方式表示问题然后使用推理引擎解决这些问题的推理系统，通常用于自主系统领域，以协助做出具有新型行为的复杂决策。
机器学习在边缘计算领域已经得到了广泛应用。以支持向量机和决策树为例，它们已被广泛用于数据分析，如主成分分析等方面。传统的机器学习采用统计和概率技术来分析能力并作出决策。最近邻聚类是其中非常流行且重要的一个数据分析和决策的AI技术。
强化学习则是AI领域中一种让代理通过自我监督学习、监督学习或与环境互动积极学习策略的能力。然而，这些代理在解决问题和构建边缘控制框架时，主要是构建图形。不过，强化学习在控制的变量和系统方面存在一定的局限性。
辨别式AI包括人工神经网络，如卷积神经网络和循环神经网络。它们通常通过监督训练来训练神经网络，使用数据集进行训练后，再根据输入数据作出输出分类决策。
最后，让我们来谈谈生成式AI，这是当今备受瞩目的话题。生成式AI学习输入和输出之间的联合分布，因此能够根据输入数据生成新数据。生成式AI并不仅限于像ChatGPT或Anthropic Claude这样的大型语言模型。实际上，这种技术已经使用了很长时间，并具备被称为自动编码器的能力。它们的作用是将复杂的高维数据，如图像、视频或音频等，编码为潜在空间。之后，可以在较低的潜在空间中操作这些数据，并在需要时解码。
一些生成式AI技术在边缘计算中正得到应用和发展，我们接下来会介绍其中一些。AI通常指的是学习统计和概率任务的能力，无论是分类、排名、回归、聚类、几何发现，还是用于概率密度函数的密度估计。但最重要的是，AI被视为一种通用函数逼近器。它不是终结者，也不是科幻产物。我认为它不会达到人类水平的智能，但这仅代表我个人的观点。然而，AI的真正能力在于其作为通用函数逼近器的应用。它可以用来自动化智能行为，但定义智能本身是一件非常困难的事情。
如今，大家谈AI进行推理时，实际上是指它能够智能地解决问题，并通过图形或其他方式应用这些问题，以得出合理的结果。由于AI可以处理大量数据，并且存在不同类型的训练技术，如监督训练（获取一组数据进行训练）、自我监督训练（给出部分数据让系统扩展并学习其他数据）和无监督训练（从任何领域的数据中学习）。
AI在边缘计算中非常有用，因为它可以帮助我们做出决策、解释信息（在视觉上称为感知）。它还可以帮助我们分析数据，而边缘计算正是由数据驱动的。我们采用这种现代计算方式是为了管理由传感器、业务流程产生的大量数据，并且可以从本地提取洞察力，而不必将其发送到网络并在云等集中区域进行分析。AI是边缘计算中一个重要且不可或缺的部分。
让我们探讨一些AI的应用场景。虽然无法列举所有应用场景，但主要集中在制造业垂直领域。例如，在零售领域，AI可以用于损失预防、质量检查、生产过程监控和结账过程优化。此外，AI技术还可应用于工人安全、整体设备效率、机器人控制、机器人过程自动化和预测性维护等领域。
数字孪生越来越多地利用AI能力来做出决策，比如从2D到3D建模。它们实际上可以归结为四个不同的广泛类别：
机器视觉或计算机视觉（Machine Vision），即利用图像进行决策，无论是视频、图片还是其他类型；LiDAR数据，即来自称为LiDAR的设备的三维数据，并解释该信息以做出决策；近实时分析（Near Real Time Analytics），即查看结构化或非结构化数据，并能够利用AI技术从中提取洞察力；住宅网络、多感知推断也是机器视觉的应用领域。这些场景中，一些技术以机器学习为重点，同时越来越多地使用了生成式AI技术。机器视觉尤其利用了卷积神经网络，这是一种辨别式AI方法。未来可能会出现视觉Transformer，但考虑到Transformer架构是生成大型语言模型和基础模型的基础，其计算效率并不高。因此，关于如何使用生成式AI和机器视觉的研究工作正在不断深入，这是一个非常热门的研究课题。
自主系统支持（Autonomous System Support）正逐渐融合强化学习、Transformer和生成式AI。这一领域的研究工作令人兴奋，包括生成流网络等生成式AI，以及稳定扩散和基于扩散的系统，旨在创建高级推理场景以支持自主系统。同时，多模态能力使得我们能够利用不同类型的AI技术共同实现目标。
数据处理和分析（Data Processing / Analysis），对于进入的数据，必须执行ETL功能——即提取、转换和加载。大量数据需要预处理。在机器视觉流程中，图像降采样和标准化是首要步骤，以确保模型能以统一的方式解析图像。有意思的是，这些在边缘应用的不同AI技术之间是相互关联的，构成了一种网络效应。例如，机器视觉依赖于数据预处理，而自动编码器、Transformer、主成分分析和随机森林等AI技术则是数据预处理的重要工具。
随着自主系统日益复杂，2D到3D渲染变得尤为重要，这可以通过生成式AI结合机器视觉来实现。无论是区分和分类数据输出类别，还是操纵数据以转化为其他形式，都需要执行控制和命令。
以工人安全为例，传统上，系统会检测到工人未佩戴安全帽或正确防护装备，并提醒管理人员。但如今，借助AI，我们可以在人员受伤前主动停止机器运行。通过实时分析，我们能够确定某人是否处于危险区域，并采取措施避免伤害。
我们提出了一个称为“AI 在-和-为”（AI IN-ON-FOR）的概念，旨在展示AI如何在戴尔的多个产品中得到应用，包括边缘。这涉及构建支持AI工作负载的能力。AI运营是我们如何管理和使用AI的关键，包括将AI工作负载视为一种工作负载，并在我们的平台上支持它们。此外，AI为戴尔内部服务，帮助开发产品、提高运营效率等。这三个方面——“在”、“和”与“为”——共同体现了AI的真正价值。
在AI运营支持方面，我们专注于支持边缘计算中的AI工作负载。但边缘本身也需要利用AI技术。在训练方面，目前大部分训练在云端和核心进行，因为训练过程需要高性能GPU等硬件支持。然而，在操作层面，即推断过程，主要在边缘进行。这里，模型通过感知管道做出决策和解释数据。
模型的部署涉及安全考虑，必须保护模型及其包含的数据和知识产权。使用生成式AI时，尤其需要注意防止模型被反向工程以获取训练数据集。AI Ops涉及管理推断过程，包括创建和管理数据流、数据集，以及提供访问应用程序的方式。
在大语言模型中，检索增强生成（RAG）等技术为模型提供了上下文信息，确保其回复的准确性和适当性。这些功能在边缘运行，与AI运营和安全性紧密相关，是大型语言模型运营的重要部分。随着技术的发展，这种分布式能力将变得越来越重要。
这也是边缘可以利用的控制、传感器、感知图像检测等方面的功能，我们称之为多模态。随着这些功能的定义，这种能力在边缘控制中得到了广泛应用。例如，我们的一项工作就是使用领域特定语言，创建我们称之为“蓝图”的AI助手。我们还利用它来分析遥测数据，并在边缘直接做出控制决策。
简要谈谈AI的未来：
多模态生成与辨别技术融合是AI发展的重要方向，也被称为“混合专家系统”（Mixture of Experts）或“多模态AI”（Multimodal AI）的能力。这项技术正加速应用于边缘计算领域。
未来，边缘计算将更多地采用基于代理的设计范式，赋予边缘设备自主决策能力，充分发挥机器推理和交互式分布式训练的优势。
尽管大部分AI模型训练仍主要集中在本地或核心区域，但分布式训练和联邦学习等技术也将得到越来越广泛的应用。随着生成式AI和其他AI增强技术的进步，特别是强化学习的突破，边缘和分布式模型的自我监督学习将成为重要趋势。
当然，谈到AI安全性，需要考虑的一个重要问题是如何保护模型本身，但同样重要的是如何保护平台免受模型潜在的影响，因为模型可以被训练来执行多种任务。