在这文章中介绍了 AI 加速器的架构基础，包括指令集架构 ISA、特定领域的 ISA、超长指令字 (VLIW) 架构、脉动阵列、可重构处理器、数据流操作、内存处理。
ISA 描述了指令和操作如何由编译器编码，然后由处理器解码和执行，它是处理器架构中面向程序员的部分。常见的例子是 Intel 的 x86、ARM、IBM Power、MIPS 和 RISC-V。我们可以将 ISA 视为处理器支持所有操作的词汇表。通常，它由算术指令（如加、乘）、内存操作（加载、存储）和控制操作（例如，在 if 语句中使用的分支）组成。
目前看来，CPU ISA 已被分类为精简指令集计算 (RISC) 和复杂指令集计算 (CISC)： RISC ISA 由简单的指令组成，它们支持少量简单操作（加、乘等）。所有指令的位长相同（例如 32 位），因此，RISC 指令的硬件解码器被认为是简单的；相反，在 CISC ISA 中，不同的指令可以有不同的长度，单个指令就可以描述操作和条件的复杂组合。 通常，CISC 程序比其等效的 RISC 程序代码占用空间更小，即存储程序指令所需的内存量。这是因为单个 CISC 指令可以跨越多个 RISC 指令，并且可变长度的 CISC 指令被编码为使得最少的位数代表最常见的指令。然而，为了体现复杂指令带来的优势，编译器需要做的足够复杂才能实现。
x86（橙色）相对于 ARM（紫色）的计算市场递减率预测。图源：AMD/ExtremeTech
早在 1980 年、1990 年和 2000 年代初期，就有「RISC 与 CISC 之战」，基于 x86 的 Intel 和 AMD 主要专注于 CISC ，而 ARM 专注于 RISC。其实每种方法都有利弊，但最终，由于基于 ARM 的智能手机的蓬勃发展，RISC 在移动设备中占据了上风。现在，随着亚马逊基于 ARM 的 AWS Graviton 处理器等的发布，RISC 在云中也开始占据主导地位。 值得注意的是，RISC 和 CISC 都是用于构建通用处理器的通用指令集架构。但在加速器的背景下， CISC 与 RISC 相比， RISC 具有简单性和简洁性，更受欢迎（至少对于智能手机而言）。
很多 AI 加速器公司采用特定领域的 ISA。鉴于现有的精简指令集架构（以及潜在的处理核心），可以通过仅支持目标应用领域所需的指令子集来进一步减少它。特定领域的 ISA 进一步简化了处理内核和硬件 / 软件接口，以实现高效的加速器设计。在通常由线性代数和非线性激活组成的 AI 应用中，不需要许多「奇异」类型的运算。因此，ISA 可以设计为支持相对较窄的操作范围。 使用现有 RISC ISA 的简化版本的好处是，一些 RISC 公司（如 ARM ）出售现有 IP，即支持完整 ISA 的现有处理内核，可用作定制处理的基线，用于加速器芯片的核心。这样，加速器供应商就可以依赖已经过验证并可能部署在其他系统中的基线设计；这是从头开始设计新架构更可靠的替代方案，对于工程资源有限、希望获得现有处理生态系统支持或希望缩短启动时间的初创公司尤其有吸引力。 VLIW 架构是由 Josh Fisher 在 20 世纪 80 年代早期提出，当时集成电路制造技术和高级语言编译器技术出现了巨大的进步。其主要思想是： 将多个相互无依赖的指令封装到一条超长的指令字中；CPU 中有对应数量的 ALU 完成相应的指令操作；指令之间的依赖性和调度由编译器来完成。 就像特定领域的 ISA 可以被认为是 RISC 思想（更简单的指令，支持的操作较少）的扩展，同样地，我们可以将 CISC 进行多个操作组合成单个复杂指令扩展，这些架构被称为超长指令字 (VLIW)。 VLIW 架构由算术和存储单元的异构数据路径阵列组成。异构性源于每个单元的时序和支持功能的差异：例如，计算简单逻辑操作数的结果可能需要 1-2 个周期，而内存操作数可能需要数百个周期。
一个简单的 VLIW 数据路径框图。图源：普林斯顿大学
VLIW 架构依赖于一个编译器，该编译器将多个操作组合成一个单一且复杂的指令，该指令将数据分派到数据路径阵列中的单元。例如，在 AI 加速器中，这种指令可以将张量指向矩阵乘法单元，并且并行地将数据部分发送到向量单元和转置单元等等。 VLIW 架构的优势在于，通过指令编排处理器数据路径的成本可能显著降低；缺点是我们需要保证数据路径中各个单元之间的工作负载得到平衡，以避免资源未得到充分利用。因此，要实现高性能执行，编译器需要能够进行复杂的静态调度。更具体地说，编译器需要分析程序，将数据分配给单元，知道如何对不同的数据路径资源计时，并以在给定时间利用最多单元的方式将代码分解为单个指令。归根结底，编译器需要了解不同的数据路径结构及其时序，并解决计算复杂的问题，以提取高指令级并行 (ILP) 并实现高性能执行。 脉动阵列由 H. T. Kung 和 C. E. Leiserson 于 1978 年引入。2017 年，Google 研发的 TPU 采用脉动阵列作为计算核心结构，使其又一次火了起来。 脉动阵列本身的核心概念就是让数据在运算单元的阵列中进行流动，减少访存次数，并且使得结构更加规整，布线更加统一，提高频率。整个阵列以「节拍」方式运行，每个 PE （processing elements）在每个计算周期处理一部分数据，并将其传达给下一个互连的 PE。
在 AI 加速器的背景下，执行数据流有以下两个优势： 深度学习应用程序是结构性的，因此有一个由应用程序层的层级结构决定的计算图。所以，数据流图已经被放入代码中。相比之下，冯诺依曼应用程序首先被序列化为一系列指令，这些指令随后需要（重新）并行化以提供给处理器；数据流图是计算问题的架构不可知（architecturally-agnostic）表示。它抽象出所有源于架构本身的不必要的约束（例如，指令集支持的寄存器或操作数等），并且程序的并行性仅受计算问题本身的固有并行维度的限制，而不是受计算问题本身的并行维度限制。 研究人员在提高加速器的计算吞吐量 (FLOP) 上花费了大量精力，即芯片（或系统）每秒提供的最大计算数量。然而，片上计算吞吐量并不是全部，还有内存宽带，因其片上计算速度超过片外内存传输数据的速度，造成性能瓶颈。此外，从能量角度来看， AI 模型中存在着很高的内存访问成本，将数据移入和移出主存储器比进行实际计算的成本高几个数量级。