NVIDIA A100

基于 NVIDIA 安培的架构

• A100 可加速大大小小的工作负载。无论是使用 MIG 将 A100 GPU 分区为较小的实例，还是使用 NVLink 连接多个 GPU 以加速大规模工作负载，A100 都可以轻松处理不同规模的应用程序需求，从最小的作业到最大的多节点工作负载。

第三代张量核心

• NVIDIA Tensor Core 技术首次在 NVIDIA Volta 架构中引入，为 AI 训练和推理操作带来了显著的加速，将训练时间从数周缩短到数小时，并为推理提供了巨大的加速。NVIDIA Ampere 架构以这些创新为基础，为 AI 提供高达 20 倍的 FLOPS。它通过提高现有精度的性能并引入新的精度（TF32、INT8 和 FP64）来加速和简化 AI 的采用，并将 NVIDIA 张量核心的强大功能扩展到 HPC。

面向 AI 的 TF32：性能提高 20 倍，零代码更改

• 随着人工智能网络和数据集继续呈指数级增长，它们的计算需求也在增长。低精度数学带来了巨大的性能加速，但它们历来需要一些代码更改。A100 带来了新的精度 TF32，它的工作方式与 FP32 一样，同时为 AI 提供 20 倍高的 FLOPS，而无需更改任何代码。NVIDIA 的自动混合精度功能只需使用 FP16 精度额外输入一行代码，即可将性能进一步提升 16 倍。A100 张量核心还包括对 BFLOAT16、INT8 和 INT4 精度的支持，使 A100 成为用于 AI 训练和推理的令人难以置信的多功能加速器。

双精度张量核心：自 FP64 以来最大的里程碑

• A100 将张量核心的强大功能引入 HPC，这是自为 HPC 引入双精度 GPU 计算以来最大的里程碑。A100 中的第三代张量核心可实现完全、符合 IEEE 标准的 FP64 精度的矩阵运算。通过 NVIDIA CUDA-X 数学库中的增强功能，与前几代 GPU 相比，一系列需要双精度数学运算的 HPC 应用程序现在可以在性能和效率方面提高多达 2.5 倍。

多实例图形处理器 （MIG）

• 每个 AI 和 HPC 应用程序都可以从加速中受益，但并非每个应用程序都需要完整 A100 的性能。借助多实例 GPU （MIG），每个 A100 可以分区为多达 7 个 GPU 实例，这些实例在硬件级别具有自己的高带宽内存、缓存和计算内核，完全隔离。现在，开发人员可以为他们的所有应用程序（无论大小）获得突破性的加速，并获得有保证的服务质量。IT 管理员可以提供适当大小的 GPU 加速，以实现最佳利用率，并扩展对每个用户和应用程序的访问。
• MIG 可在裸机和虚拟化环境中使用，并由 NVIDIA 容器运行时提供支持，该运行时支持所有主要运行时，如 LXC、Docker、CRI-O、Containerd、Podman 和 Singularity。每个 MIG 实例都是 Kubernetes 中的新 GPU 类型，并将通过 NVIDIA Device Plugin for Kubernetes 在本地和公共云上提供所有 Kubernetes 发行版，例如 Red Hat OpenShift、VMware Project Pacific 和其他发行版。管理员还可以通过 NVIDIA vComputeServer 在 MIG 实例上受益于基于虚拟机管理程序的虚拟化，包括基于 KVM 的虚拟机管理程序，如红帽 RHEL/RHV 和 VMware ESXi。