区别
CUDA Cores 和 Tensor Cores 是 NVIDIA GPU 显卡中的不同类型的处理单元，它们设计用来执行不同类型的计算任务。
CUDA Cores：
- CUDA Cores（Compute Unified Device Architecture Cores）是用于处理通用计算任务的核心。
- 它们是最基础的处理单元，能够执行浮点和整数操作，适用于各种计算密集型任务，包括图形渲染、科学计算和机器学习算法。
- CUDA Cores 的设计侧重于提供高吞吐量的串行计算能力，适合广泛类型的通用计算任务。
Tensor Cores：
- Tensor Cores 是 NVIDIA 在其后代 GPU 架构（如 Volta、Turing 和 Ampere）中引入的专用处理单元。
- 它们专门设计用来加速深度学习和机器学习中的矩阵运算，特别是用于训练和推理深度神经网络。
- Tensor Cores 能够执行混合精度计算，这意味着它们可以同时使用不同精度（如 FP16 和 FP32）的数据进行计算，从而实现更快的处理速度和提高能效。
- 使用 Tensor Cores，深度学习框架（如 TensorFlow 和 PyTorch）可以显著加快神经网络的训练和推理速度。
简而言之，CUDA Cores 是针对一般用途的处理单元，适合各种通用计算任务，而 Tensor Cores 是专门为加速特定类型的矩阵计算操作（尤其是深度学习）而设计的。CUDA Cores 更多的是在早期的 GPU 和通用计算中使用，而 Tensor Cores 是较新的技术，针对 AI 和机器学习的应用进行了优化。在执行深度学习任务时，Tensor Cores 可以显著提升性能和效率。
cutlass 与CUDA Cores 、Tensor Cores
CUTLASS（CUDA Templates for Linear Algebra Subroutines and Solvers）是 NVIDIA 开发的一个库，它实现了高性能矩阵乘法（GEMM）和相关的线性代数运算。CUTLASS 库充分利用了 NVIDIA GPU 上的不同类型的核心，包括 CUDA Cores 和 Tensor Cores。
CUTLASS 是模板化的，因此它可以根据用户的需要配置和优化以使用不同类型的核心。例如，CUTLASS 可以配置为仅使用 CUDA Cores 来执行标准精度的计算，也可以使用 Tensor Cores 来执行混合精度的计算，以加速深度学习中的矩阵乘法操作。
当使用 Tensor Cores 时，CUTLASS 能够利用这些核心提供的高吞吐量矩阵运算能力，从而显著提高深度学习模型训练和推理的性能。Tensor Cores 专为执行小规模矩阵操作（例如 4x4 到 16x16）而优化，它们在处理深度学习中常见的低精度运算（如 FP16、BF16 或者 INT8）时尤其高效。
简而言之，CUTLASS 可以使用 CUDA Cores 进行通用计算任务，也可以使用 Tensor Cores 进行专门优化的深度学习计算。开发者可以根据具体的应用场景和性能需求来选择合适的核心类型。
TensorRt 与CUDA Cores 、Tensor Cores
TensorRT（TRT）是 NVIDIA 提供的一个高性能深度学习推理（inference）引擎，它用于加速深度学习应用。TensorRT 可以对训练好的深度学习模型进行优化，以便在不同的 NVIDIA GPU 和设备上进行高效的推理。
TensorRT 能够充分利用 NVIDIA GPU 的不同类型的处理单元，包括 CUDA Cores 和 Tensor Cores：
-
CUDA Cores：这些是 GPU 的通用计算核心，可以用于执行各类计算密集型任务，包括深度学习模型推理中的一些操作。
-
Tensor Cores：这些专门设计的核心用于加速深度学习中的矩阵运算，如矩阵乘法和卷积运算。TensorRT 会在可用的情况下使用 Tensor Cores 来提高模型推理的速度和效率，尤其是在处理混合精度计算时。
TensorRT 会根据所使用的 GPU 架构（如 Volta、Turing、Ampere 或更高）和模型的特定需求来动态选择使用 CUDA Cores 还是 Tensor Cores。对于深度学习模型中常见的卷积、全连接层等操作，TensorRT 会优先使用 Tensor Cores 来执行计算，前提是模型的精度和层的大小符合 Tensor Cores 的使用要求。
因此，在执行深度学习推理任务时，TensorRT 会根据操作的特点和硬件能力来决定使用哪种核心，以达到最佳的推理性能。