像ChatGPT这样的生成型人工智能不仅需要数千亿规模的模型，还需要庞大的计算能力基础。训练人工智能现在主要依靠NVIDIA的人工智能加速器卡，达到ChatGPT级别至少需要10000张A100加速器卡。
高性能加速显卡现在是稀缺资源，在中国购买NVIDIA高端显卡并不容易。商汤科技的一份总结显示，中国只有六家公司能够满足ChatGPT的计算能力要求。他们是商汤、百度、腾讯、字节、阿里和幻方百度、腾讯、Byte、阿里巴巴等互联网巨头能够购买并负担得起10000张A100图形卡并不奇怪。百度已于3月底发布了自己的标杆ChatGPT产品文心一言，其他公司也将陆续发布其AI产品。2020年5月发布了NVIDIAA100内核和计算卡，也是Ampere架构的第一个产品。它采用7nm工艺制造，拥有542亿个晶体管，826平方毫米的面积，8196个流处理器，其中6912个实际启动，5120位40GBHBM2图形内存，PCIe版本功耗250W。
A100的单精度浮点性能高达19.5TFlops，FP64性能为9.7TFLOPS，INT8性能为624TOPS，TDP400W，图形内存的带宽也很可怕，达到1.6TB/s，后期还发布了80GB。HBM2e版本将频率从2.4Gbps提高到3.2Gbps，导致带宽从1.6TB/s增加到2TB/s。
