Dylan Patel 指出 TPUv7 缺乏原生 FP4,在 2027 年一季度 TPUv8 到来前每美元 token 数仍落后于 FP4 GPU。
由于 TPUv7 没有原生 FP4 支持,FP4 GPU 在大多数速度下仍能提供更高的每美元 token 数,要等到 2027 年第一季度带 FP4 支持的 TPUv8。在每用户 100 tok/s 时,GB300 和 GB200 FP4 的每美元 token 数分别是 TPUv7 的 3.6 倍和 3.5 倍。原文 (en)
FP4 GPUs still deliver more tokens per dollar at most speeds, as TPUv7 has no native FP4 support, and we will need to wait until Q1 2027 for TPUv8 with FP4 support, as tracked in our Accelerator & HBM Model. At 100 tok/s/user, GB300 and GB200 FP4 deliver 3.6x and 3.5x the tokens per dollar of TPUv7.