NVIDIA 近期發(fā)布了采用 PCIe接口的80GB A100 加速卡。據(jù)了解，去年秋天NVIDIA首次推出基于 SXM 外形的A100加速卡，與Ampere GA100 原始型號相比，不僅擴(kuò)大了總內(nèi)存容量——從40GB翻倍至 80GB，而且還將內(nèi)存時鐘頻率進(jìn)一步提高了 33%?，F(xiàn)在，經(jīng)過 6 個多月的時間，NVIDIA 正在為需要獨(dú)立附加卡的客戶發(fā)布 PCIe 版本的加速卡。

80GB PCIe 加速卡旨在為NVIDIA 的傳統(tǒng) PCIe 客戶提供第二個更高性能的加速卡選項(xiàng)，特別是對于那些需要超過 40GB GPU 內(nèi)存的用戶。

從更高層面來看，PCIe A100 的80GB 升級與 NVIDIA 為 SXM 版本所做的幾乎相同。80GB 卡的 GPU 與 40GB 卡的 GPU 時鐘相同，因此吞吐量并沒有變化。

不過NVIDIA 為該卡配備了更新的HBM2E 內(nèi)存。HBM2E 是 HBM2 內(nèi)存標(biāo)準(zhǔn)最新更新的非正式名稱，該標(biāo)準(zhǔn)在今年 2 月將新的最大內(nèi)存速度定義為 3.2Gbps/pin；再加上頻率的提升，制造上的改進(jìn)使得內(nèi)存制造商能夠?qū)?nèi)存容量翻倍，從1GB/die 增加到 2GB/die；最終可以讓 HBM2E 提供更大的容量和帶寬，NVIDIA 也正是利用了這兩點(diǎn)優(yōu)勢。

最新的 PCIe A100 擁有 5 個 16GB 的活動堆棧，8-Hi 內(nèi)存，總共為 80GB 的內(nèi)存。以 3.0Gbps/pin 的速度運(yùn)行，內(nèi)存帶寬略低于 1.9TB/秒，比 40GB 版本增加了 25%。這意味著 80GB 加速卡不僅提供了更多的本地存儲，而且還提供了一些額外的內(nèi)存帶寬。這意味著在內(nèi)存帶寬受限的工作負(fù)載中，即使不使用額外的內(nèi)存容量，80GB 版本也應(yīng)該比 40GB 版本更快。

然而，這種額外的內(nèi)存確實(shí)是有代價的——功耗。對于 80GB A100，NVIDIA 需要將功率提高到 300W，以適應(yīng)更密集、更高頻率的HBM2E堆棧。這是 TDP 的一個非常顯著的變化，因?yàn)?NVIDIA 長期以來一直將其 PCIe 計(jì)算加速卡的功率保持在 250W，這被廣泛認(rèn)為是 PCIe 散熱的極限。所以一張 300W 的卡不僅與 NVIDIA 過去的卡有所不同，還意味著系統(tǒng)集成商需要找到一種方法來為每張卡提供另外50W 的散熱。估計(jì)這不會成為太多設(shè)計(jì)的障礙，但如果某些集成商因此只提供40GB 卡，我們也不會為此感到詫異。

即便如此，80GB PCIe A100 的性能似乎也有點(diǎn)回退。3.0Gbps內(nèi)存時鐘比80GB SXM A100 的3.2Gbps 內(nèi)存時鐘低 7%。

關(guān)于整體性能預(yù)期，新的 80GB PCIe 卡應(yīng)該以與 40GB 型號類似的方式落后于 SXM 卡。由于NVIDIA 最新的 A100 數(shù)據(jù)表沒有包含相對性能指標(biāo)，因此我們沒有關(guān)于 PCIe 卡與 SXM 卡進(jìn)行比較的任何官方數(shù)據(jù)。但是考慮到TDP 差異（300W 與 400W+），預(yù)計(jì) 80GB PCIe 卡的實(shí)際性能接近 40GB PCIe 卡的 90%。這再次印證GPU 的時鐘速度并不是一切，尤其是在這個 TDP 受限硬件的時代。

無論如何，80GB PCIe A100 旨在吸引與該卡的 SXM 版本相同的廣泛用例，大致歸結(jié)為 AI 數(shù)據(jù)集大小，并支持更大的多實(shí)例 GPU (MIG) 實(shí)例。在人工智能的情況下，有許多工作負(fù)載可以通過使用更大的數(shù)據(jù)集，縮短訓(xùn)練時間或提高準(zhǔn)確性，而整體 GPU 內(nèi)存容量一直是該領(lǐng)域的瓶頸，因?yàn)榭傆腥丝梢允褂酶鄡?nèi)存。同時，NVIDIA 在 A100 上引入的 MIG 技術(shù)允許為每個實(shí)例分配更多內(nèi)存；在 7 個實(shí)例上運(yùn)行，每個實(shí)例現(xiàn)在最多可以擁有 10GB 的專用內(nèi)存。

總體而言，雖然NVIDIA還沒有公布具體的定價或可用性信息，客戶應(yīng)該很快就會看到 80GB PCIe A100 卡。