英偉達(dá)在其數(shù)據(jù)中心架構(gòu)的設(shè)計(jì)上采取了一項(xiàng)顛覆性措施——摒棄部分光模塊，轉(zhuǎn)而采用銅纜進(jìn)行內(nèi)部互聯(lián)，這到底是怎么回事？看到網(wǎng)上有人說(shuō)搞了幾十年的光進(jìn)銅退，現(xiàn)在要反著來(lái)嗎？那么光模塊數(shù)量的需求會(huì)減少嗎？根據(jù)其描述，基于最新一代 NVLink Switch 芯片，GB200 可實(shí)現(xiàn)576顆 Blackwell GPU 組成計(jì)算集群，超越上一代 GH200 支持的 256 顆集群規(guī)模。在GB200方案中，其單臺(tái)機(jī)架中配置了36顆GRACE CPU和72顆Blackwell GPU，通過(guò)銅纜的方案將該72顆 Blackwell GPU 進(jìn)行互聯(lián)。

GB200 單機(jī)柜方案中采用銅纜進(jìn)行互聯(lián)

針對(duì)網(wǎng)上狼來(lái)了的看法，不禁用兩個(gè)但是但是，上一代GH200機(jī)柜內(nèi)部不也是用的銅纜而非光模塊么，所以GB200單機(jī)柜內(nèi)部采用NVLink5.0銅纜電連接并不稀奇。綜合英偉達(dá)的方案，我們分析：小于72個(gè)GPU以?xún)?nèi)的小型集群，英偉達(dá)可以全部采用銅纜進(jìn)行內(nèi)部互聯(lián)，無(wú)需使用光模塊。但是當(dāng)GPU數(shù)量上升至72-576個(gè)區(qū)間時(shí)，也就是跨機(jī)柜場(chǎng)景（單機(jī)內(nèi)部還是銅互聯(lián)），必須大量使用光模塊了，無(wú)論是800G還是未來(lái)的1.6T。對(duì)于超過(guò)576個(gè)GPU的集群的外部互聯(lián)，第三層網(wǎng)絡(luò)采用InfiniBand技術(shù)。由于NVLink5.0雙向帶寬已提升至1800GB，對(duì)應(yīng)單向帶寬為900GB，若采用800G光模塊傳輸+2層網(wǎng)絡(luò)架構(gòu)，（900GB*8/800Gb）*2=18個(gè)，即GB200與800G光模塊的配比關(guān)系為1:18；如果采用1.6T光模塊，配比關(guān)系為1:9.

從成本角度來(lái)看，一個(gè)NVL72單機(jī)柜需配備5000個(gè)200G速率的銅纜，200G速率的單價(jià)為45美金，總計(jì)22萬(wàn)美金。再把銅纜中間的線(xiàn)材、兩端的連接器（每個(gè)價(jià)格15美元）以及相對(duì)成本較低的Cage部件都包含進(jìn)來(lái)，相比光模塊的成本還是劃算的多。不過(guò)，現(xiàn)階段采用的是200G銅纜互聯(lián)，后續(xù)可能計(jì)劃升級(jí)至400G，但隨著速率的提升，銅纜的傳輸距離是快速變短的，例如200G銅纜支持7米，400G銅纜為2.5米，800G銅纜則限于1米。因此即使是單機(jī)架內(nèi)的互聯(lián)，相信最終還是光模塊的天下。分析認(rèn)為在NVLINK速率提升至7.2TB之前的數(shù)年內(nèi)，銅纜仍是一個(gè)可行的替代方案。在市場(chǎng)上，前一代GH200的銷(xiāo)售業(yè)績(jī)不盡如人意，市場(chǎng)份額僅為5%，主要客戶(hù)是AWS。貌似英偉達(dá)對(duì)新一代GB200產(chǎn)品，預(yù)期還是比較樂(lè)觀的：據(jù)說(shuō)AWS已預(yù)訂2萬(wàn)張GB200芯片，谷歌、微軟等巨頭也有意向下單。若定價(jià)策略得當(dāng)，GB200的市場(chǎng)滲透率有可能達(dá)到20-40%，甚至更高也不是不可能的。

Lightning 數(shù)據(jù)線(xiàn) 編織蘋(píng)果紅色不彈窗

線(xiàn)纜小編

9.90購(gòu)買(mǎi)

數(shù)據(jù)中心高速銅纜未來(lái)可期

如上提到200G銅纜支持7米，400G銅纜為2.5米，800G銅纜則限于1米；由于機(jī)柜功耗的限制，服務(wù)器到交換機(jī)的連接距離很多場(chǎng)景下往往需要達(dá)到甚至超過(guò)7m，所以早期25G服務(wù)器到交換機(jī)連接的方式以有源光纜為主，而直連銅纜方案，由于理論上只能支持到5m的應(yīng)用，使得其應(yīng)用大為受限。在保證低成本的前提下，如何延長(zhǎng)銅纜連接距離，有效的方式有兩種：一種是基于信號(hào)時(shí)鐘恢復(fù)的Retimer方案，一種是基于信號(hào)放大的Redriver方案，根據(jù)信號(hào)傳輸?shù)奶攸c(diǎn)，近幾年芯片公司都有結(jié)合硬件對(duì)軟件進(jìn)行了優(yōu)化，包括成本包括線(xiàn)纜材料選擇包括接口方案等，外部線(xiàn)目前的技術(shù)硬件前提下，IEEE802.3cd要求50G PAM4調(diào)制下的線(xiàn)纜滿(mǎn)足在13.28GHz下的SDD21小于17dB，而實(shí)際大規(guī)模生產(chǎn)出來(lái)的線(xiàn)纜，超過(guò)2.8m長(zhǎng)的距離，已經(jīng)超出這個(gè)標(biāo)準(zhǔn)。另一方面，雖然50G PAM4調(diào)制下的基準(zhǔn)頻率與25G NRZ相差不大，但對(duì)于信號(hào)輸出強(qiáng)度更加敏感，中高頻的衰減相比于25G NRZ帶來(lái)的誤碼代價(jià)更高，因此在50G PAM4的應(yīng)用和設(shè)計(jì)上我們傾向于更大的冗余度，現(xiàn)有技術(shù)前提下，銅線(xiàn)的使用長(zhǎng)度仍然將限制銅纜的未來(lái)增長(zhǎng)，當(dāng)然主要說(shuō)的是外部數(shù)據(jù)線(xiàn)，設(shè)備和設(shè)備連接的部分，所以我們說(shuō)的“光退銅進(jìn)”應(yīng)該說(shuō)的主要是外部線(xiàn)系列，而對(duì)應(yīng)內(nèi)部線(xiàn)，銅纜將會(huì)持續(xù)很長(zhǎng)時(shí)間，目前一種將多個(gè)物理通道合并為一個(gè)高速數(shù)據(jù)流的接口技術(shù)高速接口的Mini Cool Edge IO(MCIO)嶄露頭角，其全稱(chēng)多通道輸入/輸出，根據(jù)應(yīng)用需求，MCIO接口分為多種類(lèi)型，其中MCIO 4I和MCIO 8I是最常見(jiàn)的兩種。MCIO 4I將四個(gè)物理通道合并為一個(gè)高速數(shù)據(jù)流，實(shí)現(xiàn)了數(shù)據(jù)的并行傳輸，有效提升了數(shù)據(jù)傳輸?shù)男屎蛯?shí)時(shí)性。它支持多種數(shù)據(jù)傳輸協(xié)議，如PCIe、CXL等，可以滿(mǎn)足不同設(shè)備和應(yīng)用的需求。MCIO 4I在服務(wù)器、數(shù)據(jù)中心等設(shè)施中得到了廣泛應(yīng)用，為高性能計(jì)算和數(shù)據(jù)中心的穩(wěn)定運(yùn)行提供了強(qiáng)有力的支持。相對(duì)于MCIO 4I，MCIO 8I將八個(gè)物理通道合并為一個(gè)高速數(shù)據(jù)流，進(jìn)一步提高了數(shù)據(jù)的傳輸速率和吞吐量。它具有更高的帶寬和更低的延遲，可以滿(mǎn)足更為苛刻的數(shù)據(jù)傳輸需求。MCIO 8I主要應(yīng)用于需要更高數(shù)據(jù)傳輸速率和更大吞吐量的應(yīng)用場(chǎng)景，如超級(jí)計(jì)算、云計(jì)算等;MCIO目前階段可以說(shuō)是在適當(dāng)?shù)臅r(shí)間點(diǎn)出現(xiàn)的適當(dāng)?shù)臄?shù)據(jù)接口，技術(shù)性能沒(méi)有問(wèn)題的大前提下.

對(duì)市場(chǎng)的看法

短期效應(yīng)，光模塊需求減少，高速線(xiàn)需求劇增，由于GB200方案通過(guò)改進(jìn)的NVSwitch架構(gòu)和銅纜互聯(lián)大幅提升了單機(jī)柜內(nèi)部的算力密度，原本需要更大規(guī)模集群才能達(dá)到的計(jì)算需求現(xiàn)在僅需較少數(shù)量的機(jī)柜就能實(shí)現(xiàn)，這意味著在一定規(guī)模的集群內(nèi)部，光模塊的使用數(shù)量將顯著下降，特別是在中小規(guī)模的集群搭建中，光模塊的需求被大量取代。

長(zhǎng)期趨勢(shì)，盡管在單機(jī)柜內(nèi)部采用銅纜互聯(lián)，但隨著數(shù)據(jù)中心規(guī)模不斷擴(kuò)大，特別是當(dāng)需求超出單機(jī)柜范圍時(shí)，機(jī)柜間的互聯(lián)仍需依賴(lài)光模塊，而且隨著對(duì)更大規(guī)模算力集群的需求增加，光模塊的使用仍然是必不可少的，只是需求層次發(fā)生了變化，即從集群內(nèi)部轉(zhuǎn)向集群間互聯(lián)。此次的G200設(shè)計(jì)銅纜，但并不意味著“銅”的持續(xù)增長(zhǎng)，在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展，數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天，“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì)，分別承擔(dān)好自己的“角色”，更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。

技術(shù)迭代與需求匹配：隨著技術(shù)發(fā)展和需求變化，當(dāng)銅纜技術(shù)遇到IO瓶頸或其他限制時(shí)，光模塊很可能會(huì)再度成為最優(yōu)解，就像上面說(shuō)的當(dāng)銅纜的傳輸距離已經(jīng)不足以支持單機(jī)柜內(nèi)的互聯(lián)了。