Ágrip
Þar sem gervigreind (AI) þróast hratt, standa hefðbundin gagnaveranet frammi fyrir miklum áskorunum þegar þau bera gervigreind umferð. Mikil bandbreiddarnýting og lítill fjöldi fílaflæðis getur gert hefðbundna álagsjöfnun á-flæði árangurslausa, sem leiðir til þrengsla og pakkataps sem eykur verulega þjálfun gervigreindarlíkana og verklokunartíma. Þessi hvítbók skoðar kraftmikla snjöllu leiðartækni sem sameinar rauntímavitund- og skynsamlegri ákvarðanatöku.- Það notar slóða-gæðamælingu, BGP aukna-eigindasamstillingu, kraftmikla vegna-kostnaðarfjölbrauta (WCMP), óeðlilega-fjarlægingu slóða og
Flowlet-sjálfvirk álagsjöfnun (ALB) til að bæta umferðaráætlun í gervigreindum umhverfi. Hönnunin notar einnig sýndarvæðingu til að veita fjöl-einangrun fyrir leigjendur og býður upp á forritasviðsmyndir og skipulagsleiðbeiningar fyrir skilvirk, stöðug og snjöll gervigreind gagnaveranet.
Inngangur: Netþróun í gervigreind Tímabil
Af hverju hefðbundin net eiga í erfiðleikum með gervigreind Umferð
Í hefðbundnum netkerfum gagnavera gerir mikið magn af litlum flæði kleift að-flæðisjafnvægi til að ná ásættanlegri dreifingu og forðast þrengsli, jafnvel án-rauntímavitundar um netaðstæður. Gervigreind umferð er mjög mismunandi: bandbreiddarnýting er mjög mikil og umferðin einkennist oft af aðeins örfáum fílaflæði. Hassárekstrar geta því komið mörgum stórum flæði á sömu brautina á meðan aðrar leiðir eru enn vannýttar. Þegar pakkatap á sér stað, getur lokið tími alls gervigreindarvinnuálagsins aukist verulega. Af þessum sökum einbeitir iðnaðurinn sér í auknum mæli að bjartsýni álags-jafnvægisalgrími fyrir gervigreindarefni þannig að umferð dreifist jafnari yfir margar leiðir.
Mynd 1. Samanburður á gervigreindarfíla-flæðisumferð og hefðbundinni lítilli-flæðisumferð.
Að sameina kraftmikla vitund og skynsamlega ákvarðanatöku-
Kvik snjöll leið er álags-miðuð-vitundartækni. Það notar leiðargæði sem skynjað er af rofum í efninu til að stilla staðbundið val á leiðum og styður kraftmikið vegið álagsjafnvægi. Tæknin er byggð á BGP og skilgreinir nýjan aukinn-samfélagseiginleika.
Fjölvíddar,-nákvæmar mælingar eru notaðar til að meta gæði slóða og niðurstaðan er dreift í gegnum BGP til að leiðbeina áframhaldandi umferð. Þetta bætir netkerfi-breiðri álagsdreifingu og dregur úr viðbragðstíma forrita [1].
Mynd 2. Kvikvitund, ákvörðun og framkvæmd verkflæði.
Kjarnatækni: Greindur umferðaráætlun
Almennar aðferðir við að jafna álag-netkerfis eru meðal annars:
- Per-flæði ECMP: Algengasta aðferðin, byggt á fimm-túplum kjötkássa. Það virkar vel þegar flæði eru mörg og varðveitir pakkanöð, en hassárekstrar geta valdið lélegu jafnvægi þegar flæðitölur eru lágar, eins og í gervigreindarþjálfun [1].
- Flæði-bundið jafnvægi: Fer eftir réttri uppsetningu á milli-flæðisbilinu. Nákvæm uppsetning er erfið þegar hnattræn slóð-töf er óþekkt [1].
- Per-pakka ECMP: Veitir framúrskarandi fræðilegt jafnvægi en getur skapað umfangsmikla pakkaendurröðun hjá viðtakanda [1].
Hin kraftmikla snjöllu leiðaraðferð sem notuð er af XingRongyuan CX-N Series RoCE rofum (SONiC-byggðir) sameinar ECMP og Flowlet-flæðisbundið jafnvægi. Það kynnir kraftmikið WCMP (Weighted Cost Multipath) og Flowlet-bundið ALB (Auto Load Balancing) [1].
Slóðgæðamæling
Kerfið metur gæði netslóða með því að nota þætti sem hafa mikil áhrif á gervigreind klasaefni, þar á meðal bandbreiddarnýtingu, nýtingu biðraðar og framsendingarleynd.
Tölfræðilegir teljarar
Bandbreidd og biðröð nýting er mæld í gegnum ASIC vélbúnaðarteljara með nákvæmni á hundrað-millisekúndu stigi. ASIC skráir framsendingar-framsendingar og biðröð-framsendingarteljara í rauntíma. SONiC stjórnplanið les teljarana í gegnum SAI viðmótið með undir-sekúndna nákvæmni og geymir þá í Redis. Leiðarstjórnunarferlið-metur gæði viðmóts með því að nota þessa teljara og auglýsir niðurstöðuna í gegnum BGP. Til að takmarka eftirlit-flugvélar eru auglýsingar sendar með öðru- millibili, þar sem vegið meðaltal er notað á mörg sýnishorn; nýlegri sýni fá hærri þyngd.
Í-Band Telemetry
Framsendingar-töf er byggð á INT (In-band Network Telemetry) og getur náð nanósekúndu-nákvæmni. HDC (High Delay Capture) fangar pakka sem upplifa mikla leynd inni í ASIC. Þegar pakki fer yfir -skilgreindan seinkunarþröskuld sendir rofinn fyrstu 150 bætin af upprunalega pakkanum ásamt lýsigögnum, þ. Í þessari hönnun virkar örgjörvinn sem HDC safnari og greiningartæki, sem gerir -nákvæmni áframsendingar-töfmælingar og nákvæmara slóða-gæðamat kleift.
Mynd 3. Slóð-gæðaútbreiðsla og WCMP uppsetning.
Tæknin notar nýjan BGP útbreiddan-samfélagseigind, Path Bandwidth Extended Community, til að gefa til kynna heildargæði leiðar á áfangastað. Há-bætið í útbreidda-gerð reitsins er 0x00 og lág-bætið er 0x05. Í gildisreitnum táknar undirreiturinn Global Administrator AS-númerið. Slóðgæði eru kóðuð í fjórum bætum með því að nota IEEE fljótandi{10}}punktasnið og gefið upp í GB/s .
Þegar NIC1 hefur samskipti við NIC2, auglýsir NIC2 fyrst IP tölu sína til Leaf2. Leaf2 auglýsir heimilisfangið á Spine ásamt hlekknum-gæðagildi í átt að NIC2 margfaldað með Leaf2 downlink þyngdinni. Hryggurinn bætir við eigin vegnum hlekkjagæðum og sendir uppsafnað gildi til Leaf1. Leaf1 tekur saman gæði slóðanna og setur upp leiðir sem leiðbeina áframsendingum. Í tveggja-þættum Leaf-Hryggjaefni eru port flokkuð sem Leaf uplinks, Leaf downlinks og Spine ports, með stillanlegum útreikningsstuðlum fyrir hvern flokk.
Dynamic WCMP
Álagsjöfnun dreifir umferð yfir marga tengla. Í gervigreindum umhverfi er þetta nauðsynlegt til að byggja upp taplaust Ethernet efni með lágmarks pakkatapi, leynd og niðurbroti á afköstum. ECMP er hefðbundinn búnaður í gagnaverum. WCMP framlengir ECMP með því að dreifa
umferð hlutfallslega yfir tengla. Í kraftmikilli greindri leið er WCMP þyngd stillt í rauntíma í samræmi við gæði slóðarinnar. Til dæmis, ef tvær leiðir eru á milli NIC1 og NIC2, gæti kerfið reiknað út 3:7 hlutfall. Eftir því sem umferðin breytist er uppfærðum slóðum-gæðaupplýsingum dreift í gegnum BGP til sérhvers blaðrofa, þar sem kraftmiklar WCMP-leiðir eru búnar til til að leiðbeina áframsendingum.
Óeðlileg slóða fjarlægð
Þegar heildargæði slóðar fara niður fyrir samþykkta þröskuld er slóðin talin ónothæf fyrir gervigreind vinnuálag og er fjarlægð úr áframsendingu. Leiðirnar sem eftir eru halda áfram að flytja umferð í gegnum kraftmikið WCMP. Þegar leiðin er komin í eðlilegt horf er hún endurheimt. Þó að þetta geti skilið einhverja getu ónotaða tímabundið kemur það í veg fyrir alvarlegri þrengslur og pakkatap [1].
Greindur álagsjafnvægi (ALB)
ALB veitir Flowlet-álagsdreifingu. ASIC mælir hleðslu og leynd á mismunandi höfnum í rauntíma og beinir hverjum Flowlet á tengilinn með minni álagi eða minni seinkun. Þetta bætir -fínari tímasetningu ofan á hefðbundna ECMP. ALB styður einnig gáttarbilun og endurdreifir umferð sjálfkrafa þegar útgöngutenging mistekst [1].
Sýndarvæðing
Framhliða-netkerfi þurfa oft stuðning fyrir marga-leigendur svo hægt sé að úthluta mismunandi GPU tilföngum til mismunandi notenda. Lausnin notar VRF (Virtual Routing and Forwarding) til að einangra leigjendur, með einum VRF úthlutað á hvern notanda. GPU-tengd undirnet eru sett inn í VRF notandans og PRE ACLs í ASIC flokka innkomuumferð þannig að umferð hvers notanda er aðeins framsend innan samsvarandi VRF [1].
Umsóknarsviðsmyndir
1.Hvernig kraftmikið WCMP gleypir umferðarhljóð
Fyrir efni með 256 x 400G GPU tengi, er hægt að hanna tveggja- Clos arkitektúr með 1:1 niðurtengli-til-upptengli samleitnihlutfalli til að viðhalda mikilli afköstum, mikilli bandbreidd og samhverfu getu. Viðeigandi vörugerðir eru XingRongyuan CX864E-N eða CX732Q-N [1]. Samkvæmt hefðbundnum ECMP getur lítill fjöldi gervigreindar fílaflæðis hassað í sama hrygg, sem veldur þrengslum í upptengi eða pakkatapi. Dynamic WCMP stillir stöðugt umferðardreifingu í samræmi við gæði-slóðar í rauntíma, dregur úr umferðarálagi og forðast þrengsli [1].
2.Flowlet-Álagsjöfnun
Í sama 256 x 400G GPU efni er ekki öllum tækjum eða vinnuálagi best þjónað með kraftmiklu WCMP. Rofinn getur virkt valið Flowlet-undirstaða ALB. ALB mælir hleðslu og biðtíma tengla í ECMP hópnum og sendir Flowlets á tengla með minni nýtingu eða seinkun. Ef viðmót verður ofhlaðið eða seinkun á framsendingu þess eykst, forðast ASIC sjálfkrafa þá útgöngu þar til aðstæður verða aftur eðlilegar [1].
AI netskipulag og hönnun
AI þjónusta felur almennt í sér þrjú stig: gagnasöfnun og forvinnslu, líkanaþjálfun og AI ályktun. Hvert stig setur mismunandi kröfur á netið.
1. Gagnasöfnun og forvinnsla
Alþjóðlegt þjálfunar-gagnasöfnunar- og forvinnslunet verður að bjóða upp á stór-teygjanlegt opinbert IP- og bandbreiddartilföng svo hægt sé að safna stórum hráum gagnasöfnum á skilvirkan hátt af alheimsnetinu. Hönnunin verður að tryggja örugga og stöðuga sendingu á sama tíma og hún bætir gagnasöfnun og afköst forvinnslu [2].
1.1 VPC skipting
VPC hönnun fyrir skýja-gagnasöfnun ætti að fylgja minnstu-réttindum, lagskiptri einangrun, öryggisstýringu og teygjanlegri sveigjanleika. Annaðhvort má nota mörg VPC eða mörg undirnet innan eins VPC [2].
- Skipta eftir þjónustustigi: Settu upp gagnasöfnun, forvinnslu, geymslu, þjálfun og ályktun í aðskilin undirnet eða VPC. Settu söfnunaraðgangsstaði í DMZ VPC eða opinbert undirnet; setja forvinnslu og tímabundin gögn í sérstakan vinnslu VPC; setja viðkvæm hrá gögn og gervigreindarþjálfun í há-öryggis VPC án beins almenningsaðgangs.
- Einangraðu eftir öryggisstigi: Búðu til VPC eða undirnet með há-, meðal{1}} og lágt-öryggisöryggi og notaðu öryggishópa, ACL netkerfi og einkatengingu til að stjórna yfir-VPC og þver-undirnetumferð.
- Einangrað eftir leigjanda eða verkefni: Úthlutaðu aðskildum VPC til mismunandi leigjenda eða verkefnum til að einangra auðlindir, net og gögn.
1.2 Gagnasöfnun Egress Network
NAT gátt: Notaðu hóp af EIP og SNAT í gegnum NAT gátt, sem gerir söfnunarforritum kleift að fá aðgang að internetinu frá handahófi völdum opinberum IP tölum.
Sjálfsmíðaður-umboðsþjónn: Settu upp proxy-þjóna sem viðhalda vörpum milli söfnunarferla og opinberra IP-tölu og dreifa einni söfnunarbeiðni á marga umboðsaðila.
IP þjónustuveita: Tengstu við IP þjónustuveitu í gegnum einkaskýjanetið fyrir lægri kostnað, stýrt öryggi og stöðug gæði [2].
1.3 Þver-svæðisgagnasamsöfnun og forvinnsla
Veldu OSS-svæðið í samræmi við forvinnslu-klasaáætlunina og búðu til gagna-samsöfnunar-VPC á sama svæði. Búðu til Transit Router (TR) á hverju svæði, tengdu staðbundnar VPCs og samtengdu TRs þannig að svæðisbundið safn VPCs geti beint aðgang að miðlægum OSS. Þjónusta eins og PAI-iTAG, MaxCompute og Flink geta síðan framkvæmt gagnamerkingar og forvinnslu á OSS svæðinu [2].
2. Líkanþjálfunarnet
Líkanið-þjálfunarnetið er þétt samþætt við söfnunar- og forvinnslunetið til að mynda alþjóðlegt efni sem tengir skýjagagnaver, brúnhnúta og-IDCs á staðnum.
Há-hraði samtenging veitir litla-leynd, mikla-afköst gagnaflutninga, en bandbreidd, öryggisstefnur, aðgangsstýringar og hamfarabati verða að vera hönnuð enda til enda [2].
- In-region cross-cluster computing pool: Transit Router tengir marga VPC innan sama svæðis. ENI miðlara tengjast VPC rofa og hægt er að stilla þau fyrir nauðsynlega afköst og RDMA.
- Cross-skýjatölvuhópur: Sérstakar rafrásir tengja IDC eða annað ský við sama-svæði VPC. Alibaba Cloud VBRs tengjast á Layer 3 við jafningjatækið, með BGP, BFD og hröðum bilun fyrir hraða samleitni.
Alþjóðlegur reiknihópur: Þver-svæðatenglar milli TRs eru útvegaðir í samræmi við hámarks umferð á milli-svæða, með valfrjálsu milli-svæðis QoS til að búa til sameinaðan reiknihóp yfir svæði [2].
3. Alheimsályktun-Þjónustunet
Alþjóðlegt ályktunarnet velur dreifingarlíkön í samræmi við auðlindir og skýjaþjónustu sem til er á hverju svæði og veitir skilvirka þjónustudreifingu og aðgang [2].
- Dreifing líkans eða umboðsmanns: Notaðu Model Studio MaaS dreifingu, PAI-EAS eða Function Compute PaaS dreifingu, eða IaaS dreifingu á EGS, ACK, ACS eða Lingjun ber-málminnviði innan VPC viðskiptavinarins.
- Þjónustudreifing: Búðu til ályktun-dreifingar VPC og tengdu einkanet með VPC Peering, tengdum skýja-þjónustu VPC eða PrivateLink. Notaðu ALB eða endurbætt ALB sem aðgangsstað og umboðsbeiðnir fyrir mismunandi gerðir eða umboðsmenn.
- Þjónustuaðgangur: Staðbundnir netnotendur geta nálgast aukið ALB beint; fjarnotendur geta notað Global Accelerator (GA); innri eða ytri Alibaba Cloud fyrirtækjanotendur geta tengst einslega í gegnum PrivateLink.
Niðurstaða og horfur
Þessi hvítbók útskýrir áskoranirnar sem IDC netkerfi standa frammi fyrir á gervigreindartímanum og hvernig kraftmikil snjöll leið getur tekist á við þær. Kraftmikil vitund, skynsamleg-ákvarðanataka, WCMP, ALB og VRF sýndarvæðing bæta álags-jafnvægi, draga úr þrengslum og pakkatapi og flýta fyrir gervigreindarþjálfun og ályktunum. Skipulagshlutinn leggur áherslu á VPC-skiptingu, söfnunar-útgangshönnun, söfnun yfir-svæða og forvinnslu, líkanaþjálfun og alþjóðlega ályktun. Eftir því sem gervigreind heldur áfram að þróast munu gagnaversnet standa frammi fyrir strangari kröfum. Kvik snjöll leið mun halda áfram að batna fyrir gervigreind í frammi, sameinuðu námi og öðrum flóknum aðstæðum. Framundan IDC net mun leggja meiri áherslu á -samruna tölvuneta, orkunýtingu og sjálfvirkan rekstur og skapa snjallari, skilvirkari og áreiðanlegri grunn fyrir stafræna hagkerfið.
Heimildir
Notanda-útvegað tæknilegt heimildarskjal.
Hvítbók Alibaba Cloud AI Network. Skoðað 27. maí 2026.
https://help.aliyun.com/zh/cloud-net-vel-arkitektað-hönnun/alibaba-ský-ai-net-hvítt-blað