Povzetek
Ker umetna inteligenca (AI) hitro napreduje, se tradicionalna omrežja podatkovnih centrov soočajo z velikimi izzivi pri prenosu prometa AI. Visoka izkoriščenost pasovne širine in majhno število tokov slonov lahko povzročita neučinkovitost običajnega uravnoteženja obremenitve na-pretok, kar povzroči prezasedenost in izgubo paketov, ki znatno povečata čas usposabljanja modela AI in dokončanje opravil. Ta bela knjiga preučuje tehnologijo dinamičnega inteligentnega usmerjanja, ki združuje-zavedanje v realnem času z-inteligentnim odločanjem. Uporablja-merjenje kakovosti poti, razširjeno{7}}sinhronizacijo atributov BGP, dinamično uteženo-stroškovno večpotje (WCMP), neobičajno-odstranjevanje poti in
Samodejno uravnoteženje obremenitve-na ravni Flowlet (ALB) za izboljšanje razporejanja prometa v okoljih umetne inteligence. Zasnova uporablja tudi virtualizacijo za zagotavljanje izolacije več-najemnikov ter ponuja scenarije uporabe in navodila za načrtovanje za učinkovita, stabilna in inteligentna omrežja podatkovnih centrov z umetno inteligenco.
Uvod: Razvoj omrežja v AI Era
Zakaj se tradicionalna omrežja spopadajo z umetno inteligenco Promet
V tradicionalnih omrežjih podatkovnih centrov veliko število majhnih tokov omogoča uravnoteženje obremenitve na-pretok, da se doseže sprejemljiva porazdelitev in izogibanje prezasedenosti tudi brez-časovnega zavedanja stanja omrežja. Promet z umetno inteligenco je zelo drugačen: izkoriščenost pasovne širine je izjemno visoka in v prometu pogosto prevladuje le nekaj slonjih tokov. Zgoščevalni trki lahko zato postavijo več velikih tokov na isto pot, medtem ko druge poti ostanejo premalo uporabljene. Ko pride do izgube paketa, se lahko čas dokončanja celotne delovne obremenitve AI znatno poveča. Zaradi tega se panoga vse bolj osredotoča na optimizirane algoritme za-uravnoteženje obremenitve za strukture AI, tako da je promet bolj enakomerno porazdeljen po več poteh.
Slika 1. Primerjava slonskega-pretočnega prometa AI in tradicionalnega majhnega{2}}prometa.
Združevanje dinamičnega zavedanja z inteligentnim-odločanjem
Dinamično inteligentno usmerjanje je tehnologija za-uravnavanje-obremenitve, ki temelji na zavedanju. Uporablja kakovost poti, ki jo zaznajo stikala v tkanini, za prilagajanje lokalne izbire poti in podpira dinamično uteženo uravnoteženje obremenitve. Tehnologija, zgrajena na BGP, definira nov razširjen-atribut skupnosti.
Več{0}}dimenzionalne, visoko{1}}natančne meritve se uporabljajo za ovrednotenje kakovosti poti, rezultat pa se posreduje prek BGP za usmerjanje nadaljnjega posredovanja prometa. To izboljša-razporeditev obremenitve po celotnem omrežju in skrajša odzivni čas aplikacije [1].
Slika 2. Dinamično zavedanje, odločanje in potek dela izvajanja.
Osnovne tehnologije: Inteligentno načrtovanje prometa
Glavni pristopi k-uravnavanju obremenitve omrežja vključujejo:
- Na-tok ECMP: najpogostejši pristop, ki temelji na pet-zgoščeni vrednosti. Deluje dobro, ko je veliko pretokov in ohranja vrstni red paketov, vendar lahko zgoščeni trki povzročijo slabo uravnoteženje, ko je število pretokov nizko, kot pri usposabljanju AI [1].
- Uravnoteženje-na podlagi toka: odvisno od pravilne konfiguracije med-reže toka. Natančna konfiguracija je težavna, če zakasnitev ravni-globalne poti ni znana [1].
- ECMP na-paket: Zagotavlja odlično teoretično ravnovesje, vendar lahko povzroči obsežno preurejanje paketov pri prejemniku [1].
Pristop dinamičnega inteligentnega usmerjanja, ki ga uporabljajo stikala RoCE serije XingRongyuan CX-N (na osnovi SONiC-), združuje uravnoteženje na podlagi ECMP-toka in Flowlet-. Predstavlja dinamični WCMP (Weighted Cost Multipath) in ALB (Auto Load Balancing) [1], ki temelji na Flowlet-.
Merjenje kakovosti poti
Sistem ocenjuje kakovost omrežne poti z uporabo dejavnikov, ki močno vplivajo na tkanine gruče AI, vključno z uporabo pasovne širine, uporabo čakalne vrste in zakasnitvijo posredovanja.
Statistični števci
Uporaba pasovne širine in čakalne vrste se meri s števci strojne opreme ASIC z natančnostjo na ravni sto-milisekund. ASIC v realnem času beleži števce-posredovanja vrat in -čakalne vrste. Nadzorna ravnina SONiC bere števce prek vmesnika SAI na pod-sekundo natančnost in jih shrani v Redis. Postopek-nadzora usmerjanja oceni kakovost vmesnika z uporabo teh števcev in objavi rezultat prek BGP. Za omejitev obremenitve-kontrolne ravnine se oglasi trenutno pošiljajo v intervalih-druge ravni, pri čemer se tehtano povprečje uporablja za več vzorcev; novejši vzorci imajo večjo težo.
V-pasovni telemetriji
Merjenje-zakasnitve posredovanja temelji na INT (In-omrežna telemetrija) in lahko doseže-nanosekundno natančnost. HDC (High Delay Capture) zajame pakete, ki imajo visoko zakasnitev znotraj ASIC. Ko paket preseže uporabni-določen prag zakasnitve, pošlje stikalo prvih 150 bajtov izvirnega paketa skupaj z metapodatki, vključno z vhodnimi vrati, izhodnimi vrati in zakasnitvijo, v zbiralnik. V tej zasnovi CPE deluje kot zbiralnik in analizator HDC, kar omogoča visoko-natančne-meritve zakasnitve posredovanja in natančnejšo-ocenjevanje kakovosti poti.
Slika 3. Raz-razširjanje kakovosti poti in namestitev WCMP.
Tehnologija uporablja nov atribut razširjene-skupnosti BGP, Path Bandwidth Extended Community, za prikaz skupne kakovosti poti do cilja. Višji-bajt polja razširjenega-tipa je 0x00, nižji-bajt pa 0x05. V polju vrednosti podpolje Global Administrator predstavlja številko AS. Kakovost poti je kodirana v štirih bajtih z uporabo formata s plavajočo{10}}vejico IEEE in izražena v GB/s.
Ko NIC1 komunicira z NIC2, NIC2 najprej objavi svoj IP naslov Leaf2. Leaf2 oglašuje naslov hrbtenici skupaj z vrednostjo-kakovosti povezave do NIC2, pomnoženo s težo povezave navzdol Leaf2. Spine doda lastno tehtano kakovost povezave in posreduje akumulirano vrednost Leafu1. Leaf1 povzema kakovost poti in namesti poti, ki vodijo naprej. V dvo-sklopu Leaf-Spine so vrata razvrščena kot Leaf navzgornje povezave, Leaf navzdolnje povezave in Spine vrata, z nastavljivimi koeficienti izračuna za vsak razred.
Dinamični WCMP
Izravnavanje obremenitve porazdeli promet med več povezavami. V okoljih z umetno inteligenco je to bistveno za izgradnjo ethernetne strukture brez izgub z minimalno izgubo paketov, zakasnitvijo in poslabšanjem pretoka. ECMP je običajen mehanizem v podatkovnih centrih. WCMP razširja ECMP z distribucijo
prometa sorazmerno med povezavami. Pri dinamičnem inteligentnem usmerjanju se uteži WCMP prilagajajo v realnem času glede na kakovost poti. Na primer, če obstajata dve poti med NIC1 in NIC2, lahko sistem izračuna razmerje 3:7. Ko se promet spreminja, se posodobljene informacije o kakovosti-poti prenašajo prek BGP do vsakega listnega stikala, kjer se ustvarijo dinamične poti WCMP za vodenje posredovanja.
Nenormalna odstranitev poti
Ko skupna kakovost poti pade pod dogovorjeni prag, se pot šteje za neuporabno za delovno obremenitev AI in je odstranjena iz posredovanja. Preostale poti še naprej prenašajo promet skozi dinamični WCMP. Ko se pot vrne v normalno stanje, se obnovi. Čeprav lahko zaradi tega nekaj zmogljivosti začasno ostane neizkoriščeno, prepreči resnejše zastoje in izgubo paketov [1].
Inteligentno uravnoteženje obremenitve (ALB)
ALB zagotavlja porazdelitev obremenitve-na osnovi Flowlet. ASIC meri obremenitev in zakasnitev na različnih vratih v realnem času in usmerja vsak Flowlet na povezavo z manjšo obremenitvijo ali manjšo zakasnitvijo. To doda bolj natančno-zrnato razporejanje poleg tradicionalnega ECMP. ALB podpira tudi samodejni preklop vrat in samodejno prerazporedi promet, ko izhodna povezava odpove [1].
Virtualizacija
Čelna-omrežja pogosto potrebujejo podporo za več-najemnikov, tako da je mogoče različnim uporabnikom dodeliti različne vire GPE. Rešitev uporablja VRF (virtualno usmerjanje in posredovanje) za izolacijo najemnikov, pri čemer je vsakemu uporabniku dodeljen en VRF. Podomrežja, povezana z GPU-, so postavljena v uporabnikov VRF, PRE ACL-ji v ASIC pa razvrščajo vhodni promet, tako da se promet vsakega uporabnika posreduje samo znotraj ustreznega VRF [1].
Scenariji uporabe
1.Kako Dynamic WCMP absorbira prometne sunke
Za strukturo z 256 x 400G GPU vrati je mogoče oblikovati dvo{2}}arhitekturo Clos s konvergenčnim razmerjem 1:1 navzdol-proti-navzgornji povezavi, da se ohrani visoka prepustnost, visoka pasovna širina in simetrična zmogljivost. Primerni modeli izdelkov vključujejo XingRongyuan CX864E-N ali CX732Q-N [1]. Pri običajnem ECMP se lahko majhno število slonskih tokov AI zgosti do iste hrbtenice, kar povzroči zastoje navzgornje povezave ali izgubo paketov. Dinamični WCMP nenehno prilagaja porazdelitev prometa glede na-kakovost poti v realnem času, s čimer zmanjša prometne sunke in prepreči zastoje [1].
2.Flowlet-Uravnavanje ravni obremenitve
V istem 256 x 400G GPE tkivu dinamični WCMP ne ustreza vsaki napravi ali delovni obremenitvi. Stikalo lahko dinamično izbere ALB, ki temelji na Flowlet-. ALB meri obremenitev in zakasnitev povezav v skupini ECMP in pošlje Flowlets povezavam z manjšo uporabo ali zakasnitvijo. Če postane vmesnik preobremenjen ali se njegova zakasnitev pri posredovanju poveča, se ASIC samodejno izogne temu izstopu, dokler se pogoji ne vrnejo v normalno stanje [1].
Načrtovanje in načrtovanje omrežja AI
Storitve umetne inteligence na splošno vključujejo tri stopnje: zbiranje podatkov in predprocesiranje, usposabljanje modela in sklepanje umetne inteligence. Vsaka stopnja omrežju nalaga različne zahteve.
1. Zbiranje in predhodna obdelava podatkov
Globalno omrežje za{0}}zbiranje in predhodno obdelavo podatkov za usposabljanje mora zagotavljati-prožne javne vire IP in pasovne širine velikega obsega, tako da je mogoče učinkovito zbirati množične neobdelane podatkovne nize iz globalnega interneta. Zasnova mora zagotoviti varen in stabilen prenos, hkrati pa izboljšati zmogljivost združevanja podatkov in predprocesiranja [2].
1.1 Segmentacija VPC
Zasnova VPC za zbiranje-podatkov v oblaku mora slediti načelom najmanj-privilegijev, večplastne izolacije, varnostnega nadzora in elastične razširljivosti. Uporabi se lahko več VPC-jev ali več podomrežij znotraj enega VPC-ja [2].
- Segmentirajte po stopnji storitve: uvedite zbiranje podatkov, predhodno obdelavo, shranjevanje, usposabljanje in sklepanje v ločenih podomrežjih ali VPC. Postavite vstopne točke zbiranja v DMZ VPC ali javno podomrežje; namestitev predprocesnih in začasnih podatkov v namenski procesni VPC; postavite občutljive neobdelane podatke in usposabljanje AI v visoko-varnostni VPC brez neposrednega javnega dostopa.
- Izolacija glede na raven varnosti: Ustvarite visoko-, srednje- in nizko{2}}varnostne VPC-je ali podomrežja ter uporabite varnostne skupine, omrežne ACL-je in zasebno povezljivost za nadzor med-VPC in med-podomrežnim prometom.
- Lizolacija glede na najemnika ali projekt: Dodelite ločene VPC-je različnim najemnikom ali projektom za izolacijo virov, omrežij in podatkov.
1.2 Izhodno omrežje za zbiranje podatkov
Prehod NAT: uporabite skupino EIP-jev in SNAT prek prehoda NAT, kar programom za zbiranje omogoča dostop do interneta z naključno izbranih javnih naslovov IP.
Samo-zgrajen proxy: Razmestite proxy strežnike, ki vzdržujejo preslikave med procesi zbiranja in javnimi naslovi IP ter razdelite eno samo zahtevo za zbiranje med več proxyjev.
Ponudnik storitev IP: Povežite se s ponudnikom storitev IP prek zasebnega omrežja v oblaku za nižje stroške, nadzorovano varnost in stabilno kakovost [2].
1.3 Med-regijsko združevanje podatkov in predprocesiranje
Izberite regijo OSS v skladu z načrtom gruč-predobdelave in ustvarite VPC-združevanja podatkov v isti regiji. Ustvarite tranzitni usmerjevalnik (TR) v vsaki regiji, povežite lokalne VPC-je in med seboj povežite TR-je, tako da lahko regionalni zbirni VPC-ji neposredno dostopajo do osrednjega OSS-ja. Storitve, kot so PAI-iTAG, MaxCompute in Flink, lahko nato izvajajo označevanje in predhodno obdelavo podatkov v regiji OSS [2].
2. Vzorčna mreža za usposabljanje
Omrežje za-usposabljanje modela je tesno povezano z omrežjem za zbiranje in predprocesiranje, da tvori globalno strukturo, ki povezuje podatkovne centre v oblaku, robna vozlišča in-lokalne IDC-je.
Visoko{0}}hitra medsebojna povezava zagotavlja nizko-zakasnitev, visoko-prepustnost prenosa podatkov, medtem ko morajo biti pasovna širina, varnostni pravilniki, nadzor dostopa in obnovitev po katastrofi zasnovani od konca do konca [2].
- V-regionalnem-računskem bazenu v gručah: tranzitni usmerjevalnik povezuje več VPC-jev znotraj iste regije. Strežniški ENI se povežejo s stikali VPC in jih je mogoče konfigurirati za zahtevano prepustnost in RDMA.
- Navzkrižno-računsko področje v oblaku: namenska vezja povezujejo IDC ali drug oblak z isto-regijo VPC. Alibaba Cloud VBR se povežejo na ravni 3 z enakovredno napravo z BGP, BFD in hitrim preklopom za hitro konvergenco.
Globalno računalniško združenje: Med-regionalne povezave med TR-ji so omogočene glede na največji med-regijski promet, z izbirnim med-regijskim QoS za ustvarjanje poenotenega računalniškega bazena med regijami [2].
3. Globalno sklepanje-storitveno omrežje
Globalno sklepno omrežje izbere modele uvajanja glede na vire in storitve v oblaku, ki so na voljo v vsaki regiji, ter zagotavlja učinkovito distribucijo storitev in dostop [2].
- Uvedba modela ali agenta: uporabite uvedbo Model Studio MaaS, uvedbo PAI-EAS ali Function Compute PaaS ali uvedbo IaaS na infrastrukturi EGS, ACK, ACS ali Lingjun bare-metal znotraj stranke VPC.
- Distribucija storitve: ustvarite sklepno{0}}distribucijsko VPC in povežite zasebna omrežja z uporabo VPC Peering, povezanih VPC-storitev v oblaku ali PrivateLink. Razmestite ALB ali izboljšani ALB kot dostopno točko in proxy zahteve za različne modele ali agente.
- Dostop do storitve: lokalni uporabniki interneta lahko neposredno dostopajo do izboljšanega ALB; oddaljeni uporabniki lahko uporabljajo Global Accelerator (GA); notranji ali zunanji uporabniki podjetja Alibaba Cloud se lahko zasebno povežejo prek PrivateLink.
Zaključek in obeti
Ta bela knjiga pojasnjuje izzive, s katerimi se soočajo omrežja IDC v dobi umetne inteligence, in kako jih lahko obravnava dinamično inteligentno usmerjanje. Dinamično zavedanje, inteligentno odločanje-, virtualizacija WCMP, ALB in VRF izboljšajo učinkovitost-uravnoteževanja obremenitve, zmanjšajo zastoje in izgubo paketov ter pospešijo usposabljanje in sklepanje z umetno inteligenco. Oddelek za načrtovanje poudarja segmentacijo VPC, načrtovanje-izhoda zbirke,-regijsko združevanje in predprocesiranje, usposabljanje modela in dostavo globalnega sklepanja. Ker se umetna inteligenca še naprej razvija, se bodo omrežja podatkovnih centrov soočala s strožjimi zahtevami. Dinamično inteligentno usmerjanje se bo še naprej izboljševalo za robno umetno inteligenco, zvezno učenje in druge kompleksne scenarije. Prihodnja omrežja IDC bodo dajala večji poudarek konvergenci-računalniških omrežij, energetski učinkovitosti in avtomatiziranim delovanjem, kar bo ustvarilo bolj inteligentne, učinkovite in zanesljive temelje za digitalno gospodarstvo.
Reference
Uporabniški-tehnični izvorni dokument.
Bela knjiga Alibaba Cloud AI Network. Dostopan 27. maja 2026.
https://help.aliyun.com/zh/cloud-omrežje-dobro-zgrajen-design/alibaba-oblak-ai-omrežje-bel-papir