Abstrakcyjny
W miarę szybkiego rozwoju sztucznej inteligencji (AI) tradycyjne sieci centrów danych stają przed poważnymi wyzwaniami w zakresie przenoszenia ruchu opartego na sztucznej inteligencji. Wysokie wykorzystanie przepustowości i niewielka liczba przepływów słoniowych mogą sprawić, że konwencjonalne równoważenie obciążenia na-przepływ będzie nieskuteczne, co spowoduje zatory i utratę pakietów, co znacznie wydłuża czas szkolenia modeli sztucznej inteligencji i czas realizacji zadań. W tym oficjalnym dokumencie omówiono dynamiczną technologię inteligentnego routingu, która łączy-świadomość w czasie rzeczywistym z inteligentnym podejmowaniem-decyzji. Wykorzystuje pomiar-jakości ścieżki, rozszerzoną-synchronizację atrybutów BGP, dynamiczną wielościeżkę-kosztów ważonych (WCMP), usuwanie nienormalnych-ścieżek i
Automatyczne równoważenie obciążenia na poziomie-przepływu (ALB) w celu usprawnienia planowania ruchu w środowiskach AI. Projekt wykorzystuje także wirtualizację, aby zapewnić izolację wielu-dzierżawców, a także zapewnia scenariusze aplikacji i wskazówki dotyczące planowania wydajnych, stabilnych i inteligentnych sieci centrów danych opartych na sztucznej inteligencji.
Wprowadzenie: Ewolucja sieci w sztucznej inteligencji Era
Dlaczego tradycyjne sieci zmagają się ze sztuczną inteligencją Ruch drogowy
W tradycyjnych sieciach centrów danych duża liczba małych przepływów umożliwia równoważenie obciążenia na-przepływ, co pozwala uzyskać akceptowalną dystrybucję i uniknąć zatorów nawet bez-informacji o stanie sieci w czasie rzeczywistym. Ruch AI jest bardzo zróżnicowany: wykorzystanie przepustowości jest niezwykle wysokie, a ruch jest często zdominowany przez tylko kilka przepływów słoni. Kolizje skrótów mogą zatem spowodować umieszczenie wielu dużych przepływów na tej samej ścieżce, podczas gdy inne ścieżki pozostają niedostatecznie wykorzystywane. W przypadku utraty pakietów czas realizacji całego zadania AI może znacznie się wydłużyć. Z tego powodu branża w coraz większym stopniu koncentruje się na zoptymalizowanych algorytmach-równoważenia obciążenia dla struktur AI, aby ruch był rozkładany bardziej równomiernie na wiele ścieżek.
Rysunek 1. Porównanie ruchu-słonia AI z tradycyjnym ruchem o małym-przepływie.
Łączenie dynamicznej świadomości z inteligentnym podejmowaniem-decyzji
Dynamiczny inteligentny routing to technologia równoważenia obciążenia-oparta na świadomości. Wykorzystuje jakość ścieżki wykrywaną przez przełączniki w sieci szkieletowej w celu dostosowania wyboru ścieżki lokalnej i obsługuje dynamicznie ważone równoważenie obciążenia. Technologia ta, oparta na protokole BGP, definiuje nowy atrybut rozszerzonej-społeczności.
Do oceny jakości ścieżki wykorzystywane są wielowymiarowe-wymiarowe i-precyzyjne pomiary, a wyniki są propagowane przez protokół BGP w celu kierowania dalszym przekazywaniem ruchu. Poprawia to rozkład obciążenia-w całej sieci i skraca czas odpowiedzi aplikacji [1].
Rysunek 2. Dynamiczny przepływ świadomości, decyzji i realizacji.
Podstawowe technologie: Inteligentne planowanie ruchu
Podstawowe podejścia do równoważenia obciążenia sieci- obejmują:
- ECMP na-przepływ: najczęstsze podejście oparte na pięcio-krotce skrótu. Działa dobrze, gdy istnieje wiele przepływów i zachowuje kolejność pakietów, ale kolizje skrótów mogą powodować słabe równoważenie, gdy liczba przepływów jest niska, jak w przypadku uczenia sztucznej inteligencji [1].
- Równoważenie-w oparciu o przepływ: zależy od prawidłowej konfiguracji szczeliny między-przepływami. Dokładna konfiguracja jest trudna, gdy nieznane jest opóźnienie na poziomie globalnej ścieżki- [1].
- ECMP na-pakiet: zapewnia doskonałą teoretyczną równowagę, ale może powodować rozległe zmiany kolejności pakietów u odbiorcy [1].
Podejście do dynamicznego inteligentnego routingu stosowane w przełącznikach RoCE XingRongyuan CX-serii N (opartych na SONiC-) łączy równoważenie oparte na-przepływie ECMP i przepływie-. Wprowadza dynamiczną technologię WCMP (Weighted Cost Multipath) i-opartą na przepływie ALB (Auto Load Balancing) [1].
Pomiar jakości ścieżki
System ocenia jakość ścieżki sieciowej na podstawie czynników, które silnie wpływają na strukturę klastra AI, w tym wykorzystanie przepustowości, wykorzystanie kolejki i opóźnienia przekazywania.
Liczniki statystyczne
Przepustowość i wykorzystanie kolejki mierzone są za pomocą liczników sprzętowych ASIC z dokładnością do stu-milisekund. Układ ASIC rejestruje liczniki-przekierowywania portów i kolejek-przekierowywania w czasie rzeczywistym. Płaszczyzna sterująca SONiC odczytuje liczniki przez interfejs SAI z dokładnością poniżej{5} sekundy i zapisuje je w Redis. Proces kontroli-routowania ocenia jakość interfejsu przy użyciu tych liczników i ogłasza wynik za pośrednictwem protokołu BGP. Aby ograniczyć obciążenie-płaszczyzny sterującej, reklamy są obecnie wysyłane w odstępach-drugiego poziomu, przy czym do wielu próbek stosuje się średnią ważoną; nowsze próbki otrzymują większą wagę.
W-telemetrii pasmowej
Pomiar-opóźnienia przesyłania opiera się na metodzie INT (telemetria sieci-w paśmie) i może osiągnąć precyzję na poziomie-nanosekund. HDC (High Delay Capture) przechwytuje pakiety, które doświadczają dużych opóźnień w układzie ASIC. Kiedy pakiet przekracza próg opóźnienia-zdefiniowany przez użytkownika, przełącznik wysyła do modułu zbierającego pierwsze 150 bajtów oryginalnego pakietu wraz z metadanymi, w tym portem wejściowym, portem wyjściowym i opóźnieniem. W tym projekcie procesor pełni rolę kolektora i analizatora HDC, umożliwiając-precyzyjne pomiary-opóźnień w przekazywaniu i dokładniejszą-ocenę jakości ścieżki.
Rysunek 3. Propagacja-jakości ścieżki i instalacja WCMP.
Technologia wykorzystuje nowy atrybut rozszerzonej-społeczności BGP, rozszerzoną społeczność Path Bandwidth, aby wskazać łączną jakość ścieżki do miejsca docelowego. Bajt-najstarszy w polu typu rozszerzonego-to 0x00, a bajt{{6}mniejszy w polu typu rozszerzonego to 0x05. W polu wartości podpole Administrator globalny reprezentuje numer AS. Jakość ścieżki jest kodowana w czterech bajtach przy użyciu formatu zmiennoprzecinkowego IEEE-i wyrażana w GB/s.
Kiedy karta NIC1 komunikuje się z kartą NIC2, karta NIC2 najpierw ogłasza swój adres IP firmie Leaf2. Leaf2 ogłasza adres w Spine wraz z wartością-jakości łącza w kierunku karty NIC2 pomnożoną przez wagę łącza pobierającego Leaf2. Spine dodaje własną ważoną jakość łącza i przekazuje skumulowaną wartość do Leaf1. Leaf1 podsumowuje jakość ścieżki i instaluje trasy prowadzące przekazywanie. W dwupoziomowej architekturze Leaf-Spine porty są klasyfikowane jako łącza zwrotne typu Leaf, łącza pobierające typu Leaf i porty Spine, przy czym dla każdej klasy można konfigurować współczynniki obliczeniowe.
Dynamiczny WCMP
Równoważenie obciążenia rozdziela ruch na wiele łączy. W środowiskach AI jest to niezbędne do zbudowania bezstratnej struktury Ethernet przy minimalnych stratach pakietów, opóźnieniach i degradacji przepustowości. ECMP to konwencjonalny mechanizm stosowany w centrach danych. WCMP rozszerza ECMP poprzez dystrybucję
ruch proporcjonalnie między linkami. W przypadku dynamicznego inteligentnego routingu wagi WCMP są dostosowywane w czasie rzeczywistym w zależności od jakości ścieżki. Na przykład, jeśli pomiędzy kartami NIC1 i NIC2 istnieją dwie ścieżki, system może obliczyć współczynnik 3:7. Gdy zmienia się ruch, zaktualizowane informacje-o jakości ścieżki są propagowane przez protokół BGP do każdego przełącznika Leaf, gdzie generowane są dynamiczne trasy WCMP w celu kierowania przekazywaniem.
Nieprawidłowe usunięcie ścieżki
Gdy zagregowana jakość ścieżki spadnie poniżej uzgodnionego progu, ścieżka jest uznawana za bezużyteczną dla obciążenia AI i usuwana z przesyłania dalej. Pozostałe ścieżki nadal przenoszą ruch przez dynamiczny protokół WCMP. Gdy ścieżka powróci do normalnego stanu, zostanie przywrócona. Chociaż może to tymczasowo pozostawić niewykorzystaną część pojemności, zapobiega poważniejszym zatorom i utracie pakietów [1].
Inteligentne równoważenie obciążenia (ALB)
ALB zapewnia rozkład obciążenia-w oparciu o Flowlet. Układ ASIC mierzy obciążenie i opóźnienia na różnych portach w czasie rzeczywistym i kieruje każdy przepływ do łącza o mniejszym obciążeniu lub mniejszym opóźnieniu. Dodaje to bardziej-ziarniste planowanie w porównaniu z tradycyjnym ECMP. ALB obsługuje także przełączanie awaryjne portów i automatycznie redystrybuuje ruch w przypadku awarii łącza wyjściowego [1].
Wirtualizacja
Sieci-frontonu często wymagają obsługi-wielu dzierżawców, aby różne zasoby procesora graficznego mogły być przydzielane różnym użytkownikom. Rozwiązanie wykorzystuje VRF (Virtual Routing and Forwarding) do izolowania najemców, przy czym każdemu użytkownikowi przypisany jest jeden VRF. Podsieci-związane z procesorem graficznym są umieszczane w systemie VRF użytkownika, a listy PRE ACL w układzie ASIC klasyfikują ruch przychodzący w taki sposób, że ruch każdego użytkownika jest przekazywany wyłącznie w obrębie odpowiedniego systemu VRF [1].
Scenariusze zastosowań
1.Jak dynamiczny WCMP pochłania wzrosty ruchu
W przypadku sieci szkieletowej z portami GPU 256 x 400 G można zaprojektować dwu-warstwową architekturę Clos ze współczynnikiem konwergencji łącza w dół-do-wysyłania wynoszącego 1:1, aby utrzymać wysoką przepustowość, wysoką przepustowość i symetryczną pojemność. Odpowiednie modele produktów obejmują XingRongyuan CX864E-N lub CX732Q-N [1]. W konwencjonalnym ECMP niewielka liczba przepływów AI może hashować do tego samego Spine, powodując przeciążenie łącza zwrotnego lub utratę pakietów. Dynamiczny WCMP stale dostosowuje rozkład ruchu zgodnie-jakością ścieżki w czasie rzeczywistym, redukując wzrosty ruchu i unikając zatorów [1].
2.Flowlet-Równoważenie obciążenia na poziomie
W tej samej architekturze GPU 256 x 400 G nie każde urządzenie lub obciążenie jest najlepiej obsługiwane przez dynamiczny protokół WCMP. Przełącznik może dynamicznie wybierać ALB-oparty na przepływie. ALB mierzy obciążenie i opóźnienie łączy w grupie ECMP i wysyła Flowlety do łączy o niższym wykorzystaniu lub opóźnieniu. Jeśli interfejs zostanie przeciążony lub jego opóźnienie w przekazywaniu wzrośnie, układ ASIC automatycznie unika tego wyjścia, dopóki warunki nie powrócą do normy [1].
Planowanie i projektowanie sieci AI
Usługi AI zazwyczaj obejmują trzy etapy: gromadzenie i wstępne przetwarzanie danych, szkolenie modeli i wnioskowanie AI. Każdy etap nakłada inne wymagania na sieć.
1. Gromadzenie i wstępne przetwarzanie danych
Globalna sieć-zbierania i wstępnego przetwarzania danych szkoleniowych musi zapewniać-dużą skalę, elastyczny publiczny adres IP i zasoby przepustowości, aby można było efektywnie gromadzić ogromne surowe zbiory danych z globalnego Internetu. Projekt musi zapewniać bezpieczną i stabilną transmisję, poprawiając jednocześnie wydajność agregacji danych i wstępnego przetwarzania [2].
1.1 Segmentacja VPC
Projekt VPC do gromadzenia danych-w chmurze powinien być zgodny z zasadami-najmniejszych uprawnień, izolacji warstwowej, kontroli bezpieczeństwa i elastycznej skalowalności. Można używać wielu VPC lub wielu podsieci w obrębie jednej VPC [2].
- Segmentuj według etapu usługi: wdrażaj gromadzenie danych, wstępne przetwarzanie, przechowywanie, trenowanie i wnioskowanie w oddzielnych podsieciach lub VPC. Umieść punkty wejścia kolekcji w DMZ VPC lub podsieci publicznej; umieść dane wstępnego przetwarzania i dane tymczasowe w dedykowanym przetwarzającym VPC; umieszczaj wrażliwe, nieprzetworzone dane i szkolenia dotyczące sztucznej inteligencji w-sferze VPC o wysokim poziomie bezpieczeństwa, bez bezpośredniego dostępu publicznego.
- Izoluj według poziomu zabezpieczeń: twórz VPC lub podsieci o wysokim-, średnim- i niskim-bezpieczeństwie oraz korzystaj z grup zabezpieczeń, sieciowych list ACL i połączeń prywatnych, aby kontrolować ruch między-VPC i-podsieciami.
- Lizoluj według dzierżawcy lub projektu: przypisz osobne środowiska VPC do różnych dzierżawców lub projektów, aby odizolować zasoby, sieci i dane.
1.2 Sieć wyjściowa gromadzenia danych
Brama NAT: Użyj puli EIP i SNAT poprzez bramę NAT, umożliwiając programom zbierającym dostęp do Internetu z losowo wybranych publicznych adresów IP.
Samodzielnie-zbudowany serwer proxy: wdrażaj serwery proxy, które utrzymują mapowania między procesami zbierania danych a publicznymi adresami IP i rozdzielaj pojedyncze żądanie gromadzenia danych na wiele serwerów proxy.
Dostawca usług IP: Połącz się z dostawcą usług IP za pośrednictwem prywatnej sieci w chmurze, aby uzyskać niższe koszty, kontrolowane bezpieczeństwo i stabilną jakość [2].
1.3 Między-agregacją i wstępnym przetwarzaniem danych między regionami
Wybierz region OSS zgodnie z planem klastra-przetwarzania wstępnego i utwórz VPC-agregacji danych w tym samym regionie. Utwórz router tranzytowy (TR) w każdym regionie, połącz lokalne VPC i połącz TR, tak aby regionalne VPC zbierające dane miały bezpośredni dostęp do centralnego OSS. Usługi takie jak PAI-iTAG, MaxCompute i Flink mogą następnie wykonywać etykietowanie i wstępne przetwarzanie danych w regionie OSS [2].
2. Modelowa sieć szkoleniowa
Sieć-treningowa modelu jest ściśle zintegrowana z siecią gromadzenia i przetwarzania wstępnego, tworząc globalną strukturę łączącą centra danych w chmurze, węzły brzegowe i-lokalne centra IDC.
Szybkie-połączenia wzajemne zapewniają małe-opóźnienia i wysoką-przepustowość danych, podczas gdy przepustowość, zasady bezpieczeństwa, kontrola dostępu i odzyskiwanie po awarii muszą być zaprojektowane od początku do końca [2].
- Pula obliczeniowa między-regionami i klastrami-: router tranzytowy łączy wiele serwerów VPC w tym samym regionie. Serwerowe ENI łączą się z przełącznikami VPC i można je skonfigurować pod kątem wymaganej przepustowości i RDMA.
- Pula obliczeniowa między-chmurami: dedykowane obwody łączą IDC lub inną chmurę z VPC w tym samym-regionie. Alibaba Cloud VBR łączą się w warstwie 3 z urządzeniem równorzędnym, z BGP, BFD i szybkim przełączaniem awaryjnym w celu zapewnienia szybkiej konwergencji.
Globalna pula obliczeniowa: łącza między-regionami między TR są udostępniane zgodnie ze szczytowym ruchem między-regionami, z opcjonalną między-regionami QoS w celu utworzenia ujednoliconej puli obliczeniowej we wszystkich regionach [2].
3. Globalne wnioskowanie-Sieć usług
Globalna sieć wnioskowania wybiera modele wdrażania zgodnie z zasobami i usługami w chmurze dostępnymi w każdym regionie oraz zapewnia efektywną dystrybucję usług i dostęp [2].
- Wdrożenie modelu lub agenta: użyj wdrożenia Model Studio MaaS, wdrożenia PAI-EAS lub Function Compute PaaS albo wdrożenia IaaS w infrastrukturze EGS, ACK, ACS lub Lingjun-bare metal w infrastrukturze VPC klienta.
- Dystrybucja usług: utwórz wnioskowaną-dystrybucję VPC i połącz sieci prywatne za pomocą VPC Peering, powiązanych-usług VPC w chmurze lub PrivateLink. Wdróż ALB lub ulepszony ALB jako punkt dostępu i żądania proxy do różnych modeli lub agentów.
- Dostęp do usług: Lokalni użytkownicy Internetu mogą uzyskać bezpośredni dostęp do ulepszonego ALB; użytkownicy zdalni mogą korzystać z Global Accelerator (GA); wewnętrzni lub zewnętrzni użytkownicy korporacyjni Alibaba Cloud mogą łączyć się prywatnie za pośrednictwem PrivateLink.
Wnioski i perspektywy
W tym oficjalnym dokumencie wyjaśniono wyzwania stojące przed sieciami IDC w erze sztucznej inteligencji oraz sposób, w jaki dynamiczny inteligentny routing może im sprostać. Dynamiczna świadomość,-inteligentne podejmowanie decyzji, wirtualizacja WCMP, ALB i VRF poprawiają efektywność-równoważenia obciążenia, zmniejszają zatory i utratę pakietów oraz przyspieszają szkolenie i wnioskowanie AI. Sekcja planowania kładzie nacisk na segmentację VPC,-projektowanie danych wyjściowych kolekcji, agregację-między regionami i przetwarzanie wstępne, trenowanie modeli i globalne dostarczanie wnioskowań. W miarę ciągłego rozwoju sztucznej inteligencji sieci centrów danych będą musiały sprostać coraz bardziej rygorystycznym wymaganiom. Dynamiczny inteligentny routing będzie w dalszym ciągu udoskonalany pod kątem sztucznej inteligencji brzegowej, uczenia się stowarzyszonego i innych złożonych scenariuszy. Przyszłe sieci IDC będą kłaść większy nacisk na-konwergencję sieci obliczeniowych, efektywność energetyczną i zautomatyzowane operacje, tworząc bardziej inteligentne, wydajne i niezawodne podstawy gospodarki cyfrowej.
Referencje
Techniczny dokument źródłowy dostarczony przez użytkownika-.
Biała księga dotycząca sieci AI w chmurze Alibaba. Dostęp: 27 maja 2026 r.
https://help.aliyun.com/zh/cloud-sieć-dobrze-architektura-design/alibaba-chmura-AI-sieć-biały-biały papier