TecStudio
- Publicidade -

Windows 11 vai conectar PCs por USB4 para rodar modelos de IA maiores

Por Redação TecStudio
3 min
- Publicidade -
Laptop PC
Foto: KK IN HK / Wikimedia Commons (CC BY-SA 4.0)

Rodar um modelo de inteligência artificial grande pode exigir mais memória do que um único PC tem. A Microsoft quer contornar esse limite com o RDMA over USB4, recurso experimental do Windows 11 que conecta computadores para distribuir tarefas de IA pela memória e pelo processamento de cada máquina.

235 bilhões

Parâmetros do modelo executado em três mini PCs

- Publicidade -

Em testes apresentados pela empresa, três mini PCs executaram um modelo com 235 bilhões de parâmetros. A tecnologia também reduziu em cerca de quatro vezes a latência de comunicação em comparação com Ethernet sobre USB4 usando UDP, segundo as medições da Microsoft.

Como o RDMA over USB4 reduz a latência entre PCs

RDMA, sigla para acesso remoto direto à memória, permite transferir dados entre sistemas sem passar por tantas etapas da pilha tradicional de rede. Segundo a Microsoft, isso reduz a carga sobre o sistema operacional e o processador. A empresa adaptou a tecnologia para conexões USB4 e Thunderbolt compatíveis, sem exigir placas de rede RDMA ou switches dedicados.

A comparison diagram shows traditional server architecture with 'Copy operations' and layered buffers in application, sockets, and transport protocol driver versus RDMA architecture minimizing layers for more efficient data transfer between servers.
Diagrama compara transferências tradicionais de dados com o acesso direto à memória via RDMA. Imagem: Wccftech
A bar chart titled 'About 4x lower round-trip latency' shows RDMA over USB4 achieving significantly lower latency compared to Ethernet over USB4 (UDP) across various message sizes, with specific advantages ranging from '3.7x lower' to '4.6x lower'.
Gráfico compara a latência do RDMA over USB4 com Ethernet sobre USB4 usando UDP. Imagem: Wccftech

Nas medições divulgadas pela Microsoft, a latência de ida e volta ficou entre 28 e 50 microssegundos para mensagens pequenas. Os resultados foram parecidos em conexões de 40 e 80 Gbps, embora a segunda tenha o dobro da largura de banda nominal. Na prática, menos atraso na troca de dados ajuda quando vários computadores trabalham juntos para responder a uma solicitação de IA.

Testes com AMD e Intel mostram modelos distribuídos

Na demonstração feita com a AMD, três mini PCs com processadores Ryzen AI Max+ 395, gráficos Radeon 8060S e 128 GB de memória unificada cada rodaram o Qwen3-235B-A22B, um modelo de 235 bilhões de parâmetros com arquitetura mixture-of-experts. Ligados em uma topologia USB4 de malha completa a 40 Gbps, eles alcançaram cerca de 18,5 tokens por segundo com quantização de 4 bits.

Em medições separadas da AMD, o sistema chegou a 21,98 tokens por segundo na geração de respostas e 117,98 tokens por segundo no processamento do prompt. Já a Intel testou três e quatro PCs com processadores Core Ultra Series 3, 64 GB de memória por máquina e Thunderbolt 4. Com o GPT-OSS-120B, registrou aproximadamente 49,4 tokens por segundo em três computadores e 54,2 em quatro, usando contexto de 1.000 tokens. O modelo de 120 bilhões de parâmetros não cabe nos 64 GB de um computador sozinho.

Recurso do Windows 11 ainda exige configuração de desenvolvedor

A Microsoft recomenda PCs com conexões USB4 gerenciadas pelo Windows, de preferência com velocidade de 40 Gbps ou mais, e uma topologia de malha completa. Nesse arranjo, cada máquina se liga diretamente às outras, em vez de depender de uma sequência de conexões que pode prejudicar o desempenho. Os aplicativos também precisam ter suporte explícito à execução distribuída.

A diagram titled 'Full-Mesh USB4 Topology' shows six PCs interconnected in a mesh network layout.
Diagrama mostra PCs conectados entre si em uma topologia USB4 de malha completa. Imagem: Wccftech
A presentation slide titled 'RDMA over USB4 on Windows' lists components including an 'Inference framework,' 'RDMA API,' 'RDMA provider,' and 'USB4 drivers,' with statuses like 'Preview testbed,' 'Existing Windows API,' 'New, open source,' and 'Updated.'
Slide apresenta os componentes da arquitetura RDMA over USB4 no Windows. Imagem: Wccftech

A empresa publicou um provedor NetworkDirect de código aberto e uma versão modificada do llama.cpp para demonstrar a tecnologia. O RDMA over USB4 deve chegar a uma futura compilação do canal Experimental do Windows Insider, mas a Microsoft não informou uma data. A prévia ficará desativada por padrão e exigirá configuração no Registro e assinatura de teste, o que temporariamente requer desativar o Secure Boot. Por isso, a recomendação é usar máquinas dedicadas a desenvolvimento, não o PC do dia a dia.

📲 Para acompanhar o avanço da IA local e dos PCs conectados, siga o Canal do TS no WhatsApp.

Por enquanto, os números mostram uma demonstração técnica, não uma função pronta para qualquer computador com Windows 11. O próximo marco concreto será a chegada da versão experimental para desenvolvedores, quando será possível avaliar o suporte e o desempenho em mais configurações.

Fonte: Wccftech

- Publicidade -
Conta da redação do TecStudio. Assina as notícias produzidas com auxílio de um ou mais autores.