Apple diz que iPhones rodam LLMs de 14 bilhões de parâmetros e Mac Studio chega a 1,6 trilhão
Apple LLMs locais: iPhones rodam modelos de 14 bilhões de parâmetros, e um cluster de Mac Studio chega a 1,6 trilhão. Veja o guia de capacidade e os preços de cada máquina.
A Apple decidiu mostrar a que veio no jogo da inteligência artificial local. Em uma apresentação recente, a empresa detalhou que seus iPhones e iPads com 16 GB de memória unificada conseguem rodar modelos de linguagem (LLMs) com até 14 bilhões de parâmetros ativos. Para quem busca mais poder de fogo, a empresa afirma que um cluster de Mac Studio é capaz de operar modelos com impressionantes 1,6 trilhão de parâmetros, tudo isso sem depender da nuvem.
O anúncio não veio acompanhado de um novo produto, mas de uma tabela que serve como um guia prático. A ideia é mostrar, de uma vez por todas, qual máquina dá conta de qual tamanho de IA. E os números, especialmente no topo da linha, são de fazer qualquer entusiasta parar para olhar.
O que cada dispositivo da Apple consegue rodar
LLM — Large Language Model: Modelo de linguagem de grande escala, um tipo de inteligência artificial treinada com vastas quantidades de texto para gerar e compreender linguagem natural.
A tabela divulgada pela empresa cria uma hierarquia bem clara de capacidade. Na base, o iPhone e o iPad, com 16 GB de memória unificada e largura de banda de 76 GB/s, são recomendados para os modelos de 14 bilhões de parâmetros. É um salto e tanto para um celular, e a empresa já tem hardware capaz de superar essa marca: o chip A20 Pro, presente em modelos mais recentes, atinge 115,2 GB/s de banda, o que sugere que a capacidade de inferência local em iPhones ainda vai crescer.
Subindo um degrau, o MacBook Air e o Mac mini, que podem ter até 64 GB de memória unificada e banda de 307 GB/s, entram no território dos modelos de 70 bilhões de parâmetros. Já os MacBook Pro mais parrudos, com 128 GB de memória, alcançam modelos de 120 bilhões de parâmetros. É o mesmo patamar de notebooks com GPUs dedicadas, como os que usam a plataforma RTX Spark da Nvidia, mas com a vantagem de rodar tudo na arquitetura integrada da Apple.
O destaque, porém, vai para o Mac Studio. Com o chip M5 Ultra, ele oferece até 512 GB de memória unificada e uma largura de banda monstruosa de 1,2 TB/s. Na prática, isso significa que um único Mac Studio guarda e processa modelos de até 480 bilhões de parâmetros sem suar. Para quem não quer pagar assinatura de serviços como Claude ou Gemini, é uma alternativa cara, mas que coloca o controle total na mão do usuário.
O preço da independência da nuvem
Rodar uma IA de 1 trilhão de parâmetros em casa tem um custo que assusta. Para chegar lá, é preciso um cluster com oito Mac Studios. Cada unidade com o M5 Ultra (CPU de 36 núcleos, GPU de 80 núcleos, 32 núcleos de Neural Engine e 1 TB de SSD) sai por US$ 10.700 nos Estados Unidos. A conta é rápida: oito máquinas chegam a US$ 86.392, e isso ainda não entrega 1 TB de memória unificada total.
Um cluster menor, com quatro unidades, alcança 2 TB de memória e roda modelos de 1,6 trilhão de parâmetros. O investimento, nesse caso, fica na casa dos US$ 43.196. É um valor que deixa claro que, por enquanto, a inferência local de modelos gigantescos é para um nicho muito específico: laboratórios de pesquisa, empresas com demandas muito particulares de privacidade ou entusiastas com orçamento de sobra.
Vale um alerta: no momento, a Apple vende em sua loja online apenas a versão de 256 GB de memória do Mac Studio, e o prazo de entrega pode chegar a 17 semanas, dependendo da cidade nos EUA. Ou seja, além de caro, montar um setup desses exige paciência.
O que ainda está em aberto
A Apple deu um bom passo ao orientar os usuários sobre o que cada máquina aguenta, mas deixou perguntas importantes no ar. A empresa não citou exemplos de quais LLMs rodar, nem especificou o nível de quantização suportado por cada dispositivo. Sem essa informação, o guia é mais uma demonstração de força do que um manual prático para quem quer começar a rodar IA local hoje.
📲 A corrida para rodar IA local está pegando fogo, e a Apple acaba de mostrar suas cartas. Para não perder nenhum desdobramento dessa história, cola no Canal do TS no WhatsApp.
Com a gigante de Cupertino fincando o pé na inferência local, o próximo capítulo deve ser a chegada de modelos otimizados que aproveitem de verdade toda essa banda. Até lá, os números impressionam, mas o bolso do consumidor comum, por enquanto, fica de fora da festa.
Fonte: Wccftech
Escrito por
