Advogado roda DeepSeek local em servidor com oito GPUs V100 e 1 TB de RAM

Um advogado montou um servidor com oito GPUs NVIDIA Tesla V100 para rodar o DeepSeek localmente, sem enviar documentos jurídicos a serviços de IA na nuvem. A máquina, atualizada com 1 TB de RAM e uma RTX 3090, passou a priorizar respostas mais próximas do modelo de referência, mas perdeu velocidade na geração de código.
Nick Mermiges, advogado de contencioso e fundador da PLI Labs, descreveu o projeto no Reddit. Segundo ele, o sistema ajuda a processar arquivos de casos, localizar informações, resumir documentos e preparar rascunhos, que ainda passam por revisão humana.
O servidor com oito Tesla V100 soma 256 GB de memória
As oito aceleradoras Tesla V100 SXM2 têm 32 GB de memória HBM2 cada, totalizando 256 GB. Elas ficam distribuídas em duas placas com quatro GPUs, conectadas internamente por NVLink. A comunicação entre os conjuntos usa PCIe 3.0, com quatro switches PEX e cabos SlimSAS.

O processador é um AMD Threadripper PRO 3945WX. Na configuração original, o servidor tinha 256 GB de memória DDR4 ECC. O modelo de IA, quantizado principalmente em 2 bits, ocupa cerca de 248,8 GB, mas nem tudo fica na memória das GPUs: aproximadamente 110 GB de tabelas Engram ficam na RAM do sistema.
O interesse por essas placas antigas acompanha a busca por máquinas capazes de executar modelos grandes sem depender da nuvem. O TecStudio já mostrou como a Tesla V100 voltou a atrair atenção para cargas de IA local, apesar de ter sido lançada anos atrás.
A atualização melhora a concordância, mas reduz a velocidade
Na versão mais recente, chamada Volta Max uPLIft, Mermiges elevou os especialistas mais usados para a precisão NVFP4 e manteve os demais em representações de 2 bits. Nos testes com uma solicitação por vez, a maior parte das ativações dos especialistas passou a usar NVFP4.
95,1%
Concordância do próximo token com o modelo de referência
Fonte: Testes de Nick Mermiges

Com essa mudança, a concordância do próximo token com o modelo de referência da NVIDIA subiu de 92,2% para 95,1%. Esse número indica maior fidelidade às respostas do modelo de referência, não uma medição direta de precisão factual. A geração de código caiu para cerca de 150 a 180 tokens por segundo; com duas solicitações simultâneas, o servidor alcançou 159 tokens por segundo de vazão combinada.
A máquina também ganhou 1 TB de RAM e uma NVIDIA GeForce RTX 3090, que Mermiges pretende usar em tarefas de rascunho especulativo. O projeto enfrentou problemas como conector de energia queimado, erros de memória ECC e travamentos que o criador passou a associar a falhas na alimentação elétrica.
Para quem acompanha o uso de modelos de IA em tarefas profissionais, essa montagem mostra o espaço que ainda existe para hardware antigo, desde que venha acompanhado de bastante otimização. Mermiges estima que o sistema substitui entre cinquenta e sessenta por cento de seus fluxos de trabalho anteriores com modelos de linguagem. As configurações e implementações do projeto estão disponíveis no GitHub, embora a ramificação R580 seja a última dos drivers da NVIDIA com suporte à arquitetura Volta.
📲 Se você acompanha formas de rodar IA sem mandar seus arquivos para a nuvem, siga o Canal do TS no WhatsApp para receber as próximas novidades.
Para o uso jurídico descrito por Mermiges, manter os documentos no próprio servidor atende à preocupação com confidencialidade. O custo prático é cuidar da infraestrutura e aceitar que a revisão humana continua indispensável.
Fonte: Wccftech
Escrito por






