A NVIDIA lançou uma nova ferramenta de software projetada para melhorar o desempenho de modelos de linguagem grande (LLMs) em PCs de consumo. Com isso, o plano visa acelerar a popularização da tecnologia de “IA no dispositivo” que roda em computadores pessoais, bem como em dispositivos inteligentes, aumentando o acesso a GPUs de baixo custo.
A Nvidia anunciou em seu blog no dia 17 (horário local) que a biblioteca de código aberto “TensorRT-LLM” lançada anteriormente para data centers agora pode ser usada em PCs com Windows.
Assim, com o TensorRT-LLM, o LLM pode ser executado até 4 vezes mais rápido em um PC Windows com a GPU “GeForce RTX” da NVIDIA.
Anteriormente, a NVIDIA revelou o TensorRT-LLM, que acelera e melhora a inferência LLM em GPUs de datacenter, como A100 e H100, no mês passado. Ao implementar o TensorRT-LLM, o desempenho da inferência pode ser acelerado em 2 vezes para H100 e 4,6 vezes para A100.
Com esta versão, o TensorRT-LLM agora pode ser aplicado a GPUs RTX para PCs de consumo.
Na IA, a inferência é o processo pelo qual um modelo processa novos dados, incluindo resumir, gerar código, fornecer conselhos e responder perguntas, e está no centro do desempenho do LLM.
Os LLMs estão evoluindo para se tornarem maiores e mais ricos em recursos. No entanto, se ficar muito grande, produzirá resultados que não são adequados para uma única GPU. Portanto, os desenvolvedores devem coordenar a execução dividindo manualmente a carga de trabalho para obter uma resposta suave em tempo real.
O TensorRT-LLM resolve esse problema com “processamento de tensor paralelo”, que usa várias GPUs para permitir inferência eficiente em escala. Isso evita que os desenvolvedores tenham o trabalho de dividir manualmente os modelos e gerenciar sua execução nas GPUs.
A NVIDIA anunciou que conseguiu melhorar o desempenho do software LLM mais recente, como ‘Rama 2’ e ‘Code Rama’ da Meta, em até 4 vezes, implementando TensorRT-LLM otimizado para a GPU RTX.
Eles também relataram que conseguiram dobrar o desempenho do “Stable Diffusion”, a IA para criação de imagens, implementando o TensorRT em uma GPU RTX. Por exemplo, enquanto o sistema Apple criou duas imagens usando difusão estável, o sistema equipado com a GPU GeForce RTX 4090 foi capaz de criar 15 imagens. Ou seja, seu desempenho foi 7 vezes mais rápido que o chip mais recente da Apple.
Recentemente, a indústria concentrou-se na IA no dispositivo executada em dispositivos de ponta, em vez de executar o LLM por meio da grande nuvem tecnológica.
Isto ocorre porque os custos de computação são tão elevados que um LLM como “ChatGPT” não pode ser aplicado a todos os serviços. Portanto, está surgindo uma abordagem que não apenas supera os custos operacionais e as limitações técnicas com o LLM leve, mas também aplica diretamente a IA generativa na forma de chips em dispositivos móveis ou vários serviços.
Grandes empresas de tecnologia, incluindo Qualcomm, Meta, Google, MS e IBM, estão entrando no negócio leve do LLM. Aqui, a Apple e a Intel juntaram-se à concorrência ao adotar modelos de IA no dispositivo que rodam em seus produtos.
A NVIDIA observou que essas soluções são “adequadas para cargas de trabalho de IA leves e de baixo consumo de energia”. A explicação é que a GPU RTX é 20 a 100 vezes melhor que o desempenho da CPU em cargas de trabalho de IA, podendo complementar as funções executadas pela GPU NVIDIA.
Ele também enfatizou que “a expansão em grande escala é possível usando a maior base instalada de hardware de IA personalizado do mundo, com mais de 100 milhões de GPUs RTX em todo o mundo”.
Os desenvolvedores interessados em usar o TensorRT-LLM podem baixá-lo em “NVIDIA Developer”.
Repórter Park Chan cpark@aitimes.com
“Leitor implacável. Especialista em mídia social. Amante de cerveja. Fanático por comida. Defensor de zumbis. Aficionado por bacon. Praticante da web.”