A Heidi Health, empresa que ajuda médicos a transcrever consultas com inteligência artificial, descobriu um jeito de gastar bem menos com servidores sem perder velocidade. A empresa processa 2,4 milhões de consultas por semana em 190 países e, antes da mudança, precisava de 16 máquinas potentes com placas de vídeo (GPUs) rodando o tempo todo. Agora, consegue fazer o mesmo trabalho com apenas 4 servidores. A economia de 75% veio de uma técnica chamada MPS, da Nvidia, que faz a GPU atender vários pedidos ao mesmo tempo em vez de um por vez.
O problema original era simples de explicar: cada pedido de transcrição de áudio usava apenas 15% a 20% da capacidade de uma GPU, mas, no modo padrão de funcionamento, a placa processava um pedido de cada vez — e os 80% restantes ficavam parados. Era como ter um caminhão de entregas que transporta uma caixa por viagem. A solução usa o CUDA MPS (Multi-Process Service), um recurso da Nvidia que permite que a GPU seja dividida em várias fatias, cada uma atendendo um pedido diferente simultaneamente. Com quatro fatias, a máquina faz quatro vezes mais trabalho no mesmo período. A técnica foi combinada com um software de otimização de modelos (ONNX Runtime e TensorRT) e com o servidor de inferência Triton, também da Nvidia.
Essa história interessa porque revela um gargalo que muita empresa enfrenta ao usar inteligência artificial: a conta de computação. Modelos de IA exigem placas de vídeo caras, e a tendência natural é sair comprando mais servidores conforme a demanda cresce. Mas, na prática, cada GPU fica a maior parte do tempo ociosa. A abordagem usada pela Heidi, desenvolvida em parceria com a AWS e a Nvidia, mostra que existem atalhos de software capazes de estender a vida útil do hardware antes de precisar comprar mais. As GPUs L40S usadas no teste têm 48 GB de memória, muito além do que uma transcrição consome.
Para quem não é do ramo, o que muda no dia a dia é pouco perceptível — a transcrição continua saindo em menos de um segundo. O ganho real está no bolso de quem paga a conta: a Heidi pode atender mais clientes sem gastar mais em infraestrutura, o que em tese barateia o serviço. Para o mercado de tecnologia, o recado é que o software muitas vezes entrega mais economia do que trocar de placa de vídeo. A receita completa, incluindo os códigos para reproduzir o esquema, foi publicada como código aberto pela AWS e pela Nvidia.