Perplexity lança orquestrador híbrido local-servidor de inferência

O data center está se movendo para sua máquina. A nova abordagem da Perplexity transfere a inferência de IA baseada em nuvem diretamente para dispositivos locais, reduzindo latência, melhorando a privacidade e cortando custos. Ao executar modelos no dispositivo, os usuários podem processar consultas sem conectividade constante com a internet, enquanto as empresas se beneficiam de menor infraestrutura. A mudança reflete tendências mais amplas da indústria em direção à computação de borda, mas a implementação da Perplexity enfatiza desempenho em tempo real e integração perfeita com fluxos de trabalho existentes. Benchmarks iniciais mostram precisão comparável a modelos em nuvem, com tempos de resposta significativamente mais rápidos para tarefas comuns. O artigo detalha desafios técnicos—como compressão de modelo e otimização de hardware—e descreve planos futuros para expandir suporte a dispositivos e capacidades de modelo.