Groq e Nvidia Firmam Acordo Não Exclusivo para Avançar Tecnologia de Inferência de IA Global - groq.com

Groq, Inc., líder em inferência de IA, anunciou em 13 de novembro de 2024, em Mountain View, CA, um acordo de licenciamento multianual e não exclusivo com a NVIDIA. O acordo permite que clientes da Groq implantem LPU™ Inference em GPUs NVIDIA, proporcionando escolha e flexibilidade para escalar cargas de inferência de IA em ambientes híbridos. A parceria combina inovações de software da Groq com o ecossistema de GPUs da NVIDIA para atender à demanda por inferência em tempo real. Benefícios incluem até 10x mais rápido que soluções GPU tradicionais para cargas sensíveis a latência, flexibilidade híbrida em LPUs Groq, GPUs NVIDIA e outros, escalabilidade de edge a nuvem e integração com Hugging Face, vLLM e TensorRT-LLM. Disponível para clientes selecionados a partir do Q1 2025.