FriendliAI (CEO Byeong-gon Jeon) anunciou no dia 4 deste mês que lançará o serviço “Friendli AI Serverless Endpoints”, que permite fácil utilização de modelos generativos de IA.
“Friendly AI Serverless Endpoint” é um serviço que ajuda pesquisadores, desenvolvedores, engenheiros de aprendizado de máquina e cientistas de dados a usar facilmente os mais recentes modelos de IA generativa sem precisar se preocupar com o gerenciamento da infraestrutura de serviço. A empresa anunciou que resolveu o problema de otimização de GPU de instalação de infraestrutura complexa, processo de operação e modelos de serviço, que requer muita mão de obra e tempo para aproveitar a IA generativa existente.
Com isso, qualquer pessoa pode integrar facilmente modelos populares de IA generativa como Llama 2, Stable Diffusion, CodeLlama e Mistral em nosso serviço a baixo custo e alta velocidade, e eles podem ser usados para construção e geração de imagens”, acrescentou. Também pode ser usado em diferentes áreas, como chatbots, recomendações de código, resumo de documentos e geração de miniaturas.
Além disso, a empresa anunciou que o “endpoint compatível com IA sem servidor” gera respostas até 4x mais rápidas do que outras soluções que usam estruturas de código aberto, proporcionando uma experiência de IA rápida e contínua. Baixo custo e alta velocidade são alcançados graças ao mecanismo de renderização otimizado exclusivo da Friendly AI, o “Friendly AI Engine”. A empresa afirmou que esse mecanismo reduz em até sete o número de GPUs necessárias para o serviço em comparação com as soluções atuais.
Artigos relacionados
Para usuários que desejam usar modelos criativos de IA criados ou ajustados pelos próprios usuários ou recursos de GPU dedicados que não precisam ser compartilhados, o Friendly AI fornece endpoints de IA dedicados que permitem aos usuários aproveitar instâncias diretamente especificando módulos. Contêiner AI, fornecido na forma de uma imagem Docker executada diretamente de um recurso proprietário.
“Acreditamos que o futuro da IA generativa reside em tornar a tecnologia acessível e utilizável, e desenvolvemos um novo serviço para tornar os modelos de IA generativa de código aberto mais rápidos e baratos”, disse Byung-Jun Jeon, CEO da Friendly AI. “Esperamos que o endpoint compatível com IA sem servidor, equipado com o mecanismo compatível com IA, seja uma virada de jogo para a indústria de IA. Continuaremos a fazer esforços para tornar a IA generativa fácil para qualquer pessoa usar por meio deste serviço”, ele disse.
“Leitor implacável. Especialista em mídia social. Amante de cerveja. Fanático por comida. Defensor de zumbis. Aficionado por bacon. Praticante da web.”