O futuro da inteligência artificial (IA) deve incluir IA no dispositivo e na nuvem.
Especificamente, as soluções de IA generativa no dispositivo permitem que desenvolvedores e provedores de serviços em nuvem transfiram consultas e inferências para dispositivos de ponta, como computadores e smartphones, tornando a IA generativa mais acessível, confiável e privada.
Aqui, a Qualcomm Technologies e a Microsoft lançam uma colaboração para ampliar os recursos de IA e oferecer as melhores experiências de IA para usuários em dispositivos de consumo, comerciais e industriais.
O Microsoft Build 2023 no dia 24 (horário local) oferece as inovações mais recentes em IA no dispositivo, incluindo IA generativa em execução na plataforma de computação Qualcomm Snapdragon e aplicativos para PCs com Windows 11 equipados com Snapdragon. Ele forneceu um novo caminho para os desenvolvedores criarem aplicativos .
A execução de aplicativos de IA em vários dispositivos melhora a eficiência de custos, a privacidade, a personalização e a latência. A plataforma Snapdragon inclui um Qualcomm AI Engine personalizado, permitindo IA no dispositivo em dispositivos pequenos, finos e leves, processando cargas de trabalho de IA com mais eficiência do que em uma CPU ou GPU.
“Para que a IA generativa se torne realmente popular, muitas inferências precisam ser executadas em hardware de ponta”, disse Ziad Asghar, vice-presidente sênior de gerenciamento de produtos da Qualcomm. “Isso ajuda os desenvolvedores a aproveitar ao máximo nossos poderosos recursos de IA. ” Isso permite novas experiências de usuário incríveis em laptops, telefones e outros dispositivos habilitados para Snapdragon. “
A Qualcomm construiu o Large Language Model (LLM) na arquitetura da Microsoft neste dia. Para aprimorar o Qualcomm® AI Stack e ajudar os desenvolvedores a criar a próxima geração de experiências de IA no dispositivo, o Qualcomm AI Engine Direct SDK-sob), que demonstra a ferramenta para ajudar a desenvolver IA generativa em PCs com Windows 11.
Além disso, o Stable Diffusion, um modelo de IA de geração de texto para imagem com mais de 1 bilhão de parâmetros, está atualmente em execução em dispositivos, e a plataforma permitirá modelos de IA com até 10 bilhões de parâmetros em dispositivos nos próximos meses. Adicionado formulário de execução.
“A expansão da IA para uma ampla gama de dispositivos e aplicativos requer processamento em nuvem e hardware”, disse Pavan Davuluri, vice-presidente de Windows Silicon and Systems Integration da Microsoft. E ao combinar esses recursos com a experiência de IA no dispositivo da Qualcomm, vamos acelerar as oportunidades para experiências generativas de IA. “
Enquanto isso, a Qualcomm fornece ferramentas, recursos e suporte críticos para o desenvolvimento “Windows on Snapdragon”, além de demonstrar as melhorias drásticas de desempenho disponíveis em versões ao compilar aplicativos populares nativamente para o Snapdragon. para o novo portal do desenvolvedor (olhar) será exibido. .
“Pensador. Aspirante a amante do Twitter. Empreendedor. Fã de comida. Comunicador total. Especialista em café. Evangelista da web. Fanático por viagens. Jogador.”