O futuro da IA ​​generativa e implementação de IA no dispositivo… Visão da Qualcomm sobre a “Plataforma de Computação Snapdragon”


Imagem: Qualcomm, Edição: Bonji
Imagem: Qualcomm, Edição: Bonji


O futuro da inteligência artificial (IA) deve incluir IA no dispositivo e na nuvem.


Especificamente, as soluções de IA generativa no dispositivo permitem que desenvolvedores e provedores de serviços em nuvem transfiram consultas e inferências para dispositivos de ponta, como computadores e smartphones, tornando a IA generativa mais acessível, confiável e privada.


Aqui, a Qualcomm Technologies e a Microsoft lançam uma colaboração para ampliar os recursos de IA e oferecer as melhores experiências de IA para usuários em dispositivos de consumo, comerciais e industriais.


O Microsoft Build 2023 no dia 24 (horário local) oferece as inovações mais recentes em IA no dispositivo, incluindo IA generativa em execução na plataforma de computação Qualcomm Snapdragon e aplicativos para PCs com Windows 11 equipados com Snapdragon. Ele forneceu um novo caminho para os desenvolvedores criarem aplicativos .


A execução de aplicativos de IA em vários dispositivos melhora a eficiência de custos, a privacidade, a personalização e a latência. A plataforma Snapdragon inclui um Qualcomm AI Engine personalizado, permitindo IA no dispositivo em dispositivos pequenos, finos e leves, processando cargas de trabalho de IA com mais eficiência do que em uma CPU ou GPU.


“Para que a IA generativa se torne realmente popular, muitas inferências precisam ser executadas em hardware de ponta”, disse Ziad Asghar, vice-presidente sênior de gerenciamento de produtos da Qualcomm. “Isso ajuda os desenvolvedores a aproveitar ao máximo nossos poderosos recursos de IA. ” Isso permite novas experiências de usuário incríveis em laptops, telefones e outros dispositivos habilitados para Snapdragon. “


A Qualcomm construiu o Large Language Model (LLM) na arquitetura da Microsoft neste dia. Para aprimorar o Qualcomm® AI Stack e ajudar os desenvolvedores a criar a próxima geração de experiências de IA no dispositivo, o Qualcomm AI Engine Direct SDK-sob), que demonstra a ferramenta para ajudar a desenvolver IA generativa em PCs com Windows 11.

READ  Por que os humanos dormem menos que outros primatas?


Além disso, o Stable Diffusion, um modelo de IA de geração de texto para imagem com mais de 1 bilhão de parâmetros, está atualmente em execução em dispositivos, e a plataforma permitirá modelos de IA com até 10 bilhões de parâmetros em dispositivos nos próximos meses. Adicionado formulário de execução.


“A expansão da IA ​​para uma ampla gama de dispositivos e aplicativos requer processamento em nuvem e hardware”, disse Pavan Davuluri, vice-presidente de Windows Silicon and Systems Integration da Microsoft. E ao combinar esses recursos com a experiência de IA no dispositivo da Qualcomm, vamos acelerar as oportunidades para experiências generativas de IA. “


Enquanto isso, a Qualcomm fornece ferramentas, recursos e suporte críticos para o desenvolvimento “Windows on Snapdragon”, além de demonstrar as melhorias drásticas de desempenho disponíveis em versões ao compilar aplicativos populares nativamente para o Snapdragon. para o novo portal do desenvolvedor (olhar) será exibido. .

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *