GPT-3.5 ganhou o primeiro prêmio na competição de videogame “Street Fighter 3” entre grandes modelos de linguagem (LLMs).
Tom's Hardware informou que o GPT-3.5 venceu o Mistral AI Hackathon realizado em São Francisco no dia 4 (horário local), superando outros modelos da OpenAI e Mistral AI.
Conseqüentemente, este evento é uma espécie de benchmark chamado “SF3 LLM Colosseum” projetado pela Mistral AI para medir a capacidade de jogo do LLM. Explica-se que esta é a primeira competição de jogos exclusiva do LLM.
Ao conectar o LLM ao emulador de PC, é fornecida uma descrição de texto da tela. Em outras palavras, o jogador é instruído a calcular qual ação tomar com base nas ações anteriores do jogador, nas ações do oponente e nas métricas de saúde dos dois personagens.
Durante o jogo, é restrito o uso apenas do personagem “Ken”. Além de se movimentar, pular, socar e chutar, ele também utilizava técnicas especiais como Hadouken e Shoryuken.
A Mistral AI conduziu seus primeiros testes usando diversas versões de seu próprio modelo, mas posteriormente introduziu modelos da OpenAI para aumentar o interesse. Isso inclui 8 versões do LLM, incluindo 3 modelos, incluindo Grande, Médio, Pequeno da Mistral, “GPT-3.5 Turbo” da OpenAI, “GPT-4” e “GPT-4 Turbo”.
Muitas batalhas aconteceram no formato de liga completa e, como resultado, o GPT-3.5 Turbo ficou em primeiro lugar com uma pontuação total de 1.776,11 com base na porcentagem de vitórias. Isto foi seguido pela pequena edição final do Mistral (1586,16 pontos).
As quatro versões do GPT-4, que tiveram melhor desempenho geral, subiram do terceiro para o sexto lugar, e dois modelos maiores do Mistral AI ficaram em último lugar.
“Modelos menores geralmente têm vantagem em latência e velocidade, o que significa que ganham mais partidas neste jogo”, explicou a administração da Mistral AI nesta partida. A explicação é que, assim como o combate humano, os reflexos rápidos podem lhe dar uma vantagem.
Enquanto isso, o CEO da Amazon, Banjo Obayomi, competiu separadamente em 314 partidas com 14 LLMs, com “Claude 3 Haiku” da Antropic ficando em primeiro lugar. Haiku também é o menor modelo entre os Claude 3.
Obayomi também revelou que descobriu que dispositivos como modelos de alucinação e grades de proteção interferiam na jogabilidade.
Enquanto isso, Mistral Artificial Intelligence é um projeto Código fonte no GitHubrevelado ao público. Então, qualquer um pode tentar sem um supercomputador, disse ele.
Repórter Lim Da Jun ydj@aitimes.com
“Pensador. Aspirante a amante do Twitter. Empreendedor. Fã de comida. Comunicador total. Especialista em café. Evangelista da web. Fanático por viagens. Jogador.”