A OpenAI criou um bot de inteligência artificial (IA) que assiste a 70.000 horas de vídeos de jogos do Minecraft e joga o próprio jogo. É uma nova tecnologia que pode ser usada para treinar máquinas para executar várias tarefas usando grandes quantidades de dados de vídeo como dados de treinamento.
De acordo com o MIT Technology Review no dia 25 (horário local), a OpenAI desenvolveu um Minecraft AI que aprendeu a executar sequências complexas de cliques de teclado e mouse para concluir as tarefas do jogo Minecraft, como ferramentas de registro e criação.
Ele abriu caminho para o aprendizado por imitação, no qual vídeos são usados para observar pessoas realizando tarefas e treinar redes neurais para realizar as tarefas.
Aprender por imitação usa um grande número de vídeos online mostrando pessoas realizando várias tarefas como dados de treinamento, como “DALL-E” usando dados de imagem para aprender e gerar imagens, para que a rede neural possa aprender coisas diferentes como os humanos. Você pode treiná-lo para fazer o trabalho.
Por exemplo, por meio do aprendizado por simulação, uma IA pode ser treinada para controlar um braço robótico, dirigir um carro ou navegar em uma página da web.
O problema com o aprendizado simulado é que os dados de treinamento devem ser rotulados. No caso de vídeos em particular, cada etapa deve ser rotulada como dizendo que certas ações farão com que certas coisas aconteçam. A rotulagem manual é uma tarefa que consome muito tempo, portanto, o tamanho desses conjuntos de dados tende a ser pequeno.
Para categorizar automaticamente os milhões de vídeos disponíveis online, o OpenAI primeiro gerou um conjunto de dados de 2.000 horas de vídeos do Minecraft gravados à mão com rótulos para ações de teclado e mouse.
Em seguida, outro modelo de rede neural chamado Video Pre-Training (VPT) foi treinado neste conjunto de dados rotulados para atribuir ações aos resultados na tela de vídeo. Por exemplo, clicar com o botão do mouse em certas telas fará com que o personagem empunhe um machado.
A próxima etapa é classificar 70.000 horas de vídeos do Minecraft extraídos da Internet por meio de um modelo VPT treinado e, em seguida, treinar o bot do Minecraft AI.
Em geral, os jogos aplicam métodos de aprendizado por reforço, por meio dos quais uma rede neural aprende como executar uma tarefa do zero por meio de tentativa e erro. Isso ocorre porque o aprendizado por reforço funciona melhor para tarefas nas quais há um objetivo claro de vencer um jogo, como o Go.
Mas o Minecraft é um jogo sem um objetivo claro. Os jogadores são livres para fazer o que quiserem, incluindo percorrer o mundo gerado por computador, minerar e combinar diferentes materiais para criar diferentes objetos.
O Minecraft se tornou um importante campo de testes para novas tecnologias de IA. O bot do Minecraft AI pode usar o VPT para executar cerca de 970 tarefas que não seriam possíveis apenas com o aprendizado por reforço, como transformar um tabuleiro em uma mesa.
Eles também descobriram que os melhores resultados foram obtidos quando o aprendizado simulado e o aprendizado por reforço foram usados juntos. Bots treinados usando VPT podem ser ajustados por meio de aprendizado por reforço para executar mais de 20.000 tarefas.
A OpenAI afirma que essa mesma abordagem pode ser usada para treinar a IA para executar outras tarefas. Para começar, você pode usá-lo para bots que usam teclado e mouse para navegar em sites, reservar voos ou comprar mantimentos online.
Mas enquanto as ações em jogos como o Minecraft são executadas pressionando botões, as ações no mundo real são muito mais difíceis e complexas para as máquinas aprenderem.
“Grandes conjuntos de dados do tamanho da Internet certamente fornecerão novos recursos para IA. Mas o OpenAI depende apenas do poder de grandes conjuntos de dados”, disse Natasha Zack, responsável pelo aprendizado de reforço multiagente no Google.
No entanto, a OpenAI acredita que “ao coletar mais de 1 milhão de horas de vídeo do Minecraft, a IA será ainda mais aprimorada. É provavelmente o melhor bot de todos os tempos para jogar Minecraft”.
Chan Park, cpark@aitimes.com
“Pensador. Aspirante a amante do Twitter. Empreendedor. Fã de comida. Comunicador total. Especialista em café. Evangelista da web. Fanático por viagens. Jogador.”