“Esperar o quê? Como?” Emily Jones não estava acostumada a ser deixada para trás. Jones, o melhor piloto de corridas de simuladores que ganhou muitos títulos em seu nome, moveu o volante com os olhos fixos na tela à sua frente. “Obviamente ele estava se movendo tão rápido que eu não conseguia acompanhá-lo, como poderia ser?” Jones disparou uma palavra através do barulho alto dos pneus e dirigiu seu carro virtual descontroladamente pela pista virtual. Acelerei gradualmente de 190 km/h para 210 km/h e 230 km/h para seguir o piloto de Gran Turismo mais rápido do mundo.
Produzido pela Sony AI, um instituto de pesquisa estabelecido pela Sony em 2020Gran Turismo Sophy (doravante referido como “GT Sophie”)É famoso por sua simulação surreal de veículos e pistas reais. Gran TurismoÉ um programa de computador que aprendeu a controlar um carro de corrida no mundo dos videogames. Em uma série de eventos especiais no ano passado, a Sony apresentou o Gran Turismo Sophie contra os melhores pilotos humanos do circuito profissional.
O que eles descobriram enquanto corriam na pista virtual naquele dia e o que aprenderam a seguir pode ajudar a moldar um futuro em que as máquinas se unam à estrada ou se unam aos humanos.
Jones, que mora em Melbourne, na Austrália e trabalha como piloto da equipe de esports chamada Trans Tasman Racing, não tinha ideia do que aconteceria com ele em julho de 2021. Agora, um ano depois, ela disse: “Não ouvi o detalhes na época. Eles me disseram: ‘Você não tem que praticar, não assistir o tempo dela “e eu queria que eles mantivessem isso em segredo de mim”. No final, GT Sophie bateu a melhor volta de Jones em 1,5 segundos. No mundo das corridas, onde os recordes podem ser quebrados por milésimos de segundo, 1,5 segundo é uma grande diferença.
Mas a Sony logo percebeu que a velocidade por si só não poderia tornar o GT Sophie um vencedor. GT Sophie registrou tempos de volta não humanos em três voltas virtuais, superando todos os pilotos humanos nas pistas vazias. No entanto, GT Sophie não conseguiu vencer a corrida contra vários pilotos humanos, o que exigia inteligência e velocidade. Às vezes o GT Sophie dirigia de forma muito agressiva, as penalidades se acumulavam por direção imprudente e ela era muito tímida, o que a levou a desistir mesmo quando não era necessário.
A Sony revisou o software, treinou a IA novamente e se preparou para uma segunda partida em outubro. Desta vez, GT Sophie venceu a corrida com facilidade. Por que essa diferença ocorreu? Claro, é verdade que a Sony aumentou o tamanho da rede neural e deu à inteligência artificial a capacidade de responder de forma mais flexível, dependendo da situação. Mas a diferença final era outra. Foi o GT Sophie que deu ao GT Sophie o que Peter Wurman, presidente da Sony AI America, chamou de “a corrida”. Etiqueta refere-se à capacidade de equilibrar a agressividade e a timidez de um programa, escolhendo o comportamento mais adequado em cada situação.
Graças a essa etiqueta, o exemplo de GT Sophie fora do Gran Turismo também pode ser aplicado em outros lugares. Ele descreve a etiqueta entre os motoristas na pista como um exemplo concreto do comportamento dinâmico e sensível ao contexto que os robôs devem ver ao interagir com humanos.
A capacidade de as máquinas reconhecerem corretamente quando correr um risco e quando agir com segurança será útil para aplicativos de inteligência artificial (IA) que precisam interagir melhor com humanos, como chão de fábrica, robôs domésticos e carros autônomos.
“Acho que ainda não chegamos aos princípios gerais de como lidar com as normas humanas que precisamos respeitar”, diz Warman.
jogador desafiante
GT Sophie é o exemplo mais recente de um sistema de inteligência artificial que derrotou os melhores jogadores humanos do mundo em jogos que vão de Xadrez e Go a videogames como Starcraft e Dota. A Sony teve que superar novos tipos de dificuldades ao desenvolver essa IA para Gran Turismo. Ao contrário de outros jogos, especialmente os baseados em turnos, no Gran Turismo os melhores jogadores têm que controlar seus carros de distâncias muito próximas de outros jogadores em tempo real, tanto quanto fisicamente possível.
Os carros fazem curvas a uma velocidade superior a 160 km/h, a poucos centímetros um do outro. Nessas velocidades, mesmo o menor dos erros pode levar a acidentes. Gran Turismo captura a física do mundo real em grande detalhe, simulando a aerodinâmica do carro e o atrito dos pneus na pista. Graças a essas características, o Gran Turismo às vezes é usado para treinar e recrutar pilotos para corridas reais.
“É um jogo muito realista”, disse David Scaramosa, chefe da equipe de pesquisa em robótica e cognição da Universidade de Zurique, na Suíça. Apesar de Scaramuca não estar envolvido no desenvolvimento do GT Sophie, sua equipe Usei o Gran Turismo para treinar um motorista de IA.. O driver de IA não foi testado em humanos.
GT Sophie não vê o jogo pelos olhos de um jogador humano. Em vez de ler os pixels na tela, o GT Sophie usa informações atualizadas sobre a posição de seu carro na pista e a localização de outros carros ao redor. Ele também obtém informações sobre a física hipotética que afeta seu veículo. Em resposta, o GT Sophie diz ao carro para virar ou aplicar os freios. Essa troca de mensagens entre GT Sophie e o jogo ocorre cerca de 10 vezes por segundo, o que Womenman e colegas afirmam corresponder ao tempo de reação de um jogador humano.
A Sony treinou GT Sophie do zero por meio de tentativa e erro usando aprendizado por reforço. Inicialmente, o GT Sophie também lutou para manter o carro na estrada. Mas depois de aprender com 10 PlayStation 4s rodando cada um 20 instâncias do software, GT Sophie absorveu a IA incorporada ao Gran Turismo que os jogadores amadores usam para treinar em cerca de oito horas. Após 24 horas, GT Sophie conseguiu marcar um tempo de volta próximo ao topo da tabela de classificação online com 17.700 jogadores humanos registrados.
Demorou 9 dias para o GT Sophie perder um segundo no tempo de volta. Até então, o tempo de GT Sophie era mais rápido do que qualquer jogador humano.
GT Sophie aprendeu a dirigir dentro dos limites permitidos no jogo, realizando movimentos que os jogadores humanos só podem olhar com êxtase. Em particular, Jones ficou chocado ao ver GT Sophie pisar nos freios primeiro nas curvas e depois apertar o acelerador em uma linha mais apertada do que ele.
“O GT Sophie usou a curva de maneiras estranhas que eu nunca tinha pensado”, disse Jones. Por exemplo, GT Sophie muitas vezes deixa cair as rodas na grama na beira da pista e depois desliza nas curvas. “Nós não dirigimos dessa maneira porque podemos cometer erros”, disse Jones. É como uma luta controlada. Acho que provavelmente serei capaz de ter sucesso uma vez em um centavo.”
GT Sophie rapidamente dominou a física do jogo. O maior problema eram os governantes. Em competições profissionais, juízes humanos interferem na Corrida Gran Turismo. Governantes humanos podem punir motoristas por direção perigosa. GT Sophie perdeu exatamente por causa de pontos de penalização na primeira corrida no final de julho, mesmo tendo ultrapassado o piloto humano em termos de velocidade. O que a GT Sophie aprendeu para evitar pontos de penalização fez a diferença na segunda corrida.
Radical, mas justo
A mulher trabalha no GT Sophie há vários anos. Na parede atrás de sua mesa há uma foto de dois carros disputando assentos. “Esta é uma cena em que o GT Sophie supera Yamanaka”, disse uma mulher, referindo-se a Tomoaki Yamanaka, um dos quatro pilotos profissionais japoneses de corridas de simuladores que competiram com o GT Sophie no ano passado.
A mulher não conseguia se lembrar do motivo da corrida da qual a foto era. Se a partida tivesse sido em outubro, Yamanaka teria se divertido muito correndo contra um adversário radical, mas justo. Mas se fosse um dos jogos de julho, ele provavelmente teria insultado o computador.
O colega de Yamanaka, Takuma Miyazono, me contou sobre a corrida de julho por meio de um tradutor. “Houve algumas vezes em que o GT Sophie entrou nas curvas com tanta força que fomos empurrados para fora da pista”, disse ele. “Na época, os motoristas humanos tinham que ter cuidado toda vez que se viravam para evitar serem empurrados para fora da estrada”.
Warman disse que era difícil treinar a IA para jogar de forma justa sem perder a vantagem competitiva. Como os juízes humanos fazem julgamentos subjetivos com base no contexto, é difícil criar uma lista simples do que fazer e não fazer para o aprendizado da IA.
Os pesquisadores da Sony tentaram encontrar um grupo de trabalho dando diferentes sinais à IA e ajustando-os à situação em que a IA estava dirigindo o carro. Eles tentaram punir a IA por desviar de uma pista ou bater em uma parede. Também puniu colisões que ocorrem devido à inteligência artificial ou sobre as quais o julgamento humano não estava seguro. Os pesquisadores experimentaram penalidades em diferentes escalas para ver como a direção do GT Sophie mudava de acordo.
A Sony treinou a GT Sophie para competir contra competidores cada vez mais difíceis. Anteriormente, eles aprendiam principalmente contra versões anteriores do mesmo software, mas em preparação para o jogo de outubro novamente, a Sony constantemente ajustou a IA testando os melhores drivers a cada uma ou duas semanas. “Esse tipo de trabalho nos deu o feedback de que precisávamos para encontrar o equilíbrio certo entre agressividade e covardia”, diz Warman.
Isso funcionou. Quando Miyazono correu novamente com a GT Sophie três meses depois, a agressividade da IA realmente desapareceu. No entanto, GT Sophie não recuou facilmente. Ele disse: “Quando você entra em uma curva com dois carros de cada lado, o GT Sophie deixa espaço para um carro ultrapassar. Parece que você está realmente correndo com outra pessoa.”
“Se você está correndo contra um oponente que se comporta dessa maneira, você obtém uma espécie de paixão e diversão”, acrescentou.
Scaramuka ficou muito impressionado com a pesquisa da Sony. “Medimos o progresso dos robôs em relação ao que os humanos podem fazer”, disse ele. No entanto, Elijah Kaufmann, que trabalha com Scaramuka na Universidade de Zurique, ressalta que ainda são os pesquisadores humanos que escolhem o que JT Sophie fará durante o processo de aprendizado. “São pesquisadores humanos que decidem o que é uma boa etiqueta de jogo”, disse ele. Se tal máquina pudesse ser construída, não só teria boas maneiras, mas reconheceria qual delas era boa e adaptaria seu comportamento às novas configurações.
A equipe de pesquisa de Scaramuca está agora aplicando a pesquisa do Gran Turismo às corridas de drones do mundo real, usando entradas de vídeo bruto em vez de dados de simulações para treiná-los para voar. No mês passado, a equipe de pesquisa convidou dois pilotos de drones campeões mundiais para competir contra um computador. “Foi muito emocionante ver as expressões em seus rostos enquanto assistiam à nossa corrida de IA”, disse Scaramuka.
Scaramuca acredita que saltar para o mundo real é essencial para progredir de verdade na robótica. “Sempre haverá algumas inconsistências entre a simulação e o mundo real”, disse ele. “As pessoas geralmente esquecem isso quando falam sobre avanços maciços na IA.” “Ainda não chegamos ao ponto em que podemos implantar a IA no mundo real. .”
A Sony está atualmente se concentrando em jogos. A Sony planeja mostrar GT Sophie em futuras edições do Gran Turismo. “Queremos que a GT Sophie faça parte de nossos produtos. A Sony é uma empresa de entretenimento, então queremos que a GT Sophie torne os jogos mais divertidos”, disse Peter Stone, gerente geral da Sony AI Americas.
Jones acredita que a comunidade de corridas de simuladores poderia aprender muito com GT Sophie se mais pessoas tivessem a oportunidade de assistir as corridas de GT Sophie. Jones explicou: “Podemos aprender uma maneira inovadora de reduzir ainda mais os tempos de volta em pistas familiares com uma peça GT Sophie”. Miyazono na verdade se refere ao jogo GT Sophie e tenta imitar algumas das maneiras como GT Sophie costumava girar.
“Se a linha de base fosse diferente, todos estariam melhor”, disse Jones.
“Pensador. Aspirante a amante do Twitter. Empreendedor. Fã de comida. Comunicador total. Especialista em café. Evangelista da web. Fanático por viagens. Jogador.”