OpenAI e seus rivais buscam novo caminho para IA “mais inteligente”

Nos bastidores, os pesquisadores dos principais laboratórios de IA têm enfrentado atrasos e resultados decepcionantes na corrida para lançar um modelo de linguagem grande que supere o modelo GPT-4 da OpenAI, que tem quase dois anos de idade, de acordo com três fontes familiarizadas com o assunto.
As chamadas “corridas de treinamento” para modelos grandes podem custar dezenas de milhões de dólares com a execução simultânea do software por centenas de chips. É mais provável que ocorram falhas induzidas por hardware, dada a complexidade do sistema; os pesquisadores talvez não saibam o eventual desempenho dos modelos até o final da execução, o que pode levar meses.
Outro problema é que os modelos grandes de linguagem consomem enormes quantidades de dados, e os modelos de IA esgotaram todos os dados facilmente acessíveis do mundo. A falta de energia também prejudicou as execuções de treinamento, pois o processo requer grandes quantidades de energia.
Para superar esses desafios, os pesquisadores estão explorando a “computação em tempo de teste”, uma técnica que aprimora os modelos de IA existentes durante a chamada fase de “inferência”, ou quando o modelo está sendo usado. Por exemplo, em vez de escolher imediatamente uma única resposta, um modelo poderia gerar e avaliar várias possibilidades em tempo real, escolhendo, por fim, o melhor caminho a seguir.
Esse método permite que os modelos dediquem mais poder de processamento a tarefas desafiadoras, como problemas de matemática ou de codificação, ou a operações complexas que exigem raciocínio e tomada de decisão semelhantes aos humanos.
“Descobriu-se que fazer um bot pensar por apenas 20 segundos em uma mão de pôquer obteve o mesmo desempenho de aumento de escala do modelo em 100 mil vezes e treiná-lo por 100 mil vezes mais tempo”, disse Noam Brown, pesquisador da OpenAI que trabalhou no o1, na conferência TED AI em São Francisco no mês passado.