IA é posta a prova para resolver quebra-cabeça do The New York Times; entenda

Pesquisadores da NYU Tandon School of Engineering resolveram testar se a inteligência artificial (IA) consegue combinar habilidades humanas para achar conexões obscuras entre palavras. Para tanto, eles recorreram ao quebra-cabeça diário "Connections", do The New York Times.

O "Connections" dá a chance aos jogadores de agrupar 16 palavras em quatro conjuntos de quatro tematicamente vinculados, progredindo a partir de grupos "simples", normalmente conectados por meio de definições diretas, até grupos "complicados", que refletem associações abstratas de palavras que precisam de pensamento não-convencional.

Leia mais:

• Como ativar eSIM no celular Motorola?
• Telegram: como funciona o chat secreto?
• Google apresenta o modelo de IA LearnLM

Como a IA se portou diante do quebra-cabeça do NYT?

• O estudo está disponível no servidor de pré-impressão arXiv e será apresentado na Conferência sobre Jogos IEEE 2024, em Milão (Itália), entre 5 e 8 de agosto;
• Segundo o TechXplore, nele, os pesquisadores investigaram se os sistemas modernos de processamento de linguagem natural (PNL, na sigla em inglês) eram capazes de resolver os quebra-cabeças baseados em linguagem;
• Liderada por Julian Togelius, professor associado de ciência da computação e engenharia (CSE) da NYU Tandon, diretor do Game Innovation Lab e autor sênior do estudo, a equipe explorou duas abordagens de IA:
  • O GPT-3.5 e o GPT-4, modelos de linguagem grande (LLMs, na sigla em inglês) da OpenAI, que conseguem compreender e gerar linguagem similar à humana;
  • Na segunda abordagem, foram utilizados modelos de incorporação de frases: BERT, RoBERTa, MPNet e MiniLM, que codificam informações semânticas como representações vetoriais, mas que não têm total compreensão da linguagem e capacidades de geração de LLMs.

Os resultados apontaram que, apesar de todos os sistemas de IA testados terem conseguido resolver parte dos quebra-cabeças apresentados pelo "Connections", no geral, era uma tarefa desafiadora.

O GPT-4 resolveu por volta de 29% do total, bem melhor que os demais métodos e seu "irmão", o GPT-3.5, mas distante de dominar o jogo. Os modelos refletiram o desempenho humano ao encontrar níveis de dificuldade alinhados com a categorização do quebra-cabeça, de "simples", a "complicado".

Os LLMs estão se tornando cada vez mais difundidos e investigar onde eles falham no contexto do quebra-cabeça do 'Connections' pode revelar limitações na forma como eles processam informações semânticas.

Graham Todd, estudante Ph.D. do Game Innovation Lab e principal autor do estudo

Foi descoberto que solicitar explicitamente ao GPT-4 que raciocinasse o jogo passo-a-passo melhorou muito o desempenho da IA para pouco mais de 39% do total de quebra-cabeças testados.

Nossa pesquisa confirma trabalhos anteriores que mostram que esse tipo de estímulo de 'cadeia de pensamento' pode fazer os modelos de linguagem pensarem de maneiras mais estruturadas. Pedir aos modelos de linguagem que raciocinem sobre as tarefas que estão realizando os ajuda a ter melhor desempenho.

Timothy Merino, estudante Ph.D. do Game Innovation Lab e um dos autores do estudo

Indo além do estudo da IA e quebra-cabeças

Mas não é só as capacidades da IA que estão em jogo no estudo. Os autores também querem saber se modelos, como o GPT-4, podem nos auxiliar na geração de novos quebra-cabeças de palavras do zero.

Esta tarefa que poderia ampliar limites de como os sistemas de aprendizado de máquina (machine learning) representam conceitos e fazem inferências contextuais, explica o TechXplore.

Para o teste, os pesquisadores usaram dados de 250 quebra-cabeças de um arquivo online, que foram liberados ao público diariamente entre 12 de junho de 2023 a 16 de fevereiro de 2024.

Além de Togelius, Todd e Merino, também fez parte da equipe de pesquisa Sam Earle, aluno Ph.D. do Game Innovation Lab. O estudo auxilia o trabalho de Togelius, que utiliza IA para melhorar jogos e vice-versa. Togelius é autor do livro "Playing Smart: On Games, Intelligence, and Artificial Intelligence" ("Jogando Inteligente: Nos Jogos, Inteligência e Inteligência Artificial", em tradução livre), de 2019.