O mercado europeu de livros usados mudou de compradores. As encomendas chegam de madrugada, por listas de ISBN.
Num dia de verão em Haarlem, o alfarrabista Pieter de Vries recebeu um pedido invulgar. Uma remetente identificada como Natalia, de uma empresa chamada 2077AI, pedia orçamento para uma encomenda grande. Em anexo seguia uma folha de cálculo com 3001 ISBN, quase todos de editoras académicas, com instruções de envio para a China.
De Vries leu as primeiras linhas e arquivou a mensagem como spam. Só semanas mais tarde, quando um jornalista holandês o procurou, soube o que tinha recusado. Outros alfarrabistas neerlandeses receberam o mesmo pedido e fizeram o mesmo juízo.
Entre aquela folha de cálculo e as centrais que alimentam os centros de dados há uma multiplicação. O custo de treinar um modelo é o produto de dois fatores, o tamanho do modelo e a quantidade de texto que lhe passa pela frente. Quando os dois crescem ao mesmo tempo, o resultado dispara.
Índice
A aritmética do treino: parâmetros vezes texto
Um modelo é um conjunto de números, os parâmetros, que começam por ser aleatórios. Treinar consiste em mostrar-lhe texto, pedir que adivinhe a palavra seguinte, medir o erro e corrigir todos os parâmetros um pouco. A regra prática da área fixa o custo em seis operações por cada parâmetro e por cada unidade de texto. Com centenas de milhares de milhões de parâmetros e dezenas de biliões de unidades de texto, a conta sobe depressa.
O GPT-3, treinado em 2020, marcou na altura o topo da escala. Desde então, segundo a Epoch AI, o treino dos cinco modelos de topo multiplicou-se por cerca de dez mil, a um ritmo de cinco vezes por ano, com duplicação a cada 5,2 meses.
Um termo de comparação ajuda. O Deucalion, o supercomputador nacional instalado em Guimarães, tem um pico declarado de mais de 10 petaflops. A esse ritmo, sem fazer mais nada, levaria, por esta conta grosseira, milhares de anos a completar um único treino de fronteira. A comparação é grosseira, porque a máquina foi desenhada para simulação científica e não para treinar modelos, mas dá a ordem de grandeza.
Quando o texto acaba: a corrida aos livros em papel
É o segundo fator que agora aperta. Pablo Villalobos e os coautores de um estudo da Epoch AI publicado em 2024 estimaram que os modelos consomem todo o texto público escrito por humanos algures entre 2026 e 2032. Daí a corrida ao papel. Obras anteriores a 2022 valem mais por não trazerem texto gerado por máquinas.
Os registos do processo Bartz contra Anthropic, nos Estados Unidos, mostraram o que acontece depois da compra. A empresa adquiriu milhões de exemplares em papel, cortou as lombadas, digitalizou as páginas e deitou fora o que restava, num programa interno com o nome de Project Panama. A Anthropic afirma que compra em mercados comerciais e que nenhum dos seus programas de aquisição de dados destrói livros raros ou antigos.
Na Alemanha, um alfarrabista em linha começou a receber, no início de maio, encomendas automáticas entre as três e as cinco da manhã: não ficção com ISBN publicada a partir de 1970, um exemplar de cada título. A compradora, a canadiana Zoom Books, nega digitalizar e destruir o que compra e diz dedicar-se a comércio e reciclagem.
O custo de cada resposta: a computação que não para
A despesa não acaba no treino. Cada resposta obriga a percorrer o modelo inteiro, palavra a palavra, e os modelos de raciocínio produzem longas cadeias internas antes da primeira linha visível. A Epoch AI estima que a Anthropic gastou, em 2025, 4,1 mil milhões de dólares em investigação e treino e 2,7 mil milhões a responder a quem a usa. Nas três empresas que conseguiu analisar, o cálculo pesa entre 54% e 62% da despesa total.
A folha que chegou a Haarlem trazia títulos de gestão, educação, engenharia, política pública e medicina, publicados sobretudo entre 2020 e 2021.
Comentários 1