O que São LLMs: Como um Modelo de Linguagem é Treinado

Trinta e dois por cento dos usuários de internet no Brasil já usaram alguma ferramenta de IA generativa. São cerca de 50 milhões de pessoas (Cetic.br, 2025). Quase nenhuma delas sabe o que acontece depois que aperta Enter.

Não é culpa de quem pergunta. As explicações disponíveis vivem em dois extremos. Ou param em “foi treinado com dados da internet”, que não explica nada, ou desabam em gradiente e matriz na terceira linha.

Este guia fica no meio do caminho. Você vai ver as três etapas do treino de um LLM e entender por que ele quebra suas palavras em pedaços estranhos. E vai descobrir por que ele inventa respostas com tanta convicção. Sem uma fórmula sequer. Se você chegou agora, o pilar sobre o que é machine learning monta a base.

Resumo rápido: Um LLM (large language model, ou grande modelo de linguagem) é uma rede neural treinada para prever o próximo pedaço de texto. Ele passa por três etapas. São o pré-treino, com trilhões de tokens raspados da web, o fine-tuning, com exemplos de boas respostas, e o RLHF, em que humanos ranqueiam saídas. Ele não consulta um banco de fatos: estima probabilidades. Por isso erra com confiança. No corpus aberto Dolma, 78% dos tokens vêm de raspagem bruta da web e só 0,16% da Wikipedia (Allen Institute for AI, 2024).

O que é um LLM, afinal?

Um LLM é uma rede neural treinada para prever o próximo pedaço de texto. É a mesma tecnologia das redes neurais do guia anterior, levada à escala máxima. Nos modelos de fronteira, a contagem de parâmetros ronda 1 trilhão há cerca de três anos (Stanford HAI, 2026).

Parâmetro é palavra nova para um conceito velho. São os pesos que você já conhece de como funcionam as redes neurais: os botões da mesa de som, calibrados durante o treino. Um LLM é uma mesa de som com centenas de bilhões de botões.

Só que a escala virou um mito perigoso. Durante anos, a régua foi simples: mais parâmetros, modelo melhor. Os dados de 2026 desmontam isso. O OLMo 3.1 Think é um modelo aberto de 32 bilhões de parâmetros. Ele empata com o Grok 4 em testes de raciocínio usando cerca de 90 vezes menos parâmetros (Stanford HAI, 2026).

O que mudou não foi o tamanho. Segundo o próprio relatório, o ganho veio de poda, deduplicação e curadoria dos dados de treino. Um modelo menor e bem treinado bate um gigante malcuidado.

Vale registrar uma frustração honesta de quem escreve sobre o tema. Os laboratórios de fronteira pararam de divulgar quantos parâmetros seus modelos têm. O AI Index de 2026 documenta isso como norma da indústria, não como exceção. Ou seja: qualquer número redondo sobre o GPT-4 que você ler por aí é chute.

O que é um token e por que isso importa?

Token é o pedaço de texto que o modelo enxerga. Às vezes é uma palavra inteira, às vezes um naco de palavra. O modelo não lê letras nem frases: lê tokens. E eles são a unidade de tudo, inclusive da janela de contexto, que cresce cerca de 30 vezes por ano desde 2023 (Epoch AI, 2025).

Antes de qualquer coisa acontecer, seu texto passa por um tokenizador. Ele fatia a frase em pedaços que o modelo conhece. Rodamos esse processo no terminal para você ver o corte acontecendo:

"A criptografia protege suas mensagens com chaves matemáticas."
→ ['A', ' cript', 'ografia', ' protege', ' suas', ' mensagens',
   ' com', ' ch', 'aves', ' matem', 'áticas', '.']        12 tokens

"Cryptography protects your messages with mathematical keys."
→ ['Crypt', 'ography', ' protects', ' your', ' messages',
   ' with', ' mathematical', ' keys', '.']                 9 tokens

Repare no estrago em português. “Criptografia” virou dois pedaços. “Matemáticas” virou dois. Em inglês, quase toda palavra comum cabe em um token só. O idioma custa mais caro em processamento pelo simples fato de ser menos representado no vocabulário do modelo.

Quisemos medir esse custo. Um estudo de Oxford apresentado na NeurIPS 2023 mediu essa distorção. A mesma frase pode custar até 15 vezes mais tokens, dependendo do idioma (Petrov et al., arXiv, 2023). Medimos o caso do português com um parágrafo equivalente nos dois idiomas, em dois tokenizadores:

O tokenizador antigo cobrou 50% a mais pelo português. O novo derrubou a penalidade para 17%. A ressalva metodológica importa: nosso parágrafo em português tinha 80 palavras contra 72 em inglês. Parte da diferença é o próprio idioma ser mais longo, não o tokenizador.

Um detalhe irônico fecha a seção. A palavra alucinação custa três tokens: al, uc e inação. O termo que nomeia o principal defeito do modelo é justamente um dos que ele digere pior. Quer testar suas próprias frases? O tokenizador visual da OpenAI mostra os cortes no navegador.

Com o que um LLM é treinado?

Com texto raspado da web, em escala de trilhões de tokens. Não é uma enciclopédia curada por especialistas. O Dolma é um corpus aberto de 2,3 trilhões de tokens usado nos modelos OLMo. Nele, páginas da web somam 78,2% do total, e a Wikipedia inteira, 0,16% (Allen Institute for AI, 2024).

Esse número costuma surpreender. Todo artigo sobre o tema diz “treinado com Wikipedia e dados da internet”, como se as duas coisas pesassem o mesmo. Elas não pesam. Veja a proporção real:

Livros e enciclopédia somados dão 0,6%. Fóruns e redes sociais dão sete vezes mais. Isso não é descuido dos pesquisadores: é o que existe disponível em volume suficiente para treinar um modelo. Texto curado é escasso; texto bruto é infinito. Vale uma ressalva: esses são os tamanhos do corpus. Na amostragem que o modelo de fato lê, a Wikipedia é reforçada e sobe para 0,43%.

E o português nessa mistura? A Common Crawl é a maior raspagem pública da web. Na coleta mais recente, o inglês responde por 40,82% das páginas e o português por 2,51% (Common Crawl, 2026). Voltamos a esse ponto mais adiante.

Guarde a conclusão desconfortável desta seção. O modelo que você consulta aprendeu a escrever lendo, em maioria esmagadora, texto não curado da internet aberta. Isso explica boa parte do que vem a seguir.

Como um LLM é treinado, etapa por etapa?

Um LLM é treinado em três etapas: pré-treino, fine-tuning supervisionado e RLHF. Na primeira, ele engole trilhões de tokens e aprende a prever o próximo. Nas outras duas, aprende a se comportar. A computação gasta nesses treinos cresce cerca de 5 vezes ao ano (Epoch AI, 2026).

O pré-treino é força bruta. O modelo recebe um trecho de texto com a última parte escondida e tenta adivinhar o que vem ali. Erra, mede o erro, ajusta os pesos. Repete trilhões de vezes. Esse ciclo de errar e ajustar é o mesmo em qualquer IA, e o passo a passo geral está em como a IA é treinada. É aqui que ele absorve gramática, fatos e estilo, tudo misturado nos mesmos números.

Essa etapa é a mais cara em processamento. A computação do maior treino conhecido chega perto de 5 × 10²⁶ operações, e o total dobra a cada 5,2 meses (Epoch AI, 2026). No fim dela, porém, o modelo ainda não é um assistente. Ele só completa texto.

O fine-tuning supervisionado dá modos ao bicho. Pessoas escrevem milhares de pares de pergunta e resposta exemplares. O modelo treina neles e aprende o formato de conversa: responder ao que foi perguntado, começar pelo essencial, parar quando terminou.

O RLHF é a etapa mais curiosa. A sigla significa aprendizado por reforço com feedback humano. O modelo gera várias respostas para a mesma pergunta, e avaliadores humanos as ordenam da melhor para a pior. Esses rankings treinam um segundo modelo, que passa a pontuar as saídas.

Um exemplo torna a etapa concreta. Pergunte qual é a capital da Austrália. Uma resposta diz “Camberra”. A outra diz “Camberra, escolhida em 1908 como meio-termo entre Sydney e Melbourne”. As duas acertam. Mas os avaliadores tendem a preferir a segunda, e o modelo aprende que contexto extra agrada.

É o adestramento com petisco do guia de machine learning, aplicado a texto. O detalhe delicado: o petisco premia a resposta que as pessoas preferem, não necessariamente a resposta verdadeira. Guarde essa distinção, porque ela explica a próxima seção.

Por que a IA inventa respostas?

Porque ela não consulta fatos: calcula qual token vem a seguir. Quando não sabe, um palpite fluente pontua melhor do que o silêncio. E a culpa também é nossa: os benchmarks que usamos premiam o chute e punem o “não sei” (Kalai et al., arXiv, 2025).

O argumento desse estudo é o mais interessante que encontramos sobre o tema. Imagine uma prova de múltipla escolha sem desconto por erro. Chutar é sempre melhor que deixar em branco. Os testes que medem modelos funcionam assim há anos. Um modelo que responde “não tenho essa informação” perde pontos para um que arrisca e acerta às vezes.

Ou seja: a alucinação não é só um bug técnico. É um comportamento que a própria forma de avaliar os modelos incentiva.

E o tamanho do problema não é pequeno. O SimpleQA Verified é o benchmark do Google DeepMind para factualidade em respostas curtas. O melhor modelo avaliado, o Gemini 2.5 Pro, marca F1 de apenas 55,6 (Haas et al., arXiv, 2025). O F1 é uma escala de 0 a 100 que combina acertos e omissões. Estamos falando de perguntas objetivas, com resposta única e verificável.

Some a isso o corte de conhecimento. Todo modelo foi treinado até uma data e não sabe nada do que veio depois. Quando perguntado sobre um evento recente, ele não responde “isso é posterior ao meu treino”. Ele completa com o que parece plausível.

É o mesmo limite que já vimos no pilar da trilha, onde tratamos de como modelos erram, e erram com confiança. Nos LLMs, a confiança tem redação impecável, o que torna o erro mais difícil de flagrar. A defesa prática é velha: conferir qualquer dado, nome ou número na fonte original.

O lugar do português nos grandes modelos

Cabe, mas em porção pequena. O maior corpus aberto de português, o GigaVerbo-v2, reúne cerca de 320 bilhões de tokens (Corrêa et al., arXiv, 2026). Um modelo moderno como o Qwen3 ingere 36 trilhões (Qwen3 Technical Report, 2025). Todo o português catalogado é mais ou menos 1% dessa dieta.

Junte esse dado ao da Common Crawl, com 2,51% das páginas em português contra 40,82% em inglês. O retrato fica claro. Nosso idioma existe no treino apenas como coadjuvante. Na prática, isso significa três coisas.

Primeiro, o modelo tende a saber menos sobre assuntos brasileiros específicos. Segundo, ele às vezes traduz mentalmente do inglês e produz frases corretas que ninguém fala aqui. Terceiro, e mais concreto, o português consome mais tokens por ideia, como a medição da seção anterior mostrou.

Há resposta lusófona em andamento. Os modelos Tucano, abertos e treinados nativamente em português, nasceram justamente para reduzir essa dependência. Eles provam que dá para treinar em português sem passar pelo inglês.

O acesso, por outro lado, é bem desigual por aqui. Entre os usuários de internet, 32% já usaram IA generativa. Na classe A, são 69%; nas classes D e E, apenas 16% (Cetic.br, 2025). A ferramenta chegou ao Brasil, mas não chegou ao Brasil inteiro.

O essencial sobre LLMs em 3 pontos

Três ideias resumem o essencial. Um LLM prevê o próximo pedaço de texto em vez de consultar fatos. Ele passa por três etapas de treino, sobre um corpus que é em maioria esmagadora web bruta. E entende o português como língua minoritária. Se você guardar só isso, já entendeu o principal:

• É previsão de token, não busca de fato. O modelo calcula a continuação mais provável, pedaço por pedaço. Nenhuma etapa desse processo consulta uma base de verdades;
• O treino tem três etapas e a matéria-prima é web bruta. Pré-treino, fine-tuning e RLHF, em cima de um corpus que é 78,2% raspagem de páginas e 0,6% livros (Allen Institute for AI, 2024);
• O português é minoria no treino. São 2,51% da Common Crawl. Sobre temas brasileiros, desconfie mais.

A trilha de Inteligência Artificial guarda os próximos capítulos. O próximo guia separa IA generativa de IA analítica, duas coisas que o noticiário insiste em misturar. E, como o modelo continua o texto que você dá, aprender a escrever bons prompts muda muito a resposta. Até lá, faça um teste: cole um parágrafo seu no tokenizador da OpenAI e veja seu próprio texto virar pedaços. É a visão que o modelo tem de você.

Perguntas frequentes

O que significa LLM em inteligência artificial?

LLM é a sigla de large language model, ou grande modelo de linguagem. É uma rede neural treinada com enormes volumes de texto para prever o próximo token de uma sequência. O “large” vem da escala: modelos de fronteira operam na casa de 1 trilhão de parâmetros (Stanford HAI, 2026).

Qual a diferença entre LLM e ChatGPT?

LLM é a tecnologia; ChatGPT é um produto que embrulha um LLM. O modelo, sozinho, apenas completa texto. O produto adiciona a interface de conversa, o histórico, os filtros de segurança e as ferramentas acopladas. Vários produtos diferentes podem usar o mesmo modelo por baixo.

O que é um token em modelos de linguagem?

É a unidade de texto que o modelo processa: pode ser uma palavra inteira ou um pedaço dela. O tokenizador fatia sua frase antes de qualquer cálculo. Em português, o corte é menos eficiente. Medimos 1,50 vez mais tokens que em inglês no tokenizador cl100k_base e 1,17 no o200k_base, com parágrafos de tamanho aproximado.

Por que a IA alucina?

Porque ela estima o token mais provável em vez de consultar fatos. Um estudo recente mostra que os benchmarks agravam o problema: eles premiam o chute e punem quem responde “não sei” (Kalai et al., arXiv, 2025). Some a isso o corte de conhecimento, que limita o modelo à data do treino.

Quantos parâmetros tem o GPT-4?

A OpenAI não divulga, e os números que circulam pela internet são especulação. O AI Index de 2026 registra que a não divulgação virou norma entre os laboratórios de fronteira (Stanford HAI, 2026). O que se sabe é que a contagem de parâmetros dos modelos maiores estacionou perto de 1 trilhão.