Pular para o conteúdo
Teavoxai

Tokens: a moeda da IA

Em uma frase: a IA não lê palavras — lê pedaços de texto convertidos em números, chamados tokens. É por eles que você paga.

Por que isso importa pro seu negócio

  • Custo: toda API de IA cobra por token — os de entrada (o que você manda) e os de saída (o que ela responde), geralmente com preços diferentes
  • Limite: cada modelo tem um teto de tokens por conversa (a “janela de contexto”); estourou, ele esquece ou recusa
  • Velocidade: mais tokens na resposta = resposta mais lenta
  • Entender tokens é o primeiro passo pra estimar orçamento de um projeto de IA

Como funciona

De texto pra número (e de volta)

Seu texto ──► Tokenizador ──► [números] ──► LLM ──► [números] ──► Texto de resposta
             (codificação)                                    (decodificação)
  • Codificação (encoding): o texto é quebrado em pedaços conhecidos e cada pedaço vira um número
  • Decodificação (decoding): o caminho inverso — números viram pedaços, que são juntados em texto

O que conta como token de entrada

Não é só a sua pergunta. Entra tudo que o modelo “vê”:

  • Histórico da conversa (cada mensagem nova reenvia as anteriores)
  • Instruções de sistema (system prompt)
  • Definições de ferramentas que o agente pode usar
  • Documentos anexados

👉 Por isso conversas longas ficam cada vez mais caras.

Como o vocabulário de tokens é criado

Exemplo ilustrativo com uma frase só — “the cat sat on the mat”:

  1. Cada letra vira um token: t, h, e, c, a…
  2. Pares que se repetem viram tokens novos: th, he, at (aparece em cat, sat, mat)
  3. Grupos de grupos também: th + he → the

Repetido sobre bilhões de textos, isso gera um vocabulário de dezenas ou centenas de milhares de tokens.

  • Vocabulário maior = palavras quebradas em menos pedaços = processamento mais eficiente
  • Palavra rara ou inventada = quebrada em muitos pedaços

Exemplo

Contagem real com o tokenizador o200k_base (usado pelos modelos GPT-4o; outros modelos, como Claude, têm tokenizador próprio e números um pouco diferentes):

Texto Caracteres Tokens Como foi quebrado
understanding 13 2 under · standing
entendimento 12 2 ent · endimento
O Frabjous Day 14 6 O · Fr · ab · j · ous · Day
estate planning and private pension 35 5 uma palavra = um token
planejamento sucessório e previdência privada 45 8 plane · jamento · sucess · ório · …

Leituras:

  • “Frabjous” (palavra inventada por Lewis Carroll) virou 4 tokens sozinha — o tokenizador nunca viu essa palavra
  • Em frases do dia a dia, português e inglês custam quase igual (testamos uma frase de ~100 caracteres: 17 vs 16 tokens)
  • Mas jargão técnico em português custa mais: o mesmo conceito de patrimônio saiu 60% mais caro (8 vs 5 tokens)

Na prática

  • Peça respostas objetivas — token de saída costuma ser o mais caro
  • Não carregue histórico desnecessário — comece conversa nova quando mudar de assunto
  • Cuidado com documentos enormes no prompt — mande só o trecho relevante
  • Teste antes de orçar: cole um texto típico do seu processo num tokenizador e multiplique pelo volume mensal
  • Quer ver na prática? Cole qualquer texto em tiktokenizer.vercel.app

Fontes