ChatGPT 升级之后, eu conversei com ele e praticamente não houve atraso. O atraso do modelo de voz em tempo real mais recente fica em torno de 200-300 ms, e o intervalo de resposta natural da fala humana também é de 200-300 ms. É igual.

Mas o custo de “zero atraso” é o esquecimento. A janela de contexto do modelo de voz em tempo real tem apenas 32k tokens, ou seja, 1/300 do modelo de texto puro. Baixo atraso = memória pequena + esquecimento ativo. Querer responder na hora, mas lembrar de cada frase que você disse — por enquanto, é um dilema.

Computação ainda está sempre insuficiente. Um único equipamento 5090 para gerar uma imagem em SDXL leva 2 segundos; FLUX leva 9 segundos; para treinar um LoRA de personagem, você precisa de 10-30 imagens, e atualmente isso leva de 1 a 2 horas.

O 5090 que eu alugo está custando quase 5000 dólares agora, com 575W em plena carga, sem contar a conta de energia elétrica. Em dois ou três anos, o poder de processamento relativo já fica ultrapassado. É realmente caro.

Há 15 anos, a gente trocava mensagens. Depois vieram as mensagens com fotos, depois os vídeos, até chegar às ligações em alta definição em tempo real, sem atraso algum. Uma mensagem de texto tem só 140 bytes. Da taxa de 9,6 kbps do 2G até o pico de 20 Gbps do 5G, a diferença de banda é de 2 milhões de vezes.

As rotas usadas pela IA são idênticas. Primeiro eram tokens de texto; no ano passado já dava para imagem; agora é voz; o próximo passo, com certeza, será comunicação de vídeo sem atraso.

Na verdade, o vídeo já começou. O Gemini Live já podia abrir a câmera para conversar em tempo real no ano passado, queimando 300 tokens por segundo. O limite padrão é de 2 minutos, mas, quando você termina, ele esquece tudo — caro + pouco efeito + vários aspectos ainda muito primitivos, o que faz quase não dar para usar.

Hoje, os Agents ainda usam texto para fazer planejamento; eles entendem o mundo via texto, e toda a cadeia de inferência é de tokens. A inferência no “espaço latente” que não é texto só começou a ser tentada agora.

A compreensão de tempo da IA também fica no texto. Um modelo capaz de ganhar medalha de ouro na olimpíada matemática, ao ler a precisão de um relógio simulado, fica em torno de 50%. Tato, emoções, percepção corporificada: para maturar ainda falta muito, muito tempo.

Falando de armazenamento. Eu, de fato, não acho que “vai faltar armazenamento pra sempre”. A palavra “sempre” é exagerada demais.

O custo de armazenamento por GB caiu 99,99% nos últimos 45 anos; a longo prazo, obviamente vai ficar ainda mais barato.

O que acontece é que, agora, a IA está “secando” a memória. A DRAM subiu 90% em um trimestre, e está em falta em um período específico — isso não significa que vai faltar para sempre.

Então isso é uma demanda falsa? Característica de demanda falsa: este mês você usa, no mês que vem não usa.

O número de tokens que o Google processa por mês cresceu 7 vezes em um ano, chegando a 32 milhões de bilhões de tokens. A ChatGPT tem 900 milhões de usuários ativos semanais.

O preço dos tokens cai dez vezes por ano, mas tudo que as pessoas estão discutindo é como usar tokens com mais eficiência, e não como a gente pode parar de usar.

O volume de tokens consumidos por uma sessão de um agent é de 50-200 na conversa de uma única rodada. Se o preço cair, a gente só vai usar mais.

A generative AI levou 3 anos para atingir 53% de penetração global. A internet levou 7 anos, e o PC levou 15 anos.

Então, claro, estamos ainda no começo da era da IA — e a mudança é irreversível. É como nós no tempo do 2G: os nossos toques ainda eram “浪漫手机”, e com a caixa de entrada cheia, a gente ainda não tinha coragem de apagar algumas mensagens.

（图片是我用Fable5做的🎮）