Encaminhe o Título Original: Mira: IA Verificada Sem Confiança
Alucinações: uma experiência que envolve a percepção aparente de algo que não está presente.
Andrej Karpathy chama a IA de 'máquinas dos sonhos'. Ele acredita que as alucinações - aqueles momentos em que a IA gera com confiança coisas que não são reais - são uma característica, não um bug. É inútil tentar eliminá-las completamente. E honestamente, há algo poético nisso.
Os grandes modelos de linguagem (LLMs) são um artista, um criador. Ele sonha em código, gera idéias do nada e gira significado a partir de dados. Mas para que a IA passe de belos devaneios para aplicações práticas e cotidianas, devemos conter essas alucinações.
As taxas de erro para LLMs permanecem altas em muitas tarefas — frequentemente em torno de 30%. Nesse nível, LLMs ainda requerem um humano na operação para alcançar um padrão utilizável de precisão.
Mas quando atingimos essa elusiva precisão de 99.x% - onde as saídas são confiáveis sem supervisão humana - a mágica acontece. Esse é o limiar em que a IA atinge a confiabilidade em nível humano, desbloqueando um universo infinito de casos de uso anteriormente inalcançáveis.
Alcançar esse nível de precisão, no entanto, não é tarefa fácil. Exige esforço de engenharia implacável e inovação.
A história de @Mira_Networkcomeça aqui. Mas antes de mergulharmos, vamos falar um pouco sobre o desenvolvimento do LLM - e por que as verificações estão se tornando a próxima grande novidade em IA.
O desenvolvimento do LLM é a última iteração na jornada de aprendizado profundo - distinta das práticas tradicionais de desenvolvimento de software que aprimoramos nos últimos 50 anos. Os LLMs, que existem há apenas cerca de três anos, invertem completamente o roteiro, passando do pensamento determinístico (se X, então Y) para o raciocínio probabilístico (se X, então ... talvez Y?).
Isso significa que a infraestrutura para um mundo impulsionado pela IA exige um conjunto totalmente novo de ferramentas e fluxos de trabalho. No entanto, muitas dessas ferramentas ainda estão trancadas dentro dos laboratórios de pesquisa que criaram os LLMs.
A boa notícia é que essas ferramentas estão começando a se infiltrar no domínio público, abrindo um mundo de possibilidades para desenvolvedores em todos os lugares.
No final deste novo fluxo de trabalho, encontra-se uma peça crítica do quebra-cabeça: avaliações & verificações. Hoje, nosso foco está nisso. Eles respondem a uma pergunta fundamental: o AI está funcionando bem?
A confiança é a base de qualquer ótimo produto de IA.
À medida que a IA se torna uma parte cada vez mais integral de nossas vidas, a própria tecnologia permanece frágil. Erros acontecem e, quando acontecem, a confiança se deteriora rapidamente. Os usuários esperam que a IA seja precisa, imparcial e genuinamente útil, mas sem sistemas confiáveis para garantir isso, a frustração aumenta - e a frustração leva à rotatividade.
Aqui é onde as verificações entram em jogo.
As verificações funcionam como uma salvaguarda. Eles são a camada de garantia de qualidade em que os desenvolvedores confiam para refinar as saídas e construir sistemas nos quais os usuários podem confiar.
A Mira está enfrentando um problema central do Web2 com a transparência confiável das criptomoedas. Ao aproveitar uma rede descentralizada de nós verificadores, a Mira garante que as saídas de IA sejam verificadas de forma precisa e independente.
Digamos que você tenha um parágrafo de resultado de um LLM sobre a cidade de Paris. Como você verifica se é preciso? É difícil fazer isso porque há muitas nuances em torno de tudo, desde as afirmações até a estrutura do conteúdo e o estilo de escrita.
Aqui é onde Mira entra.
A visão da Mira é audaciosa: criar uma rede de camada 1 que ofereça verificação confiável, escalável e precisa das saídas de IA. Ao aproveitar a sabedoria coletiva, a Mira reduz viéses e alucinações, resolvendo problemas centrais como equidade e custo, ao mesmo tempo em que prova como a blockchain pode realmente aprimorar a IA.
Origem: Mira
Resultados iniciais são promissores. Em um recenteestudo publicado na Arxiv, Mira demonstrou que o uso de vários modelos para gerar saídas e exigir consenso aumenta significativamente a precisão. A precisão atingiu 95,6% com três modelos, em comparação com 73,1% para uma única saída do modelo.
Dois elementos-chave de design alimentam a abordagem da Mira:
As saídas geradas por IA variam de declarações simples a ensaios extensos, graças ao custo quase zero da geração de conteúdo. Mas essa abundância de complexidade cria um desafio: como garantir a precisão de saídas tão diversas?
A solução da Mira é simples: decompor.
@Mira_Networktransforma o conteúdo complexo gerado por IA em partes menores e digeríveis que os modelos de IA podem revisar objetivamente em um processo chamado sharding.
Padronizando as saídas e dividi-las em reivindicações discretas e verificáveis, a Mira garante que cada peça possa ser avaliada de forma consistente, eliminando a ambiguidade que muitas vezes aflige as avaliações.
Por exemplo, considere esta declaração composta:
A fotossíntese ocorre nas plantas para converter a luz solar em energia, e as abelhas desempenham um papel fundamental na polinização ao transferir o pólen entre as flores.
À primeira vista, parece simples de verificar. Mas quando entregue a vários modelos, peculiaridades de interpretação podem levar a respostas diferentes. A transformação de conteúdo da Mira através de fragmentação resolve isso dividindo a declaração em duas reivindicações independentes:
Uma vez fragmentada, cada reivindicação passa por binarização, onde é convertida em uma pergunta de múltipla escolha. Essas perguntas são distribuídas para uma rede de nós que executam modelos de IA. Usando o método de verificação em conjunto da Mira, os modelos colaboram para avaliar e confirmar a validade de cada reivindicação.
Atualmente, as capacidades de fragmentação de conteúdo e binarização da Mira estão focadas em entradas de texto. Até o início de 2025, esses processos se expandirão para suportar entradas multimodais, como imagens e vídeos
A Mira desenvolveu um sistema avançado de verificação que combina as vantagens de vários modelos de IA para avaliar a qualidade das saídas de IA.
Vamos desembrulhar isso.
As avaliações automatizadas tradicionais frequentemente dependem de um único modelo de linguagem grande (LLM), como o GPT-4, como o árbitro final da qualidade. Embora funcional, esta abordagem tem falhas significativas: é custosa, sujeita a viés e limitada pelas peculiaridades e 'personalidade' inerentes aos modelos.
A inovação da Mira é uma mudança da dependência de um único modelo massivo para aproveitar umconjunto de diversos LLMs. Este conjunto se destaca em tarefas onde a precisão factual é mais importante do que a criatividade, reduzindo as taxas de erro e fornecendo verificações mais confiáveis e consistentes.
As técnicas de conjunto têm sido bem estudadas em tarefas de aprendizado de máquina como classificação, e Mira está trazendo isso agora para a verificação.
No centro do sistema da Mira está o Painel de verificadores LLM (PoLL) - uma rede colaborativa de modelos que trabalham juntos para verificar resultados. Pense nisso como um painel diversificado de especialistas opinando sobre uma decisão, em vez de deixá-la nas mãos de um único juiz, potencialmente tendencioso.
E isso não é apenas um pensamento ilusório - é fundamentado em pesquisa. Dê uma olhada no gráfico abaixo:
Um estudo da CoherepublicadoEm abril de 2024, foi demonstrado que um painel de três modelos menores - GPT-3.5, Claude-3 Haiku e Command R - se alinhava mais de perto com os julgamentos humanos do que o GPT-4 sozinho. Notavelmente, este método de conjunto também foi 7x mais barato.
Mira está agora colocando esta pesquisa em ação, implantando seu método de verificação em conjunto em escala. Os resultados internos que eles compartilharam até agora são convincentes:
• Taxas de erro reduzidas de 80% para 5% para tarefas de raciocínio complexas.
• 5x melhorias em velocidade e custo em comparação com a verificação humana.
Isso não é uma tarefa pequena. Ao empregar mecanismos de consenso, o diversificado conjunto de modelos da Mira filtra efetivamente alucinações e equilibra os vieses individuais dos modelos. Juntos, eles entregam algo maior do que a soma de suas partes: verificações mais rápidas, mais baratas e mais alinhadas com nossas necessidades.
Para recapitular, o sistema de verificação da Mira é construído com base em dois princípios fundamentais de design:
Manter um conjunto diversificado de modelos é essencial para saídas de alta qualidade, tornando o design da Mira ideal para uma arquitetura descentralizada. Eliminar pontos únicos de falha é crucial para qualquer produto de verificação.
A Mira utiliza uma abordagem baseada em blockchain para garantir que nenhuma entidade única possa manipular os resultados. A premissa é simples: as saídas geradas por IA devem ser verificadas assim como as alterações de estado do blockchain.
A verificação ocorre por meio de uma rede de nós independentes, com operadores incentivados economicamente a realizar verificações precisas. Ao alinhar as recompensas com a honestidade, o sistema da Mira desencoraja ações maliciosas e garante resultados confiáveis.
Veja como funciona:
Mira garante a confidencialidade dos dados ao dividir os dados de entrada em pedaços menores, garantindo que nenhum nó único tenha acesso ao conjunto de dados completo.
Para segurança adicional, Mira suporta níveis dinâmicos de privacidade, permitindo que os usuários ajustem o número de shards com base na sensibilidade dos dados. Embora níveis de privacidade mais elevados exijam mais shardagem (e, portanto, custos mais altos), eles fornecem confidencialidade adicional para usuários que lidam com informações sensíveis.
Toda verificação que um nó realiza é registrada no blockchain, criando um registro transparente e auditável do processo de verificação. Este livro-razão imutável garante confiança e responsabilidade que abordagens tradicionais, não baseadas em blockchain, não podem alcançar.
Isso estabelece um novo padrão para verificação de IA segura e imparcial.
Na rede descentralizada da Mira, o trabalho honesto é recompensado.
Especialistas podem implantar modelos de IA especializados por meio de software de nó e ganhar tokens por verificações precisas. Os desenvolvedores de IA, por sua vez, pagam taxas por verificação, criando um ciclo econômico auto-sustentável entre demanda e oferta.
Esta abordagem conecta o valor real dos fluxos de trabalho da Web2 ao ecossistema Web3, recompensando diretamente os participantes, como provedores de inferência e criadores de modelos.
Mas as recompensas vêm com desafios. Em qualquer sistema descentralizado, os atores mal-intencionados tentarão explorar a rede, enviando resultados falsos para ganhar recompensas sem fazer o trabalho.
Então, como garantir que os nós realmente estejam executando suas tarefas de forma precisa e honesta?
Para manter a integridade, a Mira utiliza o Proof-of-Verification - um mecanismo inspirado no proof-of-work do Bitcoin, mas projetado para IA. Em vez de minerar blocos, os nós devem provar que completaram tarefas de verificação para participar do processo de consenso.
Veja como funciona:
A prova de verificação cria um sistema equilibrado no qual os nós são economicamente motivados a realizar verificações de alta qualidade. Esse mecanismo garante que a rede permaneça segura e confiável ao longo do tempo.
Aqui está a questão: Se a abordagem da Mira é tão eficaz, por que não todos estão fazendo isso?
A resposta reside nos compromissos e complexidades de implementar tal sistema no mundo real. Alcançar o equilíbrio perfeito entre avaliações rápidas e precisas e gerenciar as complexidades de vários modelos não é tarefa fácil.
Um dos maiores obstáculos da Mira é a latência. Embora o uso de conjuntos de modelos permita a execução de verificações em paralelo, a sincronização de resultados e o alcance de consenso introduzem atrasos. O processo é tão rápido quanto o nó mais lento.
Atualmente, isso torna a Mira ideal para o processamento em lote de saídas de IA - casos de uso em que resultados em tempo real não são necessários. À medida que a rede cresce com mais nós e disponibilidade de computação, o objetivo a longo prazo é alcançar verificações em tempo real, expandindo a aplicabilidade da Mira para uma ampla gama de cenários.
Além da latência, outros desafios incluem:
Complexidade de Engenharia: Orquestrar avaliações em múltiplos modelos e garantir que o mecanismo de consenso opere suavemente demanda esforço de engenharia significativo.
Requisitos de Computação Mais Elevados: Mesmo ao usar modelos menores, executá-los juntos em conjuntos aumenta as demandas computacionais.
Bom Design de Mecanismo de Consenso: A forma como o consenso é alcançado - por meio de votação majoritária, pontuação ponderada ou outros métodos - desempenha um papel crítico na confiabilidade do sistema. Em casos ambíguos, os conjuntos podem ter dificuldade em se alinhar, levando a resultados inconsistentes.
Fonte: Mira
A API da Mira integra-se facilmente a qualquer aplicativo, assim como o GPT-4o da OpenAI. Ela é agnóstica em relação às aplicações do consumidor e B2B, tornando-se uma solução versátil para diversos casos de uso. Hoje, mais de uma dúzia de aplicativos utilizam a infraestrutura da Mira.
Integrações do Consumidor
Do lado do consumidor, Mira já está alimentando a verificação de IA para vários aplicativos de IA em estágio inicial:
Oráculo Delphié a integração mais recente e talvez a mais avançada. Este assistente de pesquisa alimentado por IA permite@Delphi_Digitalmembros para envolverem diretamente com o conteúdo de pesquisa, fazerem perguntas, esclarecerem pontos, integrarem feeds de preços e ajustarem o conteúdo para vários níveis de complexidade.
Delphi Oracle alavanca a tecnologia de verificação da Rede Mira para fornecer respostas confiáveis e precisas. Ao verificar respostas em vários modelos, a Mira reduz as taxas de alucinação de ~30% para menos de 5%, garantindo uma base sólida de confiança.
No núcleo do Delphi Oracle está um roteador de consulta de alto desempenho
Esse sistema de roteamento inteligente, combinado com cache inteligente, garante um desempenho ótimo ao equilibrar latência, custo e qualidade.
Os testes da Mira revelaram que modelos menores e mais econômicos podem lidar com a maioria das consultas quase tão bem quanto os modelos maiores. Isso resultou em uma redução de 90% nos custos operacionais, mantendo ao mesmo tempo as respostas de alta qualidade que os usuários esperam.
Embora muitos desses aplicativos de consumo ainda estejam no início, eles destacam a capacidade da Mira de se integrar perfeitamente e suportar grandes bases de usuários ativos. Não é difícil imaginar milhares de aplicativos se conectando ao ecossistema da Mira - desde que a experiência do desenvolvedor permaneça simples e a proposta de valor permaneça clara.
Aplicações B2B
Na frente B2B, a Mira está se concentrando em integrações especializadas em setores onde a confiança e a precisão são primordiais, com foco inicial em saúde e educação.
Aplicações-chave incluem:
O objetivo final da Mira é oferecer gerações verificadas nativamente - onde os usuários simplesmente se conectam via API, assim como OpenAI ou Anthropic, e recebem saídas pré-verificadas antes de serem retornadas.
Eles visam substituir as APIs de modelo existentes, fornecendo versões altamente confiáveis de modelos existentes (por exemplo, Mira-Claude-3.5-Sonnet ou Mira-OpenAI-GPT-4o), aprimoradas com confiabilidade interna baseada em consenso.
A IA generativa está em uma nave espacial. De acordo comBloomberg, o mercado deverá crescer a uma taxa de CAGR impressionante de 42%, com receita ultrapassando US$ 1 trilhão até 2030. Dentro dessa onda massiva, ferramentas que melhoram a velocidade, precisão e confiabilidade dos fluxos de trabalho de IA capturarão uma fatia significativa.
À medida que mais empresas integram LLMs em seus fluxos de trabalho - desde chatbots de suporte ao cliente até assistentes de pesquisa complexos - a necessidade de verificações de modelo robustas se torna mais urgente.
Organizações estarão buscando ferramentas que possam (1) medir a precisão e confiabilidade do modelo, (2) diagnosticar ineficiências de prompt e parâmetro, (3) monitorar continuamente o desempenho e a deriva, e (4) garantir conformidade com quadros regulatórios emergentes em torno da segurança da IA.
Soa familiar? É um livro de jogadas que já vimos antes com o MLOps (abreviação de 'Operações de Aprendizado de Máquina'). À medida que o aprendizado de máquina se expandiu na década de 2010, as ferramentas para implantar, rastrear e manter modelos se tornaram essenciais, criando um mercado de bilhões de dólares. Com o surgimento da IA generativa, o LLMOps está seguindo a mesma trajetória.
Capturar até mesmo uma pequena fatia do mercado de trilhões de dólares poderia empurrar esse subsetor para US$ 100 bilhões + até 2030.
Várias startups de Web2 já estão se posicionando, oferecendo ferramentas para anotar dados, ajustar modelos e avaliar o desempenho:
• Braintrust ($36M levantados)
• Vellum AI (US$ 5 milhões arrecadados)
• Humanloop ($2.8M raised)
Esses primeiros movimentadores estão lançando as bases, mas o espaço é fluido. Em 2025, é provável que vejamos uma proliferação de startups neste setor. Alguns podem se especializar em métricas de avaliação de nicho (por exemplo, detecção de viés e teste de robustez), enquanto outros ampliam suas ofertas para cobrir todo o ciclo de desenvolvimento de IA.
Grandes incumbentes de tecnologia, como grandes provedores de nuvem e plataformas de IA, provavelmente incluirão recursos de avaliação em seus serviços. No mês passado,OpenAIintroduziu avaliações diretamente em sua plataforma. Para se manterem competitivas, as startups devem se diferenciar por meio da especialização, facilidade de uso e análise avançada.
Mira não é um concorrente direto dessas startups ou empresas estabelecidas. Em vez disso, é um provedor de infraestrutura que se integra perfeitamente com ambas por meio de APIs. A chave? Só precisa funcionar.
O tamanho inicial do mercado da Mira está ligado ao LLMOps, mas seu mercado endereçável total se expandirá para toda a IA porque cada aplicativo de IA precisará de saídas mais confiáveis.
Do ponto de vista da teoria dos jogos, Mira está em uma situação única. Ao contrário de outros provedores de modelos, como o OpenAI, que estão bloqueados para suportar seus próprios sistemas, o Mira pode se integrar entre modelos. Isso posiciona Mira como a camada de confiança para IA, oferecendo confiabilidade que nenhum provedor pode igualar.
O roteiro de Mira para 2025 visa equilibrar integridade, escalabilidade e participação da comunidade em seu caminho para a descentralização total:
Fase 1: Estabelecendo a Confiança (Onde nós estamos hoje)
No estágio inicial, os operadores de nó examinados garantem a confiabilidade da rede. Provedores de computação de GPU bem conhecidos servem como a primeira onda de operadores, lidando com operações iniciais e estabelecendo uma base sólida para o crescimento.
Fase 2: Descentralização Progressiva
Mira introduz a duplicação projetada, onde várias instâncias do mesmo modelo de verificador processam cada solicitação. Embora isso aumente os custos de verificação, é essencial para identificar e remover operadores maliciosos. Ao comparar as saídas entre os nós, os atores mal-intencionados são identificados precocemente.
Em sua forma madura, Mira implementará shard aleatório para distribuir tarefas de verificação. Isso torna a colusão economicamente inviável e fortalece a resiliência e segurança da rede à medida que ela se expande.
Fase 3: Modelo de base sintética
Aqui, Mira oferecerá gerações verificadas nativamente. Os usuários se conectarão via API, semelhante ao OpenAI ou Anthropic, e receberão saídas pré-verificadas - resultados confiáveis e prontos para uso sem validação adicional.
Nos próximos meses, a Mira está se preparando para vários marcos importantes:
Mira está expandindo oportunidades para o envolvimento da comunidade através de suaPrograma Delegado de Nó. Esta iniciativa torna o suporte à rede acessível a todos—não é necessária experiência técnica.
O processo é simples: você pode alugar recursos de computação e delegá-los a um grupo selecionado de operadores de nó. As contribuições podem variar de $35 a $750, e recompensas são oferecidas por apoiar a rede. A Mira gerencia toda a infraestrutura complexa, para que os delegadores de nós possam relaxar, assistir a rede crescer e aproveitar alguns benefícios.
Hoje, a Mira tem uma equipe pequena, mas unida, focada principalmente em engenharia.
Existem 3 co-fundadores:
Juntos, eles combinam habilidade de investimento, inovação técnica e liderança de produto para a visão da Mira de verificação de IA descentralizada. Mira levantou $9Mrodada de semente em julho de 2024, liderado pela BITKRAFT e Framework Ventures.
É refrescante ver uma equipe de IA de criptomoedas enfrentando um problema fundamental de IA da Web2 - tornar a IA melhor - em vez de jogar jogos especulativos na bolha das criptomoedas.
A indústria está acordando para a importância das verificações. Confiar em “vibes” não é mais suficiente. Em breve, todo aplicativo e fluxo de trabalho de IA precisará de um processo de verificação adequado - e não é difícil imaginar que futuras regulamentações exijam esses processos para garantir a segurança.
A abordagem da Mira alavanca múltiplos modelos para verificar independentemente as saídas, evitando a dependência de um único modelo centralizado. Esse quadro descentralizado aumenta a confiança e reduz os riscos de viés e manipulação.
E vamos considerar o que acontece se chegarmos a AGI nos próximos anos (uma possibilidade real).
ComoAnand Iyer (@AIda Canonical aponta, se a IA pode manipular sutilmente decisões e código, como podemos confiar nos sistemas que testam esses comportamentos? Pessoas inteligentes estão pensando à frente.Pesquisa da Anthropicdestaca a urgência, enfatizando as avaliações como uma ferramenta crítica para identificar capacidades de IA potencialmente perigosas antes que elas se transformem em problemas.
Ao habilitar a transparência radical, as blockchains adicionam uma camada poderosa de proteção contra sistemas de IA maliciosos. Mecanismos de consenso sem confiança garantem que as avaliações de segurança sejam verificadas por milhares de nós independentes (como na Mira), reduzindo drasticamente o risco de ataques Sybil.
Mira está perseguindo um mercado enorme com demanda clara por uma solução que funcione. Mas os desafios são reais. Melhorar a latência, a precisão e a eficiência de custo exigirá um esforço de engenharia implacável e tempo. A equipe precisará demonstrar consistentemente que sua abordagem é mensuravelmente melhor do que as alternativas existentes.
A inovação central está no processo de binarização e fragmentação da Mira. Esse “segredo” promete resolver problemas de escalabilidade e confiança. Para que a Mira tenha sucesso, essa tecnologia precisa cumprir sua promessa.
Em qualquer rede descentralizada, o token e o design de incentivo são fatores decisivos. O sucesso do Mira dependerá de quão bem esses mecanismos alinham os interesses dos participantes, mantendo a integridade da rede.
Embora os detalhes da tokenômica de Mira permaneçam sob sigilo, espero que a equipe revele mais à medida que o lançamento do token se aproxima no início de 2025.
"Descobrimos que as equipes de engenharia que implementam grandes avaliações se movem significativamente mais rápido - até 10 vezes mais rápido - do que aquelas que apenas observam o que acontece na produção e tentam corrigi-las de forma ad hoc", - Ankur Goyal, Braintrust
Em um mundo impulsionado por IA, a confiança é tudo.
À medida que os modelos se tornam mais complexos, verificações confiáveis darão suporte a cada grande produto de IA. Eles nos ajudam a lidar com alucinações, eliminar viéses e garantir que as saídas de IA estejam alinhadas com as necessidades reais dos usuários.
A Mira automatiza verificações, reduzindo custos e dependência de intervenção humana. Isso permite iterações mais rápidas, ajustes em tempo real e soluções escaláveis sem gargalos.
Em última análise, Mira tem como objetivo ser a API para confiança - um framework de verificação descentralizado no qual todo desenvolvedor de IA e aplicativo pode depender para obter respostas verificadas.
É audacioso, ambicioso e exatamente o que o mundo da IA precisa.
Obrigado por ler, Teng Yan
Encaminhe o Título Original: Mira: IA Verificada Sem Confiança
Alucinações: uma experiência que envolve a percepção aparente de algo que não está presente.
Andrej Karpathy chama a IA de 'máquinas dos sonhos'. Ele acredita que as alucinações - aqueles momentos em que a IA gera com confiança coisas que não são reais - são uma característica, não um bug. É inútil tentar eliminá-las completamente. E honestamente, há algo poético nisso.
Os grandes modelos de linguagem (LLMs) são um artista, um criador. Ele sonha em código, gera idéias do nada e gira significado a partir de dados. Mas para que a IA passe de belos devaneios para aplicações práticas e cotidianas, devemos conter essas alucinações.
As taxas de erro para LLMs permanecem altas em muitas tarefas — frequentemente em torno de 30%. Nesse nível, LLMs ainda requerem um humano na operação para alcançar um padrão utilizável de precisão.
Mas quando atingimos essa elusiva precisão de 99.x% - onde as saídas são confiáveis sem supervisão humana - a mágica acontece. Esse é o limiar em que a IA atinge a confiabilidade em nível humano, desbloqueando um universo infinito de casos de uso anteriormente inalcançáveis.
Alcançar esse nível de precisão, no entanto, não é tarefa fácil. Exige esforço de engenharia implacável e inovação.
A história de @Mira_Networkcomeça aqui. Mas antes de mergulharmos, vamos falar um pouco sobre o desenvolvimento do LLM - e por que as verificações estão se tornando a próxima grande novidade em IA.
O desenvolvimento do LLM é a última iteração na jornada de aprendizado profundo - distinta das práticas tradicionais de desenvolvimento de software que aprimoramos nos últimos 50 anos. Os LLMs, que existem há apenas cerca de três anos, invertem completamente o roteiro, passando do pensamento determinístico (se X, então Y) para o raciocínio probabilístico (se X, então ... talvez Y?).
Isso significa que a infraestrutura para um mundo impulsionado pela IA exige um conjunto totalmente novo de ferramentas e fluxos de trabalho. No entanto, muitas dessas ferramentas ainda estão trancadas dentro dos laboratórios de pesquisa que criaram os LLMs.
A boa notícia é que essas ferramentas estão começando a se infiltrar no domínio público, abrindo um mundo de possibilidades para desenvolvedores em todos os lugares.
No final deste novo fluxo de trabalho, encontra-se uma peça crítica do quebra-cabeça: avaliações & verificações. Hoje, nosso foco está nisso. Eles respondem a uma pergunta fundamental: o AI está funcionando bem?
A confiança é a base de qualquer ótimo produto de IA.
À medida que a IA se torna uma parte cada vez mais integral de nossas vidas, a própria tecnologia permanece frágil. Erros acontecem e, quando acontecem, a confiança se deteriora rapidamente. Os usuários esperam que a IA seja precisa, imparcial e genuinamente útil, mas sem sistemas confiáveis para garantir isso, a frustração aumenta - e a frustração leva à rotatividade.
Aqui é onde as verificações entram em jogo.
As verificações funcionam como uma salvaguarda. Eles são a camada de garantia de qualidade em que os desenvolvedores confiam para refinar as saídas e construir sistemas nos quais os usuários podem confiar.
A Mira está enfrentando um problema central do Web2 com a transparência confiável das criptomoedas. Ao aproveitar uma rede descentralizada de nós verificadores, a Mira garante que as saídas de IA sejam verificadas de forma precisa e independente.
Digamos que você tenha um parágrafo de resultado de um LLM sobre a cidade de Paris. Como você verifica se é preciso? É difícil fazer isso porque há muitas nuances em torno de tudo, desde as afirmações até a estrutura do conteúdo e o estilo de escrita.
Aqui é onde Mira entra.
A visão da Mira é audaciosa: criar uma rede de camada 1 que ofereça verificação confiável, escalável e precisa das saídas de IA. Ao aproveitar a sabedoria coletiva, a Mira reduz viéses e alucinações, resolvendo problemas centrais como equidade e custo, ao mesmo tempo em que prova como a blockchain pode realmente aprimorar a IA.
Origem: Mira
Resultados iniciais são promissores. Em um recenteestudo publicado na Arxiv, Mira demonstrou que o uso de vários modelos para gerar saídas e exigir consenso aumenta significativamente a precisão. A precisão atingiu 95,6% com três modelos, em comparação com 73,1% para uma única saída do modelo.
Dois elementos-chave de design alimentam a abordagem da Mira:
As saídas geradas por IA variam de declarações simples a ensaios extensos, graças ao custo quase zero da geração de conteúdo. Mas essa abundância de complexidade cria um desafio: como garantir a precisão de saídas tão diversas?
A solução da Mira é simples: decompor.
@Mira_Networktransforma o conteúdo complexo gerado por IA em partes menores e digeríveis que os modelos de IA podem revisar objetivamente em um processo chamado sharding.
Padronizando as saídas e dividi-las em reivindicações discretas e verificáveis, a Mira garante que cada peça possa ser avaliada de forma consistente, eliminando a ambiguidade que muitas vezes aflige as avaliações.
Por exemplo, considere esta declaração composta:
A fotossíntese ocorre nas plantas para converter a luz solar em energia, e as abelhas desempenham um papel fundamental na polinização ao transferir o pólen entre as flores.
À primeira vista, parece simples de verificar. Mas quando entregue a vários modelos, peculiaridades de interpretação podem levar a respostas diferentes. A transformação de conteúdo da Mira através de fragmentação resolve isso dividindo a declaração em duas reivindicações independentes:
Uma vez fragmentada, cada reivindicação passa por binarização, onde é convertida em uma pergunta de múltipla escolha. Essas perguntas são distribuídas para uma rede de nós que executam modelos de IA. Usando o método de verificação em conjunto da Mira, os modelos colaboram para avaliar e confirmar a validade de cada reivindicação.
Atualmente, as capacidades de fragmentação de conteúdo e binarização da Mira estão focadas em entradas de texto. Até o início de 2025, esses processos se expandirão para suportar entradas multimodais, como imagens e vídeos
A Mira desenvolveu um sistema avançado de verificação que combina as vantagens de vários modelos de IA para avaliar a qualidade das saídas de IA.
Vamos desembrulhar isso.
As avaliações automatizadas tradicionais frequentemente dependem de um único modelo de linguagem grande (LLM), como o GPT-4, como o árbitro final da qualidade. Embora funcional, esta abordagem tem falhas significativas: é custosa, sujeita a viés e limitada pelas peculiaridades e 'personalidade' inerentes aos modelos.
A inovação da Mira é uma mudança da dependência de um único modelo massivo para aproveitar umconjunto de diversos LLMs. Este conjunto se destaca em tarefas onde a precisão factual é mais importante do que a criatividade, reduzindo as taxas de erro e fornecendo verificações mais confiáveis e consistentes.
As técnicas de conjunto têm sido bem estudadas em tarefas de aprendizado de máquina como classificação, e Mira está trazendo isso agora para a verificação.
No centro do sistema da Mira está o Painel de verificadores LLM (PoLL) - uma rede colaborativa de modelos que trabalham juntos para verificar resultados. Pense nisso como um painel diversificado de especialistas opinando sobre uma decisão, em vez de deixá-la nas mãos de um único juiz, potencialmente tendencioso.
E isso não é apenas um pensamento ilusório - é fundamentado em pesquisa. Dê uma olhada no gráfico abaixo:
Um estudo da CoherepublicadoEm abril de 2024, foi demonstrado que um painel de três modelos menores - GPT-3.5, Claude-3 Haiku e Command R - se alinhava mais de perto com os julgamentos humanos do que o GPT-4 sozinho. Notavelmente, este método de conjunto também foi 7x mais barato.
Mira está agora colocando esta pesquisa em ação, implantando seu método de verificação em conjunto em escala. Os resultados internos que eles compartilharam até agora são convincentes:
• Taxas de erro reduzidas de 80% para 5% para tarefas de raciocínio complexas.
• 5x melhorias em velocidade e custo em comparação com a verificação humana.
Isso não é uma tarefa pequena. Ao empregar mecanismos de consenso, o diversificado conjunto de modelos da Mira filtra efetivamente alucinações e equilibra os vieses individuais dos modelos. Juntos, eles entregam algo maior do que a soma de suas partes: verificações mais rápidas, mais baratas e mais alinhadas com nossas necessidades.
Para recapitular, o sistema de verificação da Mira é construído com base em dois princípios fundamentais de design:
Manter um conjunto diversificado de modelos é essencial para saídas de alta qualidade, tornando o design da Mira ideal para uma arquitetura descentralizada. Eliminar pontos únicos de falha é crucial para qualquer produto de verificação.
A Mira utiliza uma abordagem baseada em blockchain para garantir que nenhuma entidade única possa manipular os resultados. A premissa é simples: as saídas geradas por IA devem ser verificadas assim como as alterações de estado do blockchain.
A verificação ocorre por meio de uma rede de nós independentes, com operadores incentivados economicamente a realizar verificações precisas. Ao alinhar as recompensas com a honestidade, o sistema da Mira desencoraja ações maliciosas e garante resultados confiáveis.
Veja como funciona:
Mira garante a confidencialidade dos dados ao dividir os dados de entrada em pedaços menores, garantindo que nenhum nó único tenha acesso ao conjunto de dados completo.
Para segurança adicional, Mira suporta níveis dinâmicos de privacidade, permitindo que os usuários ajustem o número de shards com base na sensibilidade dos dados. Embora níveis de privacidade mais elevados exijam mais shardagem (e, portanto, custos mais altos), eles fornecem confidencialidade adicional para usuários que lidam com informações sensíveis.
Toda verificação que um nó realiza é registrada no blockchain, criando um registro transparente e auditável do processo de verificação. Este livro-razão imutável garante confiança e responsabilidade que abordagens tradicionais, não baseadas em blockchain, não podem alcançar.
Isso estabelece um novo padrão para verificação de IA segura e imparcial.
Na rede descentralizada da Mira, o trabalho honesto é recompensado.
Especialistas podem implantar modelos de IA especializados por meio de software de nó e ganhar tokens por verificações precisas. Os desenvolvedores de IA, por sua vez, pagam taxas por verificação, criando um ciclo econômico auto-sustentável entre demanda e oferta.
Esta abordagem conecta o valor real dos fluxos de trabalho da Web2 ao ecossistema Web3, recompensando diretamente os participantes, como provedores de inferência e criadores de modelos.
Mas as recompensas vêm com desafios. Em qualquer sistema descentralizado, os atores mal-intencionados tentarão explorar a rede, enviando resultados falsos para ganhar recompensas sem fazer o trabalho.
Então, como garantir que os nós realmente estejam executando suas tarefas de forma precisa e honesta?
Para manter a integridade, a Mira utiliza o Proof-of-Verification - um mecanismo inspirado no proof-of-work do Bitcoin, mas projetado para IA. Em vez de minerar blocos, os nós devem provar que completaram tarefas de verificação para participar do processo de consenso.
Veja como funciona:
A prova de verificação cria um sistema equilibrado no qual os nós são economicamente motivados a realizar verificações de alta qualidade. Esse mecanismo garante que a rede permaneça segura e confiável ao longo do tempo.
Aqui está a questão: Se a abordagem da Mira é tão eficaz, por que não todos estão fazendo isso?
A resposta reside nos compromissos e complexidades de implementar tal sistema no mundo real. Alcançar o equilíbrio perfeito entre avaliações rápidas e precisas e gerenciar as complexidades de vários modelos não é tarefa fácil.
Um dos maiores obstáculos da Mira é a latência. Embora o uso de conjuntos de modelos permita a execução de verificações em paralelo, a sincronização de resultados e o alcance de consenso introduzem atrasos. O processo é tão rápido quanto o nó mais lento.
Atualmente, isso torna a Mira ideal para o processamento em lote de saídas de IA - casos de uso em que resultados em tempo real não são necessários. À medida que a rede cresce com mais nós e disponibilidade de computação, o objetivo a longo prazo é alcançar verificações em tempo real, expandindo a aplicabilidade da Mira para uma ampla gama de cenários.
Além da latência, outros desafios incluem:
Complexidade de Engenharia: Orquestrar avaliações em múltiplos modelos e garantir que o mecanismo de consenso opere suavemente demanda esforço de engenharia significativo.
Requisitos de Computação Mais Elevados: Mesmo ao usar modelos menores, executá-los juntos em conjuntos aumenta as demandas computacionais.
Bom Design de Mecanismo de Consenso: A forma como o consenso é alcançado - por meio de votação majoritária, pontuação ponderada ou outros métodos - desempenha um papel crítico na confiabilidade do sistema. Em casos ambíguos, os conjuntos podem ter dificuldade em se alinhar, levando a resultados inconsistentes.
Fonte: Mira
A API da Mira integra-se facilmente a qualquer aplicativo, assim como o GPT-4o da OpenAI. Ela é agnóstica em relação às aplicações do consumidor e B2B, tornando-se uma solução versátil para diversos casos de uso. Hoje, mais de uma dúzia de aplicativos utilizam a infraestrutura da Mira.
Integrações do Consumidor
Do lado do consumidor, Mira já está alimentando a verificação de IA para vários aplicativos de IA em estágio inicial:
Oráculo Delphié a integração mais recente e talvez a mais avançada. Este assistente de pesquisa alimentado por IA permite@Delphi_Digitalmembros para envolverem diretamente com o conteúdo de pesquisa, fazerem perguntas, esclarecerem pontos, integrarem feeds de preços e ajustarem o conteúdo para vários níveis de complexidade.
Delphi Oracle alavanca a tecnologia de verificação da Rede Mira para fornecer respostas confiáveis e precisas. Ao verificar respostas em vários modelos, a Mira reduz as taxas de alucinação de ~30% para menos de 5%, garantindo uma base sólida de confiança.
No núcleo do Delphi Oracle está um roteador de consulta de alto desempenho
Esse sistema de roteamento inteligente, combinado com cache inteligente, garante um desempenho ótimo ao equilibrar latência, custo e qualidade.
Os testes da Mira revelaram que modelos menores e mais econômicos podem lidar com a maioria das consultas quase tão bem quanto os modelos maiores. Isso resultou em uma redução de 90% nos custos operacionais, mantendo ao mesmo tempo as respostas de alta qualidade que os usuários esperam.
Embora muitos desses aplicativos de consumo ainda estejam no início, eles destacam a capacidade da Mira de se integrar perfeitamente e suportar grandes bases de usuários ativos. Não é difícil imaginar milhares de aplicativos se conectando ao ecossistema da Mira - desde que a experiência do desenvolvedor permaneça simples e a proposta de valor permaneça clara.
Aplicações B2B
Na frente B2B, a Mira está se concentrando em integrações especializadas em setores onde a confiança e a precisão são primordiais, com foco inicial em saúde e educação.
Aplicações-chave incluem:
O objetivo final da Mira é oferecer gerações verificadas nativamente - onde os usuários simplesmente se conectam via API, assim como OpenAI ou Anthropic, e recebem saídas pré-verificadas antes de serem retornadas.
Eles visam substituir as APIs de modelo existentes, fornecendo versões altamente confiáveis de modelos existentes (por exemplo, Mira-Claude-3.5-Sonnet ou Mira-OpenAI-GPT-4o), aprimoradas com confiabilidade interna baseada em consenso.
A IA generativa está em uma nave espacial. De acordo comBloomberg, o mercado deverá crescer a uma taxa de CAGR impressionante de 42%, com receita ultrapassando US$ 1 trilhão até 2030. Dentro dessa onda massiva, ferramentas que melhoram a velocidade, precisão e confiabilidade dos fluxos de trabalho de IA capturarão uma fatia significativa.
À medida que mais empresas integram LLMs em seus fluxos de trabalho - desde chatbots de suporte ao cliente até assistentes de pesquisa complexos - a necessidade de verificações de modelo robustas se torna mais urgente.
Organizações estarão buscando ferramentas que possam (1) medir a precisão e confiabilidade do modelo, (2) diagnosticar ineficiências de prompt e parâmetro, (3) monitorar continuamente o desempenho e a deriva, e (4) garantir conformidade com quadros regulatórios emergentes em torno da segurança da IA.
Soa familiar? É um livro de jogadas que já vimos antes com o MLOps (abreviação de 'Operações de Aprendizado de Máquina'). À medida que o aprendizado de máquina se expandiu na década de 2010, as ferramentas para implantar, rastrear e manter modelos se tornaram essenciais, criando um mercado de bilhões de dólares. Com o surgimento da IA generativa, o LLMOps está seguindo a mesma trajetória.
Capturar até mesmo uma pequena fatia do mercado de trilhões de dólares poderia empurrar esse subsetor para US$ 100 bilhões + até 2030.
Várias startups de Web2 já estão se posicionando, oferecendo ferramentas para anotar dados, ajustar modelos e avaliar o desempenho:
• Braintrust ($36M levantados)
• Vellum AI (US$ 5 milhões arrecadados)
• Humanloop ($2.8M raised)
Esses primeiros movimentadores estão lançando as bases, mas o espaço é fluido. Em 2025, é provável que vejamos uma proliferação de startups neste setor. Alguns podem se especializar em métricas de avaliação de nicho (por exemplo, detecção de viés e teste de robustez), enquanto outros ampliam suas ofertas para cobrir todo o ciclo de desenvolvimento de IA.
Grandes incumbentes de tecnologia, como grandes provedores de nuvem e plataformas de IA, provavelmente incluirão recursos de avaliação em seus serviços. No mês passado,OpenAIintroduziu avaliações diretamente em sua plataforma. Para se manterem competitivas, as startups devem se diferenciar por meio da especialização, facilidade de uso e análise avançada.
Mira não é um concorrente direto dessas startups ou empresas estabelecidas. Em vez disso, é um provedor de infraestrutura que se integra perfeitamente com ambas por meio de APIs. A chave? Só precisa funcionar.
O tamanho inicial do mercado da Mira está ligado ao LLMOps, mas seu mercado endereçável total se expandirá para toda a IA porque cada aplicativo de IA precisará de saídas mais confiáveis.
Do ponto de vista da teoria dos jogos, Mira está em uma situação única. Ao contrário de outros provedores de modelos, como o OpenAI, que estão bloqueados para suportar seus próprios sistemas, o Mira pode se integrar entre modelos. Isso posiciona Mira como a camada de confiança para IA, oferecendo confiabilidade que nenhum provedor pode igualar.
O roteiro de Mira para 2025 visa equilibrar integridade, escalabilidade e participação da comunidade em seu caminho para a descentralização total:
Fase 1: Estabelecendo a Confiança (Onde nós estamos hoje)
No estágio inicial, os operadores de nó examinados garantem a confiabilidade da rede. Provedores de computação de GPU bem conhecidos servem como a primeira onda de operadores, lidando com operações iniciais e estabelecendo uma base sólida para o crescimento.
Fase 2: Descentralização Progressiva
Mira introduz a duplicação projetada, onde várias instâncias do mesmo modelo de verificador processam cada solicitação. Embora isso aumente os custos de verificação, é essencial para identificar e remover operadores maliciosos. Ao comparar as saídas entre os nós, os atores mal-intencionados são identificados precocemente.
Em sua forma madura, Mira implementará shard aleatório para distribuir tarefas de verificação. Isso torna a colusão economicamente inviável e fortalece a resiliência e segurança da rede à medida que ela se expande.
Fase 3: Modelo de base sintética
Aqui, Mira oferecerá gerações verificadas nativamente. Os usuários se conectarão via API, semelhante ao OpenAI ou Anthropic, e receberão saídas pré-verificadas - resultados confiáveis e prontos para uso sem validação adicional.
Nos próximos meses, a Mira está se preparando para vários marcos importantes:
Mira está expandindo oportunidades para o envolvimento da comunidade através de suaPrograma Delegado de Nó. Esta iniciativa torna o suporte à rede acessível a todos—não é necessária experiência técnica.
O processo é simples: você pode alugar recursos de computação e delegá-los a um grupo selecionado de operadores de nó. As contribuições podem variar de $35 a $750, e recompensas são oferecidas por apoiar a rede. A Mira gerencia toda a infraestrutura complexa, para que os delegadores de nós possam relaxar, assistir a rede crescer e aproveitar alguns benefícios.
Hoje, a Mira tem uma equipe pequena, mas unida, focada principalmente em engenharia.
Existem 3 co-fundadores:
Juntos, eles combinam habilidade de investimento, inovação técnica e liderança de produto para a visão da Mira de verificação de IA descentralizada. Mira levantou $9Mrodada de semente em julho de 2024, liderado pela BITKRAFT e Framework Ventures.
É refrescante ver uma equipe de IA de criptomoedas enfrentando um problema fundamental de IA da Web2 - tornar a IA melhor - em vez de jogar jogos especulativos na bolha das criptomoedas.
A indústria está acordando para a importância das verificações. Confiar em “vibes” não é mais suficiente. Em breve, todo aplicativo e fluxo de trabalho de IA precisará de um processo de verificação adequado - e não é difícil imaginar que futuras regulamentações exijam esses processos para garantir a segurança.
A abordagem da Mira alavanca múltiplos modelos para verificar independentemente as saídas, evitando a dependência de um único modelo centralizado. Esse quadro descentralizado aumenta a confiança e reduz os riscos de viés e manipulação.
E vamos considerar o que acontece se chegarmos a AGI nos próximos anos (uma possibilidade real).
ComoAnand Iyer (@AIda Canonical aponta, se a IA pode manipular sutilmente decisões e código, como podemos confiar nos sistemas que testam esses comportamentos? Pessoas inteligentes estão pensando à frente.Pesquisa da Anthropicdestaca a urgência, enfatizando as avaliações como uma ferramenta crítica para identificar capacidades de IA potencialmente perigosas antes que elas se transformem em problemas.
Ao habilitar a transparência radical, as blockchains adicionam uma camada poderosa de proteção contra sistemas de IA maliciosos. Mecanismos de consenso sem confiança garantem que as avaliações de segurança sejam verificadas por milhares de nós independentes (como na Mira), reduzindo drasticamente o risco de ataques Sybil.
Mira está perseguindo um mercado enorme com demanda clara por uma solução que funcione. Mas os desafios são reais. Melhorar a latência, a precisão e a eficiência de custo exigirá um esforço de engenharia implacável e tempo. A equipe precisará demonstrar consistentemente que sua abordagem é mensuravelmente melhor do que as alternativas existentes.
A inovação central está no processo de binarização e fragmentação da Mira. Esse “segredo” promete resolver problemas de escalabilidade e confiança. Para que a Mira tenha sucesso, essa tecnologia precisa cumprir sua promessa.
Em qualquer rede descentralizada, o token e o design de incentivo são fatores decisivos. O sucesso do Mira dependerá de quão bem esses mecanismos alinham os interesses dos participantes, mantendo a integridade da rede.
Embora os detalhes da tokenômica de Mira permaneçam sob sigilo, espero que a equipe revele mais à medida que o lançamento do token se aproxima no início de 2025.
"Descobrimos que as equipes de engenharia que implementam grandes avaliações se movem significativamente mais rápido - até 10 vezes mais rápido - do que aquelas que apenas observam o que acontece na produção e tentam corrigi-las de forma ad hoc", - Ankur Goyal, Braintrust
Em um mundo impulsionado por IA, a confiança é tudo.
À medida que os modelos se tornam mais complexos, verificações confiáveis darão suporte a cada grande produto de IA. Eles nos ajudam a lidar com alucinações, eliminar viéses e garantir que as saídas de IA estejam alinhadas com as necessidades reais dos usuários.
A Mira automatiza verificações, reduzindo custos e dependência de intervenção humana. Isso permite iterações mais rápidas, ajustes em tempo real e soluções escaláveis sem gargalos.
Em última análise, Mira tem como objetivo ser a API para confiança - um framework de verificação descentralizado no qual todo desenvolvedor de IA e aplicativo pode depender para obter respostas verificadas.
É audacioso, ambicioso e exatamente o que o mundo da IA precisa.
Obrigado por ler, Teng Yan