No coração do universo digital do conhecimento livre, a Wikimedia enfrenta hoje um dos desafios mais complexos da sua história recente: a crescente onda de bull de bots de IA que plundera sistematicamente os seus conteúdos.
Em particular, nos últimos meses houve um aumento de 50% no tráfego gerado pela chamada IA de rastreamento, que está a colocar pressão tanto na capacidade técnica como na sustentabilidade económica da plataforma.
O impacto da inteligência artificial (AI) na infraestrutura digital está a crescer: o caso Wikimedia
A partir de janeiro de 2024, houve um crescimento vertiginoso no volume de dados descarregados de plataformas como a Wikipedia e outros projetos da Wikimedia.
Este aumento não se deve a uma maior participação de utilizadores humanos, mas sim a um uso sistemático e muitas vezes mal regulamentado de bots automáticos empregados por empresas que desenvolvem modelos de inteligência artificial.
Estas ferramentas, concebidas para coletar e analisar grandes quantidades de texto, imagens e outros conteúdos, utilizam a Wikimedia como fonte de dados primária para o treinamento dos seus algoritmos.
Uma operação que, por um lado, demonstra a centralidade da plataforma no ecossistema do conhecimento digital, por outro lado, exerce uma pressão insustentável sobre as suas infraestruturas de TI.
O problema não reside apenas na quantidade de dados transferidos. A verdadeira questão crítica é representada pela forma como esses bots acedem aos conteúdos.
Na maioria dos casos, na verdade, os pedidos são direcionados a páginas raras ou pouco visitadas, ou seja, aquelas que não fazem parte dos sistemas de cache. Em outras palavras, mecanismos que permitem armazenar temporariamente cópias das páginas mais consultadas para acelerar o seu carregamento.
Quando isso acontece, os pedidos devem ser tratados diretamente pelos servidores centrais, resultando em um aumento significativo na carga de trabalho e, acima de tudo, nos custos.
Este cenário torna-se particularmente crítico em conjunto com eventos de alta relevância mediática, durante os quais o tráfego "humano" já atinge níveis elevados.
Bots fora de controle: ignoram as regras, evitam os bloqueios
Outra dimensão alarmante do fenómeno é representada pelo comportamento que é cada vez mais sofisticado e, por vezes, incorreto dos crawlers. Muitos destes bots, de facto, ignoram as convenções estabelecidas, evitam sistemas de bloqueio automáticos e disfarçam-se para parecerem utilizadores legítimos.
Este tipo de conduta não apenas viola as normas de bom uso da rede, mas força as equipas técnicas da Wikimedia a um monitoramento contínuo e a um uso constante de recursos para proteger a infraestrutura.
Recursos que poderiam ser alocados para melhorar a plataforma ou enriquecer o seu conteúdo.
Em resposta a esta situação, a Wikimedia Foundation está a tentar não se limitar a uma reação técnica ou defensiva. A solução proposta vai além de meramente conter o problema e visa uma gestão colaborativa e sustentável do conhecimento livre.
Assim, nasce o WE5, uma nova iniciativa estratégica destinada a promover abordagens mais equitativas e responsáveis na aquisição e utilização de dados hospedados pela plataforma.
O projeto é apresentado como um convite para empresas de tecnologia e desenvolvedores de inteligência artificial.
Especificamente, um convite a respeitar as regras, contribuir para os custos de gestão da rede e garantir a sobrevivência da infraestrutura sobre a qual uma das principais fontes de informação gratuita no mundo se baseia.
Todo o assunto levanta uma questão crucial para o futuro do acesso livre ao conhecimento: numa era em que os dados se tornaram o sangue vital da inteligência artificial, quem paga pela preservação e distribuição desses dados?
Wikimedia, sempre guiado pelo princípio da gratuitidade e do compartilhamento, agora se encontra na encruzilhada entre a abertura e a sustentabilidade.
Sem uma mudança de direção por parte das grandes empresas de tecnologia e dos atores que utilizam massivamente o conteúdo da fundação, o projeto pode ser forçado a reduzir a acessibilidade ou a introduzir limites mais rigorosos para proteger a sua infraestrutura.
Um apelo ao respeito pelo bem público digital
A mensagem que a Wikimedia envia ao mundo é clara. Ou seja, o conhecimento livre é um bem comum e, como tal, deve ser tratado com respeito e responsabilidade.
A utilização para fins comerciais dos enormes ativos informacionais disponibilizados pela fundação deve ocorrer de forma transparente, de acordo com as regras e. Além disso, se necessário, acompanhada por formas de contribuição justa.
Num panorama cada vez mais digital dominado por algoritmos e automação, é essencial garantir que o acesso ao conhecimento não seja comprometido pelos interesses económicos de alguns.
Somente através de um diálogo aberto entre comunidades, instituições e empresas será possível manter vivo o sonho de uma enciclopédia global livre, acessível e sustentável.
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Wikimedia sob pressão: aumento de tráfego de 50% devido a bots de IA
No coração do universo digital do conhecimento livre, a Wikimedia enfrenta hoje um dos desafios mais complexos da sua história recente: a crescente onda de bull de bots de IA que plundera sistematicamente os seus conteúdos.
Em particular, nos últimos meses houve um aumento de 50% no tráfego gerado pela chamada IA de rastreamento, que está a colocar pressão tanto na capacidade técnica como na sustentabilidade económica da plataforma.
O impacto da inteligência artificial (AI) na infraestrutura digital está a crescer: o caso Wikimedia
A partir de janeiro de 2024, houve um crescimento vertiginoso no volume de dados descarregados de plataformas como a Wikipedia e outros projetos da Wikimedia.
Este aumento não se deve a uma maior participação de utilizadores humanos, mas sim a um uso sistemático e muitas vezes mal regulamentado de bots automáticos empregados por empresas que desenvolvem modelos de inteligência artificial.
Estas ferramentas, concebidas para coletar e analisar grandes quantidades de texto, imagens e outros conteúdos, utilizam a Wikimedia como fonte de dados primária para o treinamento dos seus algoritmos.
Uma operação que, por um lado, demonstra a centralidade da plataforma no ecossistema do conhecimento digital, por outro lado, exerce uma pressão insustentável sobre as suas infraestruturas de TI.
O problema não reside apenas na quantidade de dados transferidos. A verdadeira questão crítica é representada pela forma como esses bots acedem aos conteúdos.
Na maioria dos casos, na verdade, os pedidos são direcionados a páginas raras ou pouco visitadas, ou seja, aquelas que não fazem parte dos sistemas de cache. Em outras palavras, mecanismos que permitem armazenar temporariamente cópias das páginas mais consultadas para acelerar o seu carregamento.
Quando isso acontece, os pedidos devem ser tratados diretamente pelos servidores centrais, resultando em um aumento significativo na carga de trabalho e, acima de tudo, nos custos.
Este cenário torna-se particularmente crítico em conjunto com eventos de alta relevância mediática, durante os quais o tráfego "humano" já atinge níveis elevados.
Bots fora de controle: ignoram as regras, evitam os bloqueios
Outra dimensão alarmante do fenómeno é representada pelo comportamento que é cada vez mais sofisticado e, por vezes, incorreto dos crawlers. Muitos destes bots, de facto, ignoram as convenções estabelecidas, evitam sistemas de bloqueio automáticos e disfarçam-se para parecerem utilizadores legítimos.
Este tipo de conduta não apenas viola as normas de bom uso da rede, mas força as equipas técnicas da Wikimedia a um monitoramento contínuo e a um uso constante de recursos para proteger a infraestrutura.
Recursos que poderiam ser alocados para melhorar a plataforma ou enriquecer o seu conteúdo.
Em resposta a esta situação, a Wikimedia Foundation está a tentar não se limitar a uma reação técnica ou defensiva. A solução proposta vai além de meramente conter o problema e visa uma gestão colaborativa e sustentável do conhecimento livre.
Assim, nasce o WE5, uma nova iniciativa estratégica destinada a promover abordagens mais equitativas e responsáveis na aquisição e utilização de dados hospedados pela plataforma.
O projeto é apresentado como um convite para empresas de tecnologia e desenvolvedores de inteligência artificial.
Especificamente, um convite a respeitar as regras, contribuir para os custos de gestão da rede e garantir a sobrevivência da infraestrutura sobre a qual uma das principais fontes de informação gratuita no mundo se baseia.
Todo o assunto levanta uma questão crucial para o futuro do acesso livre ao conhecimento: numa era em que os dados se tornaram o sangue vital da inteligência artificial, quem paga pela preservação e distribuição desses dados?
Wikimedia, sempre guiado pelo princípio da gratuitidade e do compartilhamento, agora se encontra na encruzilhada entre a abertura e a sustentabilidade.
Sem uma mudança de direção por parte das grandes empresas de tecnologia e dos atores que utilizam massivamente o conteúdo da fundação, o projeto pode ser forçado a reduzir a acessibilidade ou a introduzir limites mais rigorosos para proteger a sua infraestrutura.
Um apelo ao respeito pelo bem público digital
A mensagem que a Wikimedia envia ao mundo é clara. Ou seja, o conhecimento livre é um bem comum e, como tal, deve ser tratado com respeito e responsabilidade.
A utilização para fins comerciais dos enormes ativos informacionais disponibilizados pela fundação deve ocorrer de forma transparente, de acordo com as regras e. Além disso, se necessário, acompanhada por formas de contribuição justa.
Num panorama cada vez mais digital dominado por algoritmos e automação, é essencial garantir que o acesso ao conhecimento não seja comprometido pelos interesses económicos de alguns.
Somente através de um diálogo aberto entre comunidades, instituições e empresas será possível manter vivo o sonho de uma enciclopédia global livre, acessível e sustentável.