Recentemente, um grupo de figurões, incluindo LeCun, começaram a disparar contra LLM novamente. O mais recente avanço é que LLM não tem capacidade de raciocínio em tudo!
Na opinião de LeCun, as deficiências da capacidade de raciocínio são quase o "buraco morto" do LLM, não importa quão poderoso poder de computação e quão vastos e de alta qualidade conjuntos de dados sejam usados para treinar LLM no futuro, ele não será capaz de resolver esse problema.
As opiniões lançadas por LeCun levaram muitos internautas e figurões da IA a discutir essa questão, incluindo Christian Szegedy, um dos cofundadores da xAI.
O cientista de IA Christian Szegedy respondeu a LeCun:
redes convolucionais têm capacidades de inferência mais limitadas, mas isso não afeta as capacidades do AlphaZero.
A partir da discussão adicional entre os dois grandes, podemos até ter um vislumbre da futura direção técnica do xAI - como usar a capacidade de modelos grandes para romper o limite superior da capacidade de raciocínio da IA.
Sob este problema, os internautas são tolerantes com a capacidade de raciocínio LLM, e também mostram outro pensamento sobre a relação entre IA e inteligência humana:
Nem todos os seres humanos são bons em raciocinar, então é porque algumas pessoas não são boas em raciocinar, elas têm que negar a objetividade da inteligência humana?
Talvez os humanos, como LLM, sejam apenas uma forma diferente de "papagaio aleatório"!
Diálogo Big guy revela a direção técnica do xAI
Depois que o artigo foi publicado no arXiv, foi especialmente encaminhado por LeCun, o que causou ampla discussão entre internautas e estudiosos.
O cientista de IA Christian Szegedy, cofundador da xAI, liderada por Boss Ma, respondeu:
redes convolucionais têm capacidades de inferência mais limitadas, mas isso não afeta as capacidades do AlphaZero.
A chave está no processo de raciocínio e no ciclo de feedback estabelecido (RL). Ele acredita que a habilidade do modelo pode realizar um raciocínio extremamente profundo. (por exemplo, realização de investigação matemática)
LeCun também respondeu diretamente:
AlphaZero "faz" o planejamento de execução. Mas feito com MCTS, uma rede convolucional é usada para chegar a um bom comportamento, e outra rede convolucional é usada para avaliar a localização.
No entanto, o tempo gasto explorando a árvore pode ser ilimitado. Isso é raciocínio e planejamento. A aprendizagem por reforço é utilizada para treinar estas redes.
Christian Szegedy prosseguiu respondendo:
Concordo. Então eu acho que a abordagem é:
força o sistema a explorar muito do espaço de raciocínio que é relevante para nós.
Torne verificável a exploração.
Compreender o gosto humano por coisas interessantes.
Parece-me que tudo isto rapidamente se tornou viável.
E o ponto que saiu da boca de xAI Lianchuang, juntamente com a última frase: "Na minha opinião, tudo isso em breve se tornará viável", não pode deixar de fazer as pessoas pensarem.
Afinal, a razão mais direta para dizer "viável" com tanta certeza pode ser "já conseguimos".
Talvez num futuro próximo, possamos ver o xAI aproveitar o "ponto problemático" da fraca capacidade de raciocínio da LLM, persegui-la e criar um modelo grande com "raciocínio forte", compensando o maior defeito de produtos de grandes modelos no mercado, como o ChatGPT.
LeCun: Quantas vezes eu disse que LLM simplesmente não funciona! **
A recente refutação de LeCun da capacidade de raciocínio de LLM é baseada em artigos recentes do professor da Universidade ASU Subbarao Kambampati.
Introdução pessoal:
Em sua opinião, o LLM, que afirma alcançar e superar o nível humano em muitas capacidades, tem grandes deficiências na capacidade de raciocínio e planejamento.
Endereço em papel:
Endereço em papel:
Endereço em papel:
Diante de problemas de raciocínio de planejamento de especialistas humanos, o GPT-4 está apenas 12% correto.
Além disso, na tarefa de inferência, se for permitido ao LLM autocorrigir suas próprias respostas, a qualidade da saída não aumentará, mas diminuirá.
Ou seja, LLM simplesmente não tem a capacidade de raciocinar a resposta correta, tudo só pode ser adivinhado.
Após a publicação do artigo, o professor também enviou um longo tuíte para aprofundar suas opiniões sobre a discussão do artigo por internautas e estudiosos.
O professor considera os LLMs excelentes "geradores de ideias", mas tanto em linguagem quanto em código, mas eles não podem planejar ou raciocinar sozinhos.
O professor apontou que há muitos mal-entendidos sobre a capacidade de autocorreção do LLM.
Os autores de alguns artigos personificam excessivamente os LLMs, acreditando erroneamente que eles produzem erros e se corrigem como humanos.
Ele criticou o uso de conjuntos de dados de perguntas e respostas com curadoria aleatória para desenvolver e avaliar declarações de autoavaliação, argumentando que isso cria confusão na comunidade.
O professor também destacou a importância da validação externa e do envolvimento humano. Embora o GPT-4 não possa verificar as configurações de cores, ele pode ajudar a gerar código Python que precisa ser corrigido por humanos e pode ser usado como um validador externo.
Ao mesmo tempo, modelos que cooperam com humanos e raciocínios profissionais também ajudarão a melhorar a capacidade de raciocínio do modelo.
O professor listou artigos que mostram como extrair modelos de domínio de planejamento do LLM, otimizá-los com a ajuda de humanos e raciocínios especializados e usá-los em validadores de planos ou planejadores de domínio independentes.
Também é importante otimizar ainda mais as capacidades de validação do LLM. Melhore os recursos de validação do LLM com ajuste fino específico e, embora isso não faça com que o LLM tenha um desempenho melhor no raciocínio ou na verificação, ele permite uma pequena melhoria na capacidade de autocorreção.
** Digamos que LLM é um "papagaio aleatório", não é humano? **
Um internauta também apontou no Twitter de LeCun que, de fato, planejamento e raciocínio não são pontos fortes para muitos humanos, e a implicação é que o nível de inteligência do modelo de linguagem grande não deve ser negado.
Goutham Kurra, um empreendedor em série que fundou duas plataformas sociais de trabalho, Glint e Whip, também publicou recentemente um longo blog, "Somos todos papagaios aleatórios", argumentando que não há diferença essencial entre as capacidades e a inteligência humana por trás do LLM.
Links do artigo:
Se os humanos se sentam e meditam, eles não percebem como os mecanismos pelos quais geram ideias funcionam, e os humanos não têm controle consciente sobre a natureza de seus pensamentos.
Suponha que uma pessoa saia para passear em um dia quente e sua. Isto leva-o a pensar nas alterações climáticas, o que causará alguma confusão nos seus pensamentos.
Ele decide mudar seus pensamentos para um tópico mais agradável, um processo que parece controle consciente, mas sobre qual tópico escolher pensar?
Talvez o cérebro humano apresente algumas opções para ele considerar: talvez considere um jogo para jogar mais tarde à noite, ou um concerto para assistir neste fim de semana.
Mas de onde vêm essas novas opções? Como é que o seu cérebro decidiu estourar estes e nada mais? Os seres humanos estão conscientes de todas as opções possíveis para o processo de enumeração?
Enquanto continuava sua caminhada e pensava sobre essas coisas, ele notou um esquilo subindo pela árvore pelo canto do olho e foi surpreendido por sua cauda arbustiva.
Neste momento, o "pensamento inteligente" dos seres humanos desapareceu novamente e começou a pensar automaticamente como um papagaio aleatório?
Quando percebemos que sabemos muito pouco sobre como nossos pensamentos realmente se tornam, a questão é: quão aleatória é a origem inconsciente das ideias?
Não é também uma espécie de "papagaio aleatório"? Quão semelhante é o nosso mecanismo de geração narrativa ao LLM?
Veja-se o caso da escritora italiana Elena Ferrante, que, segundo a revista The Economist, é "provavelmente a melhor romancista contemporânea de que nunca ouviste falar".
Sua série My Genius Girlfriend vendeu mais de 11 milhões de cópias em 40 países, e os críticos disseram: "A amizade feminina nunca foi tão vividamente apresentada".
Seu livro de memórias, "In the Margins", descreve sua educação na Itália após a Segunda Guerra Mundial.
Como outras escritoras de seu tempo, ela nasceu na tradição literária masculina e leu principalmente as obras de escritores masculinos, então ela começou a imitar escritores masculinos para escrever.
Em sua autobiografia, ela escreveu:
Mesmo quando eu tinha cerca de treze anos... Sinto que meu nível de escrita não é ruim, e sempre sinto que uma voz masculina está me dizendo o que escrever e como escrevê-lo.
eu nem sabia se a voz tinha a minha idade ou se era mais velha do que eu, talvez já fosse um velho. ...... Imaginei-me homem, mas ainda mulher ao mesmo tempo.
Na sua autobiografia, uma grande escritora contemporânea da humanidade, na voz única e enérgica da literatura italiana moderna, descreve candidamente as suas lutas e lutas para escapar ao seu estado de "papagaio aleatório".
Porque a sua linguagem e ideias únicas são involuntariamente moldadas pelo cânone literário dominado pelos homens, formado ao longo de centenas de anos.
Se realmente olharmos para nós mesmos, a maioria dos pensamentos que vêm à nossa cabeça são vozes de outras pessoas: as vozes de nossos pais e professores.
Os livros que lemos, a TV que assistimos e nossas mentes são construídos sobre uma cultura muito profunda e pegajosa.
Nossa capacidade de falar, pensar e expressar é uma função do que lemos, e palavras do passado influenciam o futuro.
Vivemos essencialmente a mesma vida que os nossos antepassados, repetindo a maioria dos mesmos pensamentos de ontem, escrevendo as mesmas palavras que todos os outros, com muito pouca diferença.
Se você olhar para os filmes de Hollywood e ler alguns livros, verá que muitas histórias são quase as mesmas, mas o pano de fundo é diferente.
De vez em quando, os seres humanos parecem ser capazes de se livrar das algemas do papagaio, dizer uma pequena ideia original, pensar uma pequena ideia original.
Com este pouco de conteúdo original, a nossa cultura deu um grande salto.
Recursos:
_source=perfil&utm_medium=reader2
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
LeCun e xAI cocriação sufocam, GPT-4 grandes falhas de raciocínio não têm solução? Netizen: Humanos também são "papagaios aleatórios"
Fonte original: Shin Ji Yuan
Recentemente, um grupo de figurões, incluindo LeCun, começaram a disparar contra LLM novamente. O mais recente avanço é que LLM não tem capacidade de raciocínio em tudo!
A partir da discussão adicional entre os dois grandes, podemos até ter um vislumbre da futura direção técnica do xAI - como usar a capacidade de modelos grandes para romper o limite superior da capacidade de raciocínio da IA.
Sob este problema, os internautas são tolerantes com a capacidade de raciocínio LLM, e também mostram outro pensamento sobre a relação entre IA e inteligência humana:
Nem todos os seres humanos são bons em raciocinar, então é porque algumas pessoas não são boas em raciocinar, elas têm que negar a objetividade da inteligência humana?
Talvez os humanos, como LLM, sejam apenas uma forma diferente de "papagaio aleatório"!
Diálogo Big guy revela a direção técnica do xAI
Depois que o artigo foi publicado no arXiv, foi especialmente encaminhado por LeCun, o que causou ampla discussão entre internautas e estudiosos.
O cientista de IA Christian Szegedy, cofundador da xAI, liderada por Boss Ma, respondeu:
E o ponto que saiu da boca de xAI Lianchuang, juntamente com a última frase: "Na minha opinião, tudo isso em breve se tornará viável", não pode deixar de fazer as pessoas pensarem.
Afinal, a razão mais direta para dizer "viável" com tanta certeza pode ser "já conseguimos".
LeCun: Quantas vezes eu disse que LLM simplesmente não funciona! **
A recente refutação de LeCun da capacidade de raciocínio de LLM é baseada em artigos recentes do professor da Universidade ASU Subbarao Kambampati.
Em sua opinião, o LLM, que afirma alcançar e superar o nível humano em muitas capacidades, tem grandes deficiências na capacidade de raciocínio e planejamento.
Diante de problemas de raciocínio de planejamento de especialistas humanos, o GPT-4 está apenas 12% correto.
Além disso, na tarefa de inferência, se for permitido ao LLM autocorrigir suas próprias respostas, a qualidade da saída não aumentará, mas diminuirá.
Ou seja, LLM simplesmente não tem a capacidade de raciocinar a resposta correta, tudo só pode ser adivinhado.
Após a publicação do artigo, o professor também enviou um longo tuíte para aprofundar suas opiniões sobre a discussão do artigo por internautas e estudiosos.
O professor apontou que há muitos mal-entendidos sobre a capacidade de autocorreção do LLM.
Os autores de alguns artigos personificam excessivamente os LLMs, acreditando erroneamente que eles produzem erros e se corrigem como humanos.
Ele criticou o uso de conjuntos de dados de perguntas e respostas com curadoria aleatória para desenvolver e avaliar declarações de autoavaliação, argumentando que isso cria confusão na comunidade.
O professor também destacou a importância da validação externa e do envolvimento humano. Embora o GPT-4 não possa verificar as configurações de cores, ele pode ajudar a gerar código Python que precisa ser corrigido por humanos e pode ser usado como um validador externo.
Ao mesmo tempo, modelos que cooperam com humanos e raciocínios profissionais também ajudarão a melhorar a capacidade de raciocínio do modelo.
O professor listou artigos que mostram como extrair modelos de domínio de planejamento do LLM, otimizá-los com a ajuda de humanos e raciocínios especializados e usá-los em validadores de planos ou planejadores de domínio independentes.
Também é importante otimizar ainda mais as capacidades de validação do LLM. Melhore os recursos de validação do LLM com ajuste fino específico e, embora isso não faça com que o LLM tenha um desempenho melhor no raciocínio ou na verificação, ele permite uma pequena melhoria na capacidade de autocorreção.
** Digamos que LLM é um "papagaio aleatório", não é humano? **
Um internauta também apontou no Twitter de LeCun que, de fato, planejamento e raciocínio não são pontos fortes para muitos humanos, e a implicação é que o nível de inteligência do modelo de linguagem grande não deve ser negado.
Se os humanos se sentam e meditam, eles não percebem como os mecanismos pelos quais geram ideias funcionam, e os humanos não têm controle consciente sobre a natureza de seus pensamentos.
Suponha que uma pessoa saia para passear em um dia quente e sua. Isto leva-o a pensar nas alterações climáticas, o que causará alguma confusão nos seus pensamentos.
Ele decide mudar seus pensamentos para um tópico mais agradável, um processo que parece controle consciente, mas sobre qual tópico escolher pensar?
Talvez o cérebro humano apresente algumas opções para ele considerar: talvez considere um jogo para jogar mais tarde à noite, ou um concerto para assistir neste fim de semana.
Enquanto continuava sua caminhada e pensava sobre essas coisas, ele notou um esquilo subindo pela árvore pelo canto do olho e foi surpreendido por sua cauda arbustiva.
Neste momento, o "pensamento inteligente" dos seres humanos desapareceu novamente e começou a pensar automaticamente como um papagaio aleatório?
Quando percebemos que sabemos muito pouco sobre como nossos pensamentos realmente se tornam, a questão é: quão aleatória é a origem inconsciente das ideias?
Não é também uma espécie de "papagaio aleatório"? Quão semelhante é o nosso mecanismo de geração narrativa ao LLM?
Veja-se o caso da escritora italiana Elena Ferrante, que, segundo a revista The Economist, é "provavelmente a melhor romancista contemporânea de que nunca ouviste falar".
Seu livro de memórias, "In the Margins", descreve sua educação na Itália após a Segunda Guerra Mundial.
Como outras escritoras de seu tempo, ela nasceu na tradição literária masculina e leu principalmente as obras de escritores masculinos, então ela começou a imitar escritores masculinos para escrever.
Em sua autobiografia, ela escreveu:
Na sua autobiografia, uma grande escritora contemporânea da humanidade, na voz única e enérgica da literatura italiana moderna, descreve candidamente as suas lutas e lutas para escapar ao seu estado de "papagaio aleatório".
Porque a sua linguagem e ideias únicas são involuntariamente moldadas pelo cânone literário dominado pelos homens, formado ao longo de centenas de anos.
Se realmente olharmos para nós mesmos, a maioria dos pensamentos que vêm à nossa cabeça são vozes de outras pessoas: as vozes de nossos pais e professores.
Os livros que lemos, a TV que assistimos e nossas mentes são construídos sobre uma cultura muito profunda e pegajosa.
Nossa capacidade de falar, pensar e expressar é uma função do que lemos, e palavras do passado influenciam o futuro.
Vivemos essencialmente a mesma vida que os nossos antepassados, repetindo a maioria dos mesmos pensamentos de ontem, escrevendo as mesmas palavras que todos os outros, com muito pouca diferença.
Se você olhar para os filmes de Hollywood e ler alguns livros, verá que muitas histórias são quase as mesmas, mas o pano de fundo é diferente.
De vez em quando, os seres humanos parecem ser capazes de se livrar das algemas do papagaio, dizer uma pequena ideia original, pensar uma pequena ideia original.
Com este pouco de conteúdo original, a nossa cultura deu um grande salto.
Recursos:
_source=perfil&utm_medium=reader2