AI является одной из самых обсуждаемых ниш в криптоиндустрии, и распределенная AI вычислительная сеть Gensyn, в которую инвестировала a16z с общим объемом финансирования в 50 миллионов долларов, безусловно, является конкурентоспособным проектом. На днях Gensyn официально запустила Тестовая сеть, хотя это произошло более чем на год позже запланированного времени, но с выходом на тестовую сеть проект наконец-то вступает в новую фазу.
В качестве настраиваемого Ethereum Rollup, специально разработанного для машинного обучения, тестовая сеть Gensyn интегрирует оффлайн выполнение, валидацию и коммуникационную инфраструктуру, направленную на обеспечение децентрализованных AI систем такими ключевыми функциями, как постоянная идентификация, отслеживание участия, поддержка прав собственности, платежи, координация удаленного выполнения, децентрализованная валидация, запись процесса обучения и краудфандинг масштабных задач обучения.
Первый этап Тестовой сети сосредоточен на отслеживании участия в RL Swarm. RL Swarm — это приложение для совместного обучения с подкреплением после тренировки, узлы которого могут быть связаны с идентификацией на блокчейне, что обеспечивает точную регистрацию вклада каждого участвующего узла.
RL Swarm: основные функции и совместное обучение
В тестовой сети Gensyn RL Swarm, как основное приложение, представляет собой модельную систему совместного обучения, построенную на децентрализованной сети. В отличие от традиционного независимого обучения с одной моделью, RL Swarm позволяет нескольким моделям взаимодействовать, критиковать и улучшать друг друга в сети для повышения общей производительности. Его основная концепция заключается в «массовом интеллекте», то есть за счет сотрудничества и обратной связи между моделями узлов для достижения более эффективных результатов обучения.
Можно просто понять, что модели, такие как DeepSeek-R1, при обучении на выводах могут итеративно улучшать свои результаты через самокритику, в то время как RL Swarm расширяет этот механизм на группу моделей, достигая эффекта "много рук - много сил".
На основе системы RL Swarm модель не только полагается на собственную обратную связь, но и наблюдает за и оценивает производительность других моделей, чтобы выявить свои недостатки и оптимизироваться. Каждая модель, присоединившаяся к Swarm, участвует в трехступенчатом процессе: сначала она самостоятельно решает задачу и выдает идеи и ответы, затем смотрит на ответы других узлов и предоставляет обратную связь, в конечном итоге модели голосуют за оптимальное решение и на основе этого корректируют свои выводы. Этот кооперативный механизм не только улучшает производительность каждой модели, но и способствует эволюции всей группы моделей. Модели, присоединившиеся к Swarm, могут сохранить улучшенные локальные веса после выхода и получать реальные выгоды.
Кроме того, Gensyn открыла исходный код RL Swarm, и любой желающий может запустить узел, начать или присоединиться к существующему Swarm без разрешения. Основная связь Swarm использует протокол обмена сообщениями gossip от Hivemind, поддерживая децентрализованную передачу сообщений и обмен сигналами обучения между моделями. Независимо от того, является ли это домашним ноутбуком или облачным GPU, можно участвовать в совместном обучении, присоединившись к узлу RL Swarm.
Инфраструктура три основных столпа: исполнение, связь и верификация
RL Swarm по-прежнему является экспериментальной демонстрацией, демонстрирующей крупномасштабный, масштабируемый подход к машинному обучению, а не конечную форму продукта. В течение последних четырех лет основная работа Gensyn фактически заключалась в создании базовой инфраструктуры, которая находилась в фазе v0.1 после выпуска тестовой сети и готова к производству. Согласно официальному введению, общая архитектура Gensyn разделена на три части: выполнение, коммуникация и проверка.
Исполнение (Execution): согласованность и распределенные вычисления
Gensyn считает, что будущее машинного обучения больше не будет ограничено традиционными монолитными моделями, а будет состоять из фрагментированных параметров, распределенных по устройствам по всему миру. Для достижения этой цели команда Gensyn разработала базовую архитектуру выполнения, которая обеспечивает согласованность между устройствами. Ключевые технологии включают в себя:
Распределенное хранение и обучение параметров: благодаря разделению крупномасштабной модели на несколько блоков параметров и их распределению на различных устройствах, Gensyn реализовал фрагментацию модели, что снизило требования к памяти для одного узла.
Обучение с подкреплением после тренировки (RL Post-Training): Исследования показывают, что когда модель обучается совместно в группе, общаясь и критикуя ответы друг друга, общая эффективность обучения существенно повышается. Gensyn продемонстрировала эту концепцию с помощью RL Swarm, позволяя моделям быстро развиваться в ходе коллективного обсуждения, что еще раз подтверждает эффективность распределенного выполнения.
Воспроизводимые операторы (RepOps): Для того, чтобы гарантировать, что различное оборудование (например, Nvidia A100 и H100) может выдавать одни и те же результаты вычислений, Gensyn разработал библиотеку RepOps для достижения кроссплатформенного побитового воспроизведения путем исправления порядка выполнения арифметики с плавающей запятой.
Связь (Communication): эффективный обмен информацией
В сценариях крупномасштабного распределенного обучения эффективная связь между узлами имеет решающее значение. Традиционные методы параллельной обработки данных, хотя и могут в определенной степени снизить затраты на связь, ограничены памятью, поскольку требуют, чтобы каждый узел хранил полную модель. В связи с этим Gensyn предложил совершенно новое решение:
SkipPipe – Динамическая скакающая труба параллельно: Технология SkipPipe динамически выбирает вычислительные слои, через которые проходят микропакеты (microbatch), пропуская некоторые этапы традиционной конвейерной обработки, что позволяет уменьшить ненужное время ожидания. Ее инновационный алгоритм планирования может в реальном времени оценивать доступность различных путей, что снижает время простоя узлов и значительно сокращает общее время обучения. Согласно данным тестов, в условиях децентрализации SkipPipe может сократить время обучения примерно на 55%, при этом при сбоях некоторых узлов производительность модели уменьшается всего на 7%.
Стандарты связи и сотрудничество между узлами Gensyn разработал протокол связи, аналогичный TCP/IP, позволяющий участникам со всего мира независимо от используемого оборудования эффективно и бесшовно передавать данные и обмениваться информацией. Этот открытый стандарт обеспечивает прочную сетевую основу для распределенного совместного обучения.
Проверка (Verification): обеспечить доверие и безопасность
В децентрализованной сети без доверия подтверждение поданных участниками вычислительных результатов как истинных и действительных является большой проблемой. Gensyn для этого вводит специальный протокол верификации, который направлен на обеспечение всех поставщиков вычислительных мощностей правильными рабочими результатами с помощью недорогого и эффективного механизма:
Протокол верификации Verde: Verde — это первая система верификации, специально разработанная для современных машинных методов обучения. Ее суть заключается в использовании легковесного механизма разрешения споров, который быстро определяет шаг, на котором возникает расхождение между моделью и верификатором в процессе обучения. В отличие от традиционного метода верификации, который требует повторного выполнения всей задачи, Verde требует только пересчета спорной операции, что значительно снижает затраты на верификацию.
реферируемая делегация (裁决式委托): после применения этого метода, если у какого-либо поставщика возникает проблема с выводом, валидатор может убедить нейтрального арбитра с помощью эффективной игры по разрешению споров, чтобы гарантировать, что при наличии хотя бы одной честной узла правильность всего вычисленного результата обеспечивается.
Хранение и хеширование промежуточного состояния: чтобы поддержать вышеупомянутый процесс верификации, участникам необходимо хранить и хешировать только часть промежуточных контрольных точек обучения, а не все данные, что снижает потребление ресурсов и повышает масштабируемость и оперативность системы.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Gensyn Тестовая сеть онлайн, как сделать обучение ИИ более эффективным и более децентрализованным?
Автор: Zen, PANews
AI является одной из самых обсуждаемых ниш в криптоиндустрии, и распределенная AI вычислительная сеть Gensyn, в которую инвестировала a16z с общим объемом финансирования в 50 миллионов долларов, безусловно, является конкурентоспособным проектом. На днях Gensyn официально запустила Тестовая сеть, хотя это произошло более чем на год позже запланированного времени, но с выходом на тестовую сеть проект наконец-то вступает в новую фазу.
В качестве настраиваемого Ethereum Rollup, специально разработанного для машинного обучения, тестовая сеть Gensyn интегрирует оффлайн выполнение, валидацию и коммуникационную инфраструктуру, направленную на обеспечение децентрализованных AI систем такими ключевыми функциями, как постоянная идентификация, отслеживание участия, поддержка прав собственности, платежи, координация удаленного выполнения, децентрализованная валидация, запись процесса обучения и краудфандинг масштабных задач обучения.
Первый этап Тестовой сети сосредоточен на отслеживании участия в RL Swarm. RL Swarm — это приложение для совместного обучения с подкреплением после тренировки, узлы которого могут быть связаны с идентификацией на блокчейне, что обеспечивает точную регистрацию вклада каждого участвующего узла.
RL Swarm: основные функции и совместное обучение
В тестовой сети Gensyn RL Swarm, как основное приложение, представляет собой модельную систему совместного обучения, построенную на децентрализованной сети. В отличие от традиционного независимого обучения с одной моделью, RL Swarm позволяет нескольким моделям взаимодействовать, критиковать и улучшать друг друга в сети для повышения общей производительности. Его основная концепция заключается в «массовом интеллекте», то есть за счет сотрудничества и обратной связи между моделями узлов для достижения более эффективных результатов обучения.
Можно просто понять, что модели, такие как DeepSeek-R1, при обучении на выводах могут итеративно улучшать свои результаты через самокритику, в то время как RL Swarm расширяет этот механизм на группу моделей, достигая эффекта "много рук - много сил".
На основе системы RL Swarm модель не только полагается на собственную обратную связь, но и наблюдает за и оценивает производительность других моделей, чтобы выявить свои недостатки и оптимизироваться. Каждая модель, присоединившаяся к Swarm, участвует в трехступенчатом процессе: сначала она самостоятельно решает задачу и выдает идеи и ответы, затем смотрит на ответы других узлов и предоставляет обратную связь, в конечном итоге модели голосуют за оптимальное решение и на основе этого корректируют свои выводы. Этот кооперативный механизм не только улучшает производительность каждой модели, но и способствует эволюции всей группы моделей. Модели, присоединившиеся к Swarm, могут сохранить улучшенные локальные веса после выхода и получать реальные выгоды.
Кроме того, Gensyn открыла исходный код RL Swarm, и любой желающий может запустить узел, начать или присоединиться к существующему Swarm без разрешения. Основная связь Swarm использует протокол обмена сообщениями gossip от Hivemind, поддерживая децентрализованную передачу сообщений и обмен сигналами обучения между моделями. Независимо от того, является ли это домашним ноутбуком или облачным GPU, можно участвовать в совместном обучении, присоединившись к узлу RL Swarm.
Инфраструктура три основных столпа: исполнение, связь и верификация
RL Swarm по-прежнему является экспериментальной демонстрацией, демонстрирующей крупномасштабный, масштабируемый подход к машинному обучению, а не конечную форму продукта. В течение последних четырех лет основная работа Gensyn фактически заключалась в создании базовой инфраструктуры, которая находилась в фазе v0.1 после выпуска тестовой сети и готова к производству. Согласно официальному введению, общая архитектура Gensyn разделена на три части: выполнение, коммуникация и проверка.
Исполнение (Execution): согласованность и распределенные вычисления
Gensyn считает, что будущее машинного обучения больше не будет ограничено традиционными монолитными моделями, а будет состоять из фрагментированных параметров, распределенных по устройствам по всему миру. Для достижения этой цели команда Gensyn разработала базовую архитектуру выполнения, которая обеспечивает согласованность между устройствами. Ключевые технологии включают в себя:
Связь (Communication): эффективный обмен информацией
В сценариях крупномасштабного распределенного обучения эффективная связь между узлами имеет решающее значение. Традиционные методы параллельной обработки данных, хотя и могут в определенной степени снизить затраты на связь, ограничены памятью, поскольку требуют, чтобы каждый узел хранил полную модель. В связи с этим Gensyn предложил совершенно новое решение:
Проверка (Verification): обеспечить доверие и безопасность
В децентрализованной сети без доверия подтверждение поданных участниками вычислительных результатов как истинных и действительных является большой проблемой. Gensyn для этого вводит специальный протокол верификации, который направлен на обеспечение всех поставщиков вычислительных мощностей правильными рабочими результатами с помощью недорогого и эффективного механизма: