Исследователи из Pluralis Research представили Agora — систему, которая позволяет обучать большие языковые модели на разрозненных видеокартах, подключённых через обычный интернет.

За 40 дней сеть из 330 узлов обработала 500 млрд токенов и обучила модель Pluralis-8B с 8,6 млрд параметров. Большую часть вычислений выполняли потребительские GPU, принадлежавшие независимым участникам.

Дата-центр собрали из чужих компьютеров

Обычный кластер для обучения LLM состоит из тысяч одинаковых ускорителей, установленных рядом и соединённых высокоскоростной сетью. В Agora оборудование могло находиться в разных городах, отличаться по мощности и выходить из сети в любой момент.

За время эксперимента система зафиксировала 669 подключений и 607 отключений. Обучение при этом продолжалось, а средняя производительность держалась около 170 тыс. токенов в секунду.

Быстрые компьютеры получали больше микропакетов, слабые — меньше. Если один из узлов переставал отвечать, задания автоматически перенаправлялись на другие машины.

Модель разрезали на семь частей

Pluralis-8B разделили на семь последовательных этапов. Каждый рабочий узел хранил лишь выделенный ему фрагмент весов и выполнял вычисления для нескольких слоёв трансформера.

Данные проходили через всю цепочку во время прямого прохода, а затем возвращались обратно при вычислении градиентов. Маршрутом управляли отдельные процессы без GPU, которые выбирали доступный компьютер на каждом этапе. Такая схема снижает требования к памяти одной видеокарты: ни одной машине не требуется одновременно размещать модель целиком.

Обмен данными сократили в сто раз

Домашнее интернет-соединение значительно медленнее сети внутри дата-центра. При стандартном распределённом обучении видеокарты большую часть времени ждали бы передачи активаций, градиентов и параметров.

Разработчики Agora сжимали данные между частями модели примерно в 100 раз. Полная синхронизация после каждого шага тоже была заменена фоновым обменом: раз в 20 шагов узлы усредняли 5% весов. Пока параметры передавались по сети, видеокарты продолжали вычисления. За 400 шагов система успевала последовательно синхронизировать все части модели.

63% от централизованного кластера

Agora использовала объединённые вычислительные ресурсы с эффективностью около 4,2 токена на терафлоп. Это соответствует 63% результата централизованного кластера на Nvidia H100, который исследователи использовали как контрольную конфигурацию.

Разница объясняется задержками интернета, неодинаковой скоростью оборудования, фоновым обменом весами и постоянной сменой состава сети. При этом кривая обучения Pluralis-8B оставалась близка к централизованному запуску.

Центр управления всё же сохранился

Эксперимент не был полностью автономной пиринговой сетью. Pluralis Research обслуживала начальную и конечную части модели, допускала новые машины, сохраняла контрольные точки и следила за состоянием обучения.

Стабильные узлы компании также участвовали в усреднении параметров и брали на себя наиболее чувствительные элементы конвейера. Agora демонстрирует распределённое обучение на чужом оборудовании, но часть инфраструктуры всё ещё зависит от организатора запуска.

Модель нельзя собрать с одного узла

Каждый компьютер видел только назначенный ему фрагмент параметров. Полные веса оставались распределены между несколькими этапами.

Разработчики называют такую архитектуру Protocol Learning. В дальнейшем она может использоваться для моделей, которыми коллективно владеют поставщики вычислительных ресурсов: ценность системы хранится внутри сети, а не в одном скачиваемом файле.

Текущий эксперимент не решает вопросы защиты весов и управления распределённой инфраструктурой, однако подтверждает работоспособность базовой схемы на модели с миллиардами параметров.

Домашние GPU приблизили к обучению крупных моделей

Доступ к большим вычислительным кластерам сосредоточен у нескольких технологических компаний и облачных операторов. Agora предлагает собирать сравнимый ресурс из видеокарт университетов, небольших лабораторий и частных владельцев.

Pluralis-8B уступает крупнейшим современным моделям по размеру, но эксперимент уже вышел за рамки небольшой лабораторной демонстрации: 330 узлов, 500 млрд токенов и 40 дней непрерывного обучения. Следующая проверка для Agora — запуск более крупной модели с меньшей зависимостью от инфраструктуры самой Pluralis Research.

Читайте также:

Взлом Suno раскрыл, откуда ИИ-генератор мог брать миллионы песен

Эффект Мпембы становится управляемым: физики нашли три новых способа его контроля

Тираннозавра рекса Гаса продали за рекордные $50,13 млн на аукционе Sotheby’s

ИИ начал повышать цены на ноутбуки, смартфоны и электричество

TSMC построит на Тайване ещё два завода для упаковки чипов ИИ

Как Чернобыль, 11 сентября и COVID-19 перекроили мировую науку

ИИ устроил Samsung денежный взрыв: прибыль может вырасти в 18 раз

Новая китайская ИИ GLM-5.2 догоняет OpenAI и Anthropic

«Фильм Вселенной»: Rubin начал 10-летнюю съёмку неба, которая изменит астрономию

Можно ли жениться на ИИ: юрист предупреждает о корпорации внутри брака

Биологические часы зависят не от одного сбитого дня, а от привычного режима

 Добавьте «Aramil.life» в свои источники Google ☑