QuasarSN24 Курс

Quasar - это семейство фундаментальных моделей, предназначенных для обработки расширенного контекста. Модели обрабатывают миллионы токенов за один проход с заявленной точностью извлечения информации 99,9% на всем протяжении контекстного окна. В отличие от традиционных архитектур трансформеров, где вычислительная сложность растет квадратично с увеличением контекста (удвоение контекста увеличивает затраты в четыре раза), Quasar использует механизм непрерывного внимания (continuous-time attention) с линейным масштабированием. Это снижает затраты как на обучение, так и на инференс — по данным проекта, вычислительные расходы на инференс составляют одну десятую от затрат обычных моделей.

Модель была обучена на 2 триллионах токенов с использованием децентрализованной вычислительной инфраструктуры через подсеть 24 Bittensor, где майнеры предоставляют вычислительные ресурсы и соревнуются в создании высокопроизводительных вариаций моделей. Валидаторы оценивают модели на последовательностях длиной от 8 000 до 2 миллионов токенов, анализируя точность извлечения информации и скорость инференса. Quasar доступна в виде открытых весов, что позволяет разработчикам развертывать ее для таких задач, как анализ полной кодовой базы, понимание нарратива на уровне целых книжных серий или проверка юридических документов, где требуется удержание контекста на сотнях страниц. Архитектура оптимизирована для работы на потребительском оборудовании, несмотря на возможности работы с расширенным контекстом.