****

Цитата: Телеграм-канал ТЕХНО: Яндекс про технологии ✔💻🤖 Работа больших языковых моделей (LLM) требует больших вычислительных мощностей, поэтому большинство чат-ботов работают в облаке: запросы пользователя отправляются на серверы и обрабатываются там.

Исследователь Yandex Research Владимир Малиновский сделал локального чат-бота, которого даже не нужно устанавливать — достаточно открыть страницу в браузере и ввести свой запрос. Объясняем, как им пользоваться и как это работает.

Как попробовать
Просто откройте эту ссылку в браузере, напишите что-нибудь в строке ввода и нажмите на стрелочку. После этого начнётся процесс загрузки модели, который может занять несколько минут. Когда загрузка завершится, нейросеть ответит на ваш запрос, и дальше с ней можно будет общаться уже без ожидания.
https://galqiwi.github.io/aqlm-rs/

Поскольку нейросеть работает локально на вашем устройстве, скорость работы зависит от его мощности. Например, на MacBook Pro M1 это примерно полтора токена в секунду.

Как это работает
Проект основан на нескольких технологиях, в том числе методах сжатия нейросетей AQLM и PV-tuning, которые разработали учёные из Yandex Research и других организаций.

В чат-боте используется языковая модель Llama-3.1-8B, сжатая с помощью комбинации двух методов: AQLM уменьшает и ускоряет модель, а PV-tuning исправляет ошибки, которые возникают при сжатии. В результате исходную модель весом 16 Гб удалось сжать до 2,5 Гб, сохранив при этом около 80% от первоначального качества её ответов. В таком виде её можно запустить на обычном компьютере или смартфоне.

Также в проекте используется WebAssembly — формат для исполнения кода прямо в браузере. Именно благодаря ему чат-бот работает без установки, как обычный веб-сервис, хотя все вычисления происходят на устройстве, а не в облаке.

Подробнее о том, как проект устроен «под капотом», можно прочитать в статье на Хабре.
https://habr.com/ru/…es/864296/

Подписывайтесь 👉 @techno_yandex

https://t.me/techno_yandex/3260