Cortiq Mobile: запуск локальных нейросетей на смартфонах в формате CMF
Представлен обзор открытого приложения Cortiq Mobile для Android и iOS, позволяющего запускать нейросети локально без подключения к интернету и платных подписок. Решение использует формат CMF и предназначено для общения в чате, перевода текста и работы со скриптами. В статье приведены замеры производительности и руководство по быстрому запуску.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Жозе Валим предложил адаптировать языки программирования под ИИ-агентов
Создатель Elixir Жозе Валим заявил о необходимости адаптировать языки программирования и инструменты разработки под ИИ-агентов, а не человека. По его мнению, цифровую среду можно быстро изменить и создать для моделей принципиально новые условия взаимодействия вместо привычного синтаксического сахара.
Роль KV-кэша в оптимизации инференса авторегрессионных трансформеров
Использование KV-кэша делает современные авторегрессионные трансформеры применимыми на практике, избавляя от повторного вычисления попарных произведений ключей и запросов для каждого токена. Механизм позволяет разменивать память на скорость и рассчитывать токен за линейное время. При этом ключевым лимитирующим фактором работы модели становится пропускная способность памяти.
Локальный запуск API для классификации запросов на смартфоне
Представлен быстрый аналог Jev API для классификации запросов, который работает локально на телефоне без облачных сервисов и платных подписок. Автор описал используемую модель и способ развертывания сервера для интеграции в ботов и сценарии автоматизации на Python.
Опубликован бесплатный курс по созданию локальных RAG-приложений на Python
Разработчик представил бесплатный курс local-docs-ai по созданию локальных RAG-систем на Python за семь занятий. Программа разбирает процесс построения поиска по документам Markdown и TXT с помощью локальных embedding-моделей и генерации ответов с указанием первоисточников. Код проекта доступен в открытом репозитории с интерфейсом для терминала и браузера.