· Хабр

Оптимизация выбора инструментов для локальных языковых моделей в ИИ-оркестраторе

Разработчик исследовал механизмы работы с инструментами для локальной модели Qwen 27B на видеокарте RTX 3090 в системе с более чем 90 функциями. Вместо передачи полного каталога инструментов был реализован предварительный роутер, сокращающий их выборку примерно до двадцати в зависимости от контекста запроса. Решение направлено на качественное и быстрое выполнение корпоративных задач на локальном оборудовании в закрытом контуре.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Железо · Модели

Анатомия AI-инфраструктуры и ограничения производительности GPU-кластеров

В материале разбирается устройство современной AI-инфраструктуры и причины замедления работы моделей уровня 70B под нагрузкой. На примере памяти, интерконнектов и методов параллелизма объясняется, где на практике возникают узкие места GPU-кластеров.

· Google AI · Продукты

Google опубликовала обзор новостей искусственного интеллекта за сентябрь

Компания Google выпустила видеоролик с демонстрацией последних анонсов и обновлений в сфере ИИ за сентябрь. В материале представлены ключевые изменения и разработки за прошедший месяц.

· Хабр · Исследования

Жозе Валим предложил адаптировать языки программирования под ИИ-агентов

Создатель Elixir Жозе Валим заявил о необходимости адаптировать языки программирования и инструменты разработки под ИИ-агентов, а не человека. По его мнению, цифровую среду можно быстро изменить и создать для моделей принципиально новые условия взаимодействия вместо привычного синтаксического сахара.