Авито рассказал о создании платформы инференса для ML- и LLM-сервисов
Инженер Авито описал причины, по которым существующий PaaS для веб-сервисов оказался неподходящим для задач инференса ML и LLM. Вместо доработки имеющейся инфраструктуры компания решила создать отдельную платформу на базе готового open-source ядра.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Дайджест ИИ за сентябрь: релизы новых моделей и главные события индустрии
В сентябре OpenAI, Anthropic и Google представили новые версии моделей, включая GPT-6 Astra и семейство Claude 5.5. Кроме того, заявление OpenAI о решении задачи Навье-Стокса вызвало споры в научном сообществе, а глава NVIDIA оформил сделку по покупке Hugging Face.
MIT опубликовал доклад о практическом опыте внедрения ИИ
Массачусетский технологический институт (MIT) выпустил доклад о текущем состоянии и планах использования ИИ в своей практике. Документ содержит взвешенный подход к интеграции технологий без чрезмерного оптимизма и фатализма. Опыт организации со штатом около 13 000 человек может быть применим в других технологических компаниях схожего масштаба.
Представлена open source библиотека FAIRouter для выбора оптимальной LLM под задачу
Разработчики выложили в открытый доступ библиотеку FAIRouter для автоматической маршрутизации запросов к большим языковым моделям. Система подбирает наиболее подходящего LLM-исполнителя под конкретную задачу с учетом качества и стоимости, а также оценивает и принимает результат работы.
Создание AI-ревьюера для GitLab с проверкой задач во всех сервисах
Разработан AI-ревьюер для GitLab, который анализирует всю задачу целиком во всех затронутых сервисах, а не только отдельный merge request. Для реализации такой комплексной проверки потребовалось применить агента вместо стандартного анализа diff через API.