PRO.06
Локальные AI-модели
РЕЗУЛЬТАТ УРОКА
Оценить, когда локальная модель оправдана.Главное за 30 секунд
Локальные модели могут помочь с контролем данных, задержкой и интеграцией, но требуют ресурсов, эксплуатации и честной оценки качества.
Разбираемся
Локальные модели — это языковые модели, которые запускаются на вашем оборудовании, а не на серверах провайдера. Данные не покидают вашу инфраструктуру, нет зависимости от внешнего API, нет поминутной оплаты за вызовы. Но это не бесплатно: нужно оборудование, поддержка, обновления, и качество большинства локальных моделей ниже топовых облачных.
Главное: решают четыре цифры: вызовов в месяц, класс данных, минимальный порог качества, кто дежурит. Не идеология.
Обе колонки — с ценой. Решение принимается не «за приватность» или «за качество», а по четырём измеримым параметрам.
Зачем локальные модели
Приватность данных — самая частая причина: некоторые компании и отрасли не могут отправлять данные на внешние серверы. Контроль над инфраструктурой — нет зависимости от провайдера и от того, что модель снимут с поддержки. Низкая задержка — для задач в реальном времени без сетевых запросов. Стоимость при высоком объёме — если число вызовов очень велико, облачные расходы могут превысить стоимость оборудования.
Что означают размеры моделей на практике
| Критерий | Что нужно из железа | Чего ждать по качеству |
|---|---|---|
| Небольшая (7–8 млрд параметров) | 6–8 ГБ видеопамяти. Ноутбук с 16 ГБ или любая современная видеокарта | Разбор по категориям, извлечение полей из текста, ответы по шаблону. Сложные рассуждения — нет |
| Средняя (13–14 млрд) | 10–12 ГБ. Видеокарта среднего класса | Заметно лучше с текстом и следованием инструкциям. Для многошаговых задач всё ещё слабо |
| Крупная (30–34 млрд) | 20–24 ГБ. Видеокарта верхнего сегмента или Mac с общей памятью | Рабочий уровень для многих задач, но ощутимо медленнее |
| Очень крупная (70 млрд) | 40–48 ГБ. Две видеокарты или отдельный сервер | Ближе к облачным моделям среднего уровня. До топовых не доходит |
Сжатие моделей и его цена
Чтобы модель поместилась в доступную память, её сжимают — это называется квантизацией. Цифры вроде «4-bit» в названии означают степень сжатия. Практическое правило: сильно сжатая крупная модель обычно лучше слабо сжатой мелкой при том же объёме памяти. Но деградация неравномерна: сильнее всего страдают следование заданному формату ответа и длинные цепочки рассуждений — то есть именно то, на чём держатся агенты и автоматическая обработка ответов. Модель, которая «отвечает нормально» в чате, может систематически ломать формат в автоматизации.
Инструменты запуска
Ollama, LM Studio, llama.cpp и аналоги позволяют запускать открытые модели без знания инфраструктуры машинного обучения: они берут на себя загрузку модели, управление памятью и предоставление интерфейса. Ключевая деталь для проверки: большинство из них предоставляют тот же интерфейс, что и облачные провайдеры. Практически это означает, что в существующей системе меняются два параметра — адрес сервиса и название модели — и можно прогнать те же проверки, что были на облаке. Переписывать ничего не нужно, а результат получаете за день.
Как проверить, хватит ли качества
Впечатление от десяти запросов вручную систематически завышает оценку: в глаза бросаются удачные ответы. Нужны цифры.
- Взять набор проверок с облачной моделиТот же, что использовался для оценки текущего решения. Если его нет — сначала соберите: без точки отсчёта сравнивать не с чем.
- Поднять локальную модельОдна команда через Ollama или аналог. На этом этапе не нужен ни сервер, ни закупка железа — достаточно рабочей машины с достаточной памятью.
- Переключить два параметраАдрес сервиса и название модели. Остальная система остаётся как есть.
- Прогнать весь наборИ записать три цифры: доля пройденных случаев, время отклика, число случаев с нарушенным форматом ответа.
- Сравнить, а не почувствоватьРазница «94% против 71%» — это решение. «Вроде неплохо отвечает» — не решение, а впечатление.
терминалollama pull qwen2.5:14b # скачать модельollama serve # запустить, интерфейс как у облачныхexport MODEL_BASE_URL=http://localhost:11434/v1export MODEL_NAME=qwen2.5:14b # два параметра - и система работает локальноЕдинственный технический блок в уроке: он показывает, что порог входа в проверку низкий. Оценить пригодность локальной модели можно за день, не закупая железо и не переписывая систему.
Что попадёт в расчёт, если считать честно
Сравнение «облако дорого, локально бесплатно» почти всегда неверно. Ниже статьи расходов, которые забывают.
- Железо и его срок жизниСтоимость видеокарты или сервера, поделённая на три года. Плюс электричество: карта под нагрузкой — это сотни ватт круглосуточно.
- ДежурствоКто перезапускает сервис ночью, обновляет драйверы, следит за памятью. Даже пара часов в месяц — реальная стоимость, часто выше облачных счетов на малых объёмах.
- Разница в качествеЕсли локальная модель проходит 70% проверок вместо 90%, остальные 20% кто-то доделывает руками. Это тоже расход, просто он не в счёте от провайдера.
- Защита«Локально» не значит «безопасно». Сервер с моделью — такая же цель, как любой другой: доступы, сеть, обновления, журналы.
- Смешанный вариантЧасто верный ответ — не «или», а «и»: чувствительные данные на локальной модели, остальное в облаке. Разделение по типу данных обходится дешевле, чем компромисс по всей системе.
Как принять решение
Локальная модель оправдана, когда: данные юридически не могут покидать вашу инфраструктуру, объём обращений делает облако невыгодным, задача не требует высшего качества. Облако — когда нужно лучшее качество, нет людей на поддержку инфраструктуры, объём непредсказуем. Если ни один пункт не выполняется однозначно, начинайте с облака: переехать на локальную модель позже дешевле, чем содержать инфраструктуру ради предположения.
Что выяснить до решения
5 пунктовПять вопросов, которые превращают спор об идеологии в расчёт.
- Если да — расчёт не нужен, вариант один. Если «не хотелось бы» — это предпочтение, и его цена считается наравне с остальными.
- Стоимость облака линейна по объёму, локальной модели — почти постоянна. Точка равенства зависит от объёма, а не от убеждений.
- Без этого числа «качество хуже» не сравнить с «дешевле». С ним — сравнимо.
- Самый недооценённый пункт. Если ответа нет, локальный вариант не готов независимо от расчётов.
- Если да, смешанный вариант часто дешевле обоих крайних.
ПРИМЕР
Сэкономили на подписке, заплатили дежурством
Ситуация. Команда переносит разбор обращений с облачной модели на локальную небольшую: 12 тысяч обращений в месяц, облачный счёт около 40 долларов. Взяли имеющийся сервер с видеокартой — «железо уже есть, значит бесплатно».
Результат. Локальная модель прошла 71% проверок против 94% у облачной: остальные обращения разбирались вручную, около 15 часов в месяц. Плюс два ночных перезапуска за первый месяц. Экономия 40 долларов обошлась примерно в 20 человеко-часов. Прогон того же набора проверок до переноса показал бы это за один день.
ПРАКТИКА
Сделайте сейчас
Возьмите один реальный сценарий и заполните четыре цифры: обращений в месяц, тип данных, минимально приемлемая доля пройденных проверок, кто дежурит. Затем посчитайте обе стоимости — облачную по тарифу провайдера и локальную по списку выше, включая дежурство. Если разница меньше двух раз, выбирайте облако: экономия не покроет усложнение эксплуатации.
ОГРАНИЧЕНИЯ
Где нужен человек
- «Локально» не означает автоматически безопасно: локальная инфраструктура тоже требует защиты.
- Не переоценивайте экономию: учитывайте стоимость оборудования, поддержки и обновлений.
- Сжатие модели деградирует неравномерно — сильнее всего страдают следование формату и длинные цепочки рассуждений.
Смежные уроки
Материал проверен: 20 августа 2026. Инструменты и тарифы меняются — сверяйтесь с первоисточником.