Своё железо вместо API: какую открытую модель реально запустить локально в 2026

Год назад совет по локальному запуску звучал просто: берите модель на 7–13 миллиардов параметров, квантуйте в 4 бита, и она влезет в игровую видеокарту. Всё, что крупнее, — датацентр. Мы сами писали примерно это в разборе H100 vs A100 vs RTX 4090.

Это правило больше не работает. Qwen3.6-35B-A3B — модель на 35 миллиардов параметров, которая при генерации каждого токена задействует всего 3 миллиарда. В четырёхбитной квантизации она весит 23–24 ГБ, то есть помещается в одну RTX 5090, а по знаниевым тестам даёт MMLU-Pro 85.2 и GPQA 86.0. Для сравнения: GPT-4o на русскоязычном бенчмарке MERA набирает 0.642, а эта модель — 0.792.

Одновременно случилось второе, о чём почти не пишут по-русски: Meta ушла из открытых весов. Разберём, что теперь реально запускается на своём железе, что только притворяется запускаемым, и где проходит честная граница между локальной моделью и закрытым API.

Что произошло за год: две новости

Meta вышла из игры

8 апреля 2026 года Meta Superintelligence Labs выпустила Muse Spark — и впервые за всю историю линейки сделала это без открытых весов. Это проприетарная модель, доступная только через API. 9 июля вышло обновление Muse Spark 1.1. Meta заявляет о намерении открыть будущие версии, но пока это только заявление.

Практическое следствие: лидерство в открытых весах полностью перешло к Китаю. DeepSeek, Alibaba (Qwen), Z.ai (GLM), Moonshot (Kimi), MiniMax. Со стороны США в открытом доступе остались gpt-oss от OpenAI, Gemma от Google и Nemotron от Nvidia — и gpt-oss с августа 2025 года не обновлялся ни разу.

MoE сделал большие модели дешёвыми в работе

Mixture of Experts — не новость сама по себе, но в 2026 году на неё перешли практически все. Модель делится на десятки или сотни «экспертов», и на каждый токен активируется лишь несколько. Считать нужно только их.

Насколько это радикально:

• Qwen3.6-35B-A3B — 256 экспертов, на токен работает 9. Активных параметров 3 млрд из 35.
• DeepSeek V4-Pro — 1.6 трлн параметров, активных 49 млрд. Это 3% модели на токен.
• Kimi K3 — 16 экспертов из 896 на запрос, то есть меньше 2%.
• GigaChat 3.1 Lightning от Сбера — 10 млрд параметров, активных 1.8 млрд.

Честная граница: что скачивается и что запускается

Формула для прикидки VRAM простая. Умножьте число параметров на число байт на параметр: BF16 — 2 байта, FP8 — 1 байт, 4-битная квантизация — примерно 0.55 байта с учётом накладных расходов. Сверху прибавьте KV-кеш под нужную длину контекста — на длинном контексте он легко съедает больше самой модели.

Отсюда получается расклад по трём классам железа. Оценки VRAM ниже — расчётные по этой формуле, для 4-битной квантизации и умеренного контекста.

Класс 1. Одна карта, 24–32 ГБ (RTX 3090 / 4090 / 5090)

Самый массовый сценарий — и он перестал быть «игрушечным». Размеры ниже — не расчётные, а фактические веса готовых GGUF-квантизаций.

Отдельно про русский язык: контекста меньше, чем кажется

Тут есть эффект, который почти нигде не проговаривают, а для русскоязычных задач он решающий. Русский текст расходует токены заметно быстрее английского. У токенизатора Qwen это примерно в 1,44 раза на обычном тексте и в 1,64 раза на деловом и техническом — том самом, ради которого модель обычно и разворачивают.

Сложите это с ограничением по KV-кешу. Qwen3-32B в Q4 на карте 24 ГБ оставляет место под примерно 14 500 токенов контекста. С поправкой на русский это около 22 страниц текста — не 128 тысяч токенов из спецификации и не «сто страниц договора».

Практический вывод: если задача — анализ длинных русских документов, планируйте не по заявленному окну модели, а по формуле «свободная VRAM минус веса, делённая на KV-кеш, минус 40% на русский». Либо квантуйте кеш до q8, либо берите карту на 32 ГБ.

Плотная T-Pro 2.1 на 33 млрд считает заметно медленнее при том же объёме памяти (у неё активны все параметры), но она специально дообучена под русский и агентские сценарии — и её токенизатор к русскому заметно щадящее, чем у базового Qwen. GigaChat 3.1 Lightning стоит отдельного внимания: 1.8 млрд активных параметров и контекст до 256 тысяч токенов означают, что она пойдёт даже на скромной карте, а лицензия MIT снимает любые вопросы о коммерческом использовании.

Класс 2. Серверная карта 80–141 ГБ (RTX PRO 6000 / A100 / H100 / H200)

По заявлению OpenAI, gpt-oss-120b рассчитан ровно на одну карту с 80 ГБ и по уровню сопоставим с o4-mini. Для многих корпоративных задач этого более чем достаточно.

Класс 3. Настоящий открытый фронтир — и он не для вашего железа

Вот тут нужно быть честными. Лучшие открытые модели 2026 года скачиваются свободно, но не запускаются нигде, кроме multi-GPU-стойки.

DeepSeek V4-Pro даёт SWE-bench Verified 80.6 — по данным Artificial Analysis это лучший результат среди всех открытых моделей, вровень с Gemini 3.1 Pro. GLM-5.2 берёт AIME 2026 на 99.2 и GPQA-Diamond на 91.2. Всё это прекрасно — и всё это требует от четырёх до одиннадцати H100.

Практический вывод: «на своём железе доступен весь открытый фронтир» — верно для скачивания, но не для запуска. Реалистичный локальный выбор — крепкий средний класс из первых двух таблиц. Хорошая новость в том, что этот средний класс стал по-настоящему сильным.

Единственная модель из третьей таблицы, доступная в разумной конфигурации, — DeepSeek V4-Flash: 156 ГБ в Q4 укладываются в две H100, а качество (SWE Verified 79.0) почти догоняет старшую модель.

Сколько это реально выдаёт: измеренные цифры

Теория — теорией, но вот замеры с официального scoreboard llama.cpp и открытых стендов. Методика единая и задокументированная: llama-bench, промпт 512 токенов, генерация 128, Flash Attention включён.

Сначала сами карты на одной модели (Llama-2 7B в Q4_0), токенов в секунду на генерации:

Обратите внимание: RTX PRO 6000 с её 96 ГБ не быстрее 5090 на маленькой модели — декодирование упирается в пропускную способность памяти, а не в объём. Смысл этой карты в том, что в неё влезает, а не в скорости.

А вот главное подтверждение всему, что сказано выше про MoE. Одна и та же карта RTX PRO 6000, разные модели:

MoE-модель на 30 миллиардов параметров работает в 7,4 раза быстрее плотной на 70 миллиардов — и даже быстрее плотной на 12 миллиардов. Вот что на самом деле означает «3 миллиарда активных параметров». Плотная модель на 405 млрд в предельной квантизации выдаёт 2,7 токена в секунду, то есть формально запускается, а практически неюзабельна.

Два практических следствия из тех же стендов. Первое: ограничение мощности почти бесплатно. На той же карте при снижении лимита с 600 до 350 ватт генерация упала всего с 279 до 275 t/s — меньше 2%. Если карта стоит в офисе, а не в стойке, это решает вопросы с питанием и шумом почти без потерь.

Второе: батчинг решает больше, чем карта. На vLLM с одновременной обработкой запросов та же карта отдавала 1 090 токенов в секунду при 32 параллельных запросах и 3 451 при 512. Один пользователь никогда не увидит этих чисел — а сервис на сотню сотрудников увидит.

Насколько локальная модель отстаёт от закрытого API

Это тот вопрос, на котором большинство статей про опенсорс начинают приукрашивать. Цифры такие.

По сводному Intelligence Index от Artificial Analysis (замер от 30 апреля 2026) лучшие открытые модели набирают 54 пункта, лидер среди проприетарных — GPT-5.5. Разрыв — около 6 пунктов. Звучит скромно, но он распределён крайне неравномерно:

Плюс открытые модели заметно чаще галлюцинируют — это отдельно фиксируется в Omniscience-метрике.

По времени отставание оценивают в 6–9 месяцев. Конкретная арифметика: между выходом Claude Opus 4.5 и GLM-5.2, которая сравнялась с ней по ряду задач, прошло 204 дня. Epoch AI на конец мая 2026 давала оценку около четырёх месяцев и отмечала, что разрыв вырос по сравнению с осенью 2025-го.

Как это читать практически. На типовых задачах — классификация, извлечение полей, суммаризация, RAG по своим документам, генерация описаний, чат-бот поддержки — разрыв между хорошей открытой моделью и закрытым флагманом близок к неразличимому. На сложном многошаговом рассуждении, исследовательских задачах и длинных автономных агентских сценариях он остаётся реальным и заметным.

Где в этом раскладе российские модели

Здесь локальный запуск даёт неожиданный поворот. Если данные и так остаются внутри периметра, вопрос «российская модель или зарубежная» теряет юридический смысл — остаётся чистое качество. А по качеству на русском картина такая (текстовый лидерборд MERA, срез на 20 июля 2026):

Обратите внимание на строку с Qwen: открытая модель на 35 млрд параметров с 3 млрд активных обходит российский флагман на 702 млрд и оставляет GPT-4o далеко позади. На русском языке, на российском же бенчмарке.

Это не аргумент против отечественных моделей — у них есть свои сильные стороны, мы разбирали их в статье про замену ChatGPT в России. Но если вы разворачиваете модель локально и выбираете по качеству, честный ответ в июле 2026-го: начинайте с Qwen 3.6, а российские модели берите там, где важна лицензионная простота или специфика русского языка.

Из российских для локального запуска лучшие кандидаты — GigaChat 3.1 Lightning (10B/1.8B, MIT, влезает почти куда угодно) и T-Pro 2.1 (33B, Apache 2.0, заточена под агентские сценарии на русском). Свежая GigaChat 3.5 Ultra от 6 июля под MIT впечатляет как факт — 432 млрд параметров с открытыми весами и максимально либеральной лицензией, — но требует примерно 240 ГБ VRAM. И на момент публикации её вдобавок нельзя запустить ни на одном стабильном релизе движка: патчи в llama.cpp и vLLM ещё не приняты, карточка модели предлагает собирать из непринятого пул-реквеста. Это нормальная ситуация для модели, вышедшей две недели назад, но планировать на неё сейчас нельзя.

Когда локальный инференс — не оптимизация, а единственный вариант

Всё вышесказанное — про выбор. Но есть класс задач, где выбора нет.

Если через модель проходят персональные данные — ФИО, телефоны, паспортные, медицинские или платёжные сведения, — отправка их в зарубежный API образует трансграничную передачу со всеми обязанностями по 152-ФЗ. Штрафы за обработку без надлежащих оснований подняли до 700 тысяч рублей. Добавьте законопроект Минцифры о регулировании ИИ со сроком вступления 1 сентября 2027 года, который для крупных сервисов предполагает хранение данных россиян в РФ не менее трёх лет.

Локальный инференс закрывает вопрос радикально: данные физически не покидают ваш контур. Это, пожалуй, главный практический драйвер локального развёртывания в России — сильнее, чем экономия.

Рабочая схема, которую применяют чаще всего — не «всё локально», а маршрутизация по чувствительности: запросы с персданными идут в локальную модель, обезличенные и сложные — во внешний API. Слой роутинга ставится перед моделями и решает по типу запроса.

Экономика: когда своё железо окупается

Здесь придётся разочаровать: честный ответ — «реже, чем вам кажется». И начать надо не с цен, а с одной цифры.

Цифра, которая обесценивает большинство расчётов окупаемости

В июне 2026 года российская команда опубликовала реальные замеры on-premise-развёртывания: две RTX PRO 6000 Blackwell (192 ГБ суммарно), модель gpt-oss-120b, 1 080 запросов по десяти сценариям.

Калькулятор пропускной способности обещал 4 696 токенов в секунду. Фактически получилось 880,8 — расхождение в 5,3 раза. Замер независимо подтверждён сторонним бенчмарком.

Ставки аренды у российских провайдеров, ₽/час

Сняты с прайсов 20 июля 2026 года. Часть значений пересчитана из месячных тарифов.

* пересчёт из месячного тарифа. Помесячное обязательство выходит примерно в 1,7 раза дешевле почасовой аренды — это премия за гибкость, а не ошибка.

Два наблюдения. Первое: у Selectel H100 в облаке уже нет — остались только H200, при этом на A30 и A100 висят промо-скидки. Похоже на вымывание поколения Hopper с российского рынка. Второе: разброс цен на одну и ту же карту между провайдерами доходит до двух раз, так что сравнивать стоит не «облако против железа», а конкретные предложения.

А если покупать: розничные цены в России

RTX 4090 из российской розницы исчезла — в каталоге DNS серии RTX 40 нет даже в фильтрах. Все советы «возьмите 4090» относятся теперь к вторичному рынку и аренде.

Наценка на игровые карты кратно выше, чем на серверные: RTX 5090 при рекомендованной цене 1 999 долларов идёт с наценкой около 200%, серверные — 15–50%. Отсюда неочевидный вывод: RTX PRO 6000 Blackwell на 96 ГБ стоит вдвое дешевле H100 и всего вдвое дороже RTX 5090, при этом памяти в ней больше, чем в H100. Для инференса, где всё упирается в объём VRAM, это сейчас лучшая позиция на российском рынке по гигабайтам на рубль.

Контекст рынка: ножницы

Две новости, которые надо читать вместе. Ввоз GPU-серверов в Россию упал с тысяч штук в 2024 году до сотен в 2025 и десятков в 2026 — на два порядка за два года. При этом, по данным на июль 2026, потребление облачных GPU у одного из провайдеров выросло на 507% за полугодие, а средний чек на GPU-сервер — на 64%, до 2,3 млн рублей.

Предложение сжимается, спрос растёт впятеро. Для решения «купить или арендовать» это разворачивает старый аргумент: раньше дефицит был доводом «брать сейчас, пока есть», теперь он работает против покупки — её просто может не случиться в разумный срок.

Для масштаба: вся установленная база в России — чуть более 10 тысяч GPU в коммерческих ЦОД и около 8 тысяч на локальных площадках.

А если покупать: цены в России на 20 июля 2026

Мы прошлись по прайсам российских продавцов. Картина такая.

Несколько наблюдений, которые меняют планирование.

RTX 4090 из российской розницы исчезла. В каталоге DNS её нет вообще — серия RTX 40 отсутствует даже в фильтрах. Все советы «возьмите 4090» относятся теперь только ко вторичному рынку и к аренде.

Наценка на игровые карты кратно выше, чем на серверные. RTX 5090 при рекомендованной цене в 1 999 долларов продаётся с наценкой около 200%. А вот серверные карты идут с наценкой примерно 15–50% — дефицит игровых в России острее.

Отсюда неочевидный вывод: RTX PRO 6000 Blackwell на 96 ГБ стоит около миллиона рублей — вдвое дешевле H100 и всего вдвое дороже RTX 5090, при этом памяти в ней больше, чем в H100. Для инференса, где всё упирается в объём VRAM, это сейчас лучшая позиция на российском рынке по соотношению «гигабайты на рубль».

H100 реально лежит на складах, а вот H200 — уже как повезёт: у одних поставщиков в наличии, у других срок поставки 40–60 рабочих дней, то есть два-три месяца.

Простая арифметика окупаемости

Возьмём реалистичный сценарий: Qwen3.6-35B-A3B на арендованной RTX 4090 по 0.5 доллара в час. Круглосуточно это 360 долларов в месяц, примерно 28 тысяч рублей по курсу ЦБ.

Теперь сравните со своим счётом за API. GigaChat Max для юрлиц стоит 650 ₽ за миллион токенов (вход и выход считаются суммарно). Чтобы 28 тысяч рублей на своё железо окупились, нужно прожигать около 43 миллионов токенов в месяц. Для большинства компаний это много: если у вас чат-бот поддержки на пару сотен обращений в день, API дешевле в разы, и минимальный платёж у Сбера — всего 600 ₽ в месяц.

Ключевая мысль: своё железо выигрывает на постоянной равномерной нагрузке и проигрывает на редкой пиковой. Простаивающая карта стоит денег каждый час, а API не стоит ничего, пока к нему не обращаются. Считайте не пиковую производительность, а среднюю утилизацию — именно она определяет, окупится ли конфигурация.

Софт: на чём это запускать

• Ollama и LM Studio — минимальный порог входа, ставится за пять минут, годится для прототипа и одного пользователя. В продакшене под нагрузкой не держит. Важная деталь: на MoE-моделях Ollama нередко отдаёт в 2–3 раза меньше токенов, чем llama.cpp на тех же весах — на RTX 4060 это 16 против 45 токенов в секунду. Обычно причина в том, что свежая архитектура ещё не поддержана и модель уходит в режим совместимости. Если скорость выглядит подозрительно низкой, первым делом проверьте на llama.cpp напрямую.
• llama.cpp — король квантизации и запуска на скромном железе, включая CPU-инференс и offload части слоёв в RAM. Незаменим, когда модель почти влезает.
• vLLM и SGLang — то, что нужно для продакшена: continuous batching, эффективный KV-кеш, высокая пропускная способность при многих одновременных запросах. Разница с наивным запуском через Transformers — кратная.
• TensorRT-LLM — максимальная выжимка из карт Nvidia ценой существенно более сложной настройки.

Практическое правило: прототип — на Ollama, продакшен — на vLLM. Промежуточные варианты обычно оборачиваются переписыванием.

Шесть ошибок при переходе на локальный инференс

1. Считать, что MoE экономит память

Самое частое заблуждение. 3 млрд активных параметров не означают 3 млрд в памяти. Все эксперты лежат в VRAM целиком.

2. Забыть про KV-кеш

Модель влезла — и всё упало на длинном контексте. При 256 тысячах токенов кеш может занять больше самих весов. Считайте память под реальную длину запросов, а не под пустую модель.

3. Скачать модель, которую невозможно запустить

DeepSeek V4-Pro лежит в открытом доступе и весит как небольшой датацентр. Открытая лицензия не равна выполнимости на вашем железе.

4. Верить в несуществующие модели

Выдача по этой теме забита AI-генерированными фермами. «Llama 5» не существует, Qwen 4 Coder не подтверждается, DeepSeek R2 не найден. Проверяйте по HuggingFace: если весов там нет, модели нет.

5. Брать плотную модель там, где подойдёт MoE

Плотная модель на 33 млрд занимает столько же памяти, сколько MoE на 35 млрд, но считает в разы медленнее. При прочих равных MoE в 2026-м предпочтительнее.

6. Не проверить лицензию под свой сценарий

MIT у GigaChat и GLM, Apache 2.0 у Qwen, T-Pro, Gemma и Mistral — разрешают коммерческое использование без оговорок. У Kimi лицензия модифицированная, у Llama — собственная, у открытой YandexGPT-5-Lite стоит потолок в 10 млн выходных токенов в месяц. Читайте файл LICENSE, а не пресс-релиз.

Чек-лист перед развёртыванием

• Посчитали VRAM по формуле — параметры × байты на параметр + KV-кеш под реальный контекст?
• Проверили, что это MoE или плотная модель? От этого зависит скорость при одинаковой памяти.
• Модель есть на HuggingFace? Если нет — вероятно, её не существует.
• Прочитали LICENSE, а не пересказ лицензии в новости?
• Прогнали 20–30 своих реальных запросов, а не доверились бенчмаркам?
• Оценили тип нагрузки — равномерная или пиковая? От этого зависит покупка против аренды.
• Заложили KV-кеш и запас хотя бы 15% сверх расчёта?
• Выбрали движок под задачу — Ollama для прототипа, vLLM для продакшена?
• Есть человек на поддержку? Если нет — берите аренду или API.
• Понятно, какие данные вообще обязаны остаться локально? Это определяет архитектуру, а не наоборот.

Итого

Главная новость 2026 года для локального инференса не в том, что открытые модели догнали закрытые — они не догнали. Она в том, что MoE радикально снизил порог входа: модель уровня, за который год назад надо было платить API-провайдеру, теперь помещается в одну видеокарту за счёт того, что активирует десятую часть себя.

Реалистичная картина такая. Настоящий открытый фронтир — DeepSeek V4-Pro, GLM-5.2, Kimi — существует, свободно скачивается и требует стойки серверных карт. Локально запускается крепкий средний класс, и на типовых бизнес-задачах он практически неотличим от закрытых моделей, а отстаёт заметно только на сложном рассуждении и длинных агентских сценариях. Для задач с персональными данными вопрос вообще не в качестве: локальный контур — единственный законный вариант.

И последнее. Meta ушла из открытых весов, gpt-oss не обновлялся с августа 2025 года, а лидерство перешло к китайским лабораториям. Нравится это или нет, но если вы сегодня разворачиваете открытую модель — с высокой вероятностью она будет китайской. Именно поэтому стоит внимательно читать лицензии и проверять модели на своих данных, а не на чужих бенчмарках.