Качество данных вместо гигантизма: новый тренд в LLM

Ещё недавно главным аргументом в споре о силе языковой модели было одно число — параметры. Чем больше, тем лучше: так работала интуиция эпохи законов масштабирования. Сейчас картина меняется. На фоне стагнации прироста от простого увеличения масштаба всё громче звучит другая логика: решает не размер сети, а то, на чём её учили.

Поворот к «чистым» данным — не модный лозунг, а инженерная реакция на реальные проблемы. Сырые веб-корпуса дают объём, но тащат шум, дубликаты, противоречия и юридические риски. Команды, которые выходят в лидеры, всё чаще строят конвейер фильтрации: дедупликация, оценка качества текстов, отбор доменов, верификация синтетики, баланс языков и задач. Модель становится компактнее, а каждый гигабайт обучающей выборки — дороже и осмысленнее.

Яркий сигнал — Qwen 3.6 от Alibaba и Gemma 4 от Google. Обе линейки не претендуют на звание самых тяжёлых в индустрии, но уверенно ворвались в верхние строчки публичных рейтингов. Их результат нельзя объяснить только архитектурными трюками: в релизах и технических заметках акцент смещён на многоэтапную очистку данных, жёсткий контроль смеси источников и доработку на верифицированных наборах инструкций. Малый или средний размер перестаёт быть синонимом «игрушечной» модели.

Цифры из открытых отчётов это подтверждают. Gemma 4 31B — 3-е место среди открытых моделей на Arena AI (ELO 1452, Google, начало апреля 2026) и 85,2% на MMLU Pro при 31 млрд параметров. MoE-версия 26B-A4B активирует около 3,8 млрд параметров на токен и набирает ELO 1441 — примерно 97% качества dense-31B. Qwen3.6-27B по данным Alibaba обходит Qwen3.5-397B-A17B на SWE-bench Verified (77,2% против 76,2%) и на Terminal-Bench 2.0 (59,3% против 52,5%) — при ~15-кратной разнице в масштабе.

Почему это важно на практике? Во-первых, экономика: обучать и дообучать компактную модель на качественном корпусе дешевле, чем гонять очередной гигант ради процента на бенчмарке. Во-вторых, деплой: меньше параметров — проще inference, ниже задержки, реальнее on-premise и edge-сценарии. В-третьих, предсказуемость: когда данные проходят аудит, проще объяснить заказчику, откуда в ответах модели берётся поведение — критично для медицины, финансов и госсектора.

Это не означает, что большие модели исчезнут. Скорее рынок поляризуется: флагманы для универсальных задач и «плотные» модели для продуктовых ниш, где важны стоимость владения и контроль качества. Для команд, которые строят прикладной ИИ, вывод простой: инвестиции в data pipeline и разметку часто дают больший ROI, чем очередной апгрейд параметров.

Следить стоит за тем, как быстро этот подход станет стандартом не только у лидеров, но и у открытых экосистем. Если тренд закрепится, конкурентное преимущество сместится от «у кого больше GPU» к «у кого лучше процесс подготовки данных» — и это, пожалуй, более здоровая гонка для всей отрасли.