Ричард Саттон основал Oak Lab в Торонто с одним центральным тезисом: нынешнее глубокое обучение он называет «слабым и неэффективным». Цель — AI-агенты, которые обновляют своё поведение непрерывно, из реального взаимодействия со средой. Не один раз при предобучении, а постоянно — как учится человек или животное.
Контекст
Саттон — один из архитекторов современного reinforcement learning. Вместе с Эндрю Барто он написал «Reinforcement Learning: An Introduction» — книгу, которая до сих пор остаётся главным учебником в области. В 2019 году он опубликовал короткое эссе «The Bitter Lesson»: все попытки вложить в AI человеческие знания и эвристики проигрывают методам, которые просто масштабируют вычисления и позволяют алгоритму учиться самому. Пять лет спустя GPT-4, Claude и Gemini доказали его правоту — но, по Саттону, только наполовину.
Проблема в том, что современные LLM учатся один раз. Предобучение на огромном корпусе, затем заморозка весов — и дальше только инференс. RLHF добавляет тонкий слой коррекции, но фундаментально это статичная модель. После развёртывания такой агент не становится умнее от взаимодействия с пользователем и средой. Следующий чат начинается с нуля. Саттон считает это принципиальным ограничением, а не инженерным нюансом.
Oak Lab — его ставка на то, что в исследовательском сообществе называют continual learning или lifelong learning: агенты, которые продолжают обновлять своё поведение в реальном времени через постоянный цикл опыт → коррекция → улучшение, без периодического полного переобучения.
Аналитика
То, что Саттон выбрал стартап, а не академическую лабораторию — сигнал: он считает задачу достаточно созревшей для коммерческой реализации. Нынешний тренд в AI — агентные системы. Claude, GPT-4o, Gemini умеют планировать, использовать инструменты, выстраивать цепочки вызовов. Но они не учатся из собственного опыта внутри задачи. Каждый запуск — чистый лист, если только не добавить внешнюю память вручную.
Если Oak Lab добьётся рабочей реализации continual learning в агентах, это меняет экономику внедрения AI. Сейчас компании платят за кастомизацию: fine-tuning, RAG, системные промпты, ручную разметку. Агент, который сам учится на данных компании без дорогого переобучения — принципиально другая бизнес-модель. Конкуренция в этом направлении уже есть: ряд академических групп публикует работы по lifelong learning, несколько стартапов исследуют memory-augmented архитектуры. Но авторитет Саттона и его позиция принципиального критика доминирующей парадигмы — это ресурс для привлечения и капитала, и талантов.
Важный нюанс: continual learning сложно совместить с alignment и предсказуемостью поведения. Агент, который учится сам, может учиться не тому. Это центральная инженерная проблема, которую Oak Lab придётся решить параллельно с самим обучением — и от её решения зависит, насколько быстро технология дойдёт до production.
Кейсы применения в бизнесе
B2B-SaaS стартап. Агент поддержки клиентов, который каждую неделю становится точнее — не потому что его переобучали, а потому что он учится на закрытых тикетах, паттернах ошибок и обратной связи операторов. Практический результат: снижение числа эскалаций без ручной разметки и ресурсов ML-команды.
Корпорация с legacy. Внутренний агент по работе с регламентами и политиками. Сейчас такие системы устаревают сразу после запуска — политики меняются, а RAG-индекс обновляется вручную IT-командой. Агент с continual learning адаптируется к изменениям в базе знаний без ручного вмешательства.
SMB и локальный бизнес в КР/СНГ. Агент-менеджер по продажам, который учится на том, какие офферы срабатывают в конкретном рынке, какой тон и язык работает с местными сегментами — через накопленный опыт взаимодействий, без дорогого кастомного обучения.
Кейсы в личной жизни
Разработчик. Coding-ассистент, который запоминает архитектурные решения проекта, предпочтительный стиль и типичные ошибки — и со временем делает меньше промахов. Не сбрасывается при каждом новом чате, а умнеет с каждой сессией.
Контент-мейкер. Агент сценариев или постов, который отслеживает, что реально заходит у аудитории конкретного канала — и постепенно смещает рекомендации в сторону того, что работает, а не усреднённых паттернов из предобучения.
Студент или фрилансер. Персональный тьютор, который помнит пробелы в знаниях и что уже объяснялось — и строит следующее объяснение с учётом накопленной картины, не начиная с нуля при каждой сессии.
Как применить сегодня
- Следите за публикациями Oak Lab — стартапы из академической среды Саттона, как правило, публикуют результаты на arXiv раньше коммерческого релиза.
- Уже сейчас эмулируйте continual learning через персистентную память: записывайте факты из каждой сессии во внешнее хранилище и передавайте в контекст следующей. Не настоящий RL, но часть эффекта.
- Изучите memory-augmented агентов: инструменты Mem0, Zep, MemGPT уже реализуют частичную персистентную память для LLM-агентов и доступны сейчас.
- Если строите продукт на AI — закладывайте архитектуру с хранилищем взаимодействий с самого начала: это пригодится при переходе на continual learning агентов, когда технология дозреет.
- Перечитайте «The Bitter Lesson» Саттона (2019) — это короткий текст, который объясняет логику, лежащую в основе Oak Lab. Он доступен в открытом виде.