Как модели ИИ учатся новым навыкам и поведению?
Процесс на удивление похож на человеческий и легко понимается, даже если у вас нет опыта в машинном обучении.
Полезные коллеги
Модели ИИ, которые всё чаще используются через агентов, похожи на полезного коллегу. Какие качества объединяют лучших людей, с которыми вы работали?
Возможно, вы вспомнили коллег, которые отлично общались, или умели оценить, когда нужно попросить о помощи, а когда разобраться самостоятельно. Есть и более человеческие качества, такие как обаяние, эмпатия и доброта. Но мне особенно нравится работать с людьми, которые могут взять неоднозначную задачу и найти способ её решить.
Так как же заставить модель вести себя как этот идеальный коллега? Нужно сначала записать нашу версию «правильного» поведения. Этот документ называется спецификацией модели, принципами, конституцией или чем-то подобным. Он используется как для внутреннего согласования, так и в качестве руководства для тестирования поведения модели (то есть оценок) во время обучения.
Как мы становимся лучше в своей работе?
Я упрощу: мы пробуем сложные вещи, терпим неудачи, учимся и совершенствуемся через повторение.
Если вы вводите в курс дела нового члена команды, вы не ждёте, что он будет продуктивен с первого дня. Ему нужно научиться пользоваться вашими системами и инструментами, понять, как работает ваша команда. Люди, со всеми нашими недостатками, довольно хорошо умеют учиться новым навыкам (и запоминать их).
Допустим, вы хотите стать лучшим баскетболистом в мире. Какой подход вы выберете для улучшения своих навыков?
- Прочитать всё, что когда-либо было написано о баскетболе. Проигнорируем ограничение в 24 часа в сутках.
- Сыграть 10 000 игр в баскетбол. Те же правила с растяжением времени. Вы учитесь методом проб и ошибок, просматривая записи, оценивая свои решения и совершенствуясь на тренировках.
Знания и опыт — это две разные характеристики, и в идеале вы хотите максимально прокачать обе. Это напоминает мне разговоры о «теоретических знаниях» против «практического опыта». Лучшие игроки обладают и тем, и другим.
Как учиться быстрее? С тренером! Идеальный тренер будет наблюдать за вашей игрой, указывать, что исправить, и постоянно подталкивать вас к преодолению текущих ограничений. Он научит вас принимать качественные решения, когда вы сами, постепенно корректируя ваши «нейронные веса» в сторону лучших решений.
Как учатся модели?
Модели учатся не совсем так, как люди, но человеческое обучение даёт полезную аналогию.
Эти модели начинают с обучения предсказанию закономерностей на основе огромной библиотеки чужого опыта (то есть предварительное обучение). Они действительно могут прочитать каждую книгу о баскетболе!
После предварительного обучения у вас есть базовая модель. Она может быть очень «теоретически подкованной» (например, знать всё о древней истории), но несовершенна и имеет некоторые странности. С ней не очень приятно общаться, и она может ошибаться.
Затем вы показываете модели множество примеров того поведения, которому хотите её научить (это называется контролируемая тонкая настройка, или SFT). Думайте об этом как об изучении записей игр великих спортсменов. Это продвигает вас далеко, но нельзя стать великим, просто копируя чужие движения.
Вам нужно наблюдать, как модель выполняет реальную работу, чтобы помочь ей учиться и совершенствоваться. Чтобы сформировать её поведение, вы позволяете модели играть в симулированные игры и поощряете её, когда она делает хорошо (это обучение с подкреплением, или RL). Эта награда похожа на обратную связь от тренера: вы говорите модели, хорошие или плохие решения она приняла, подталкивая её к улучшению с каждым новым подходом.
Новое исследование также показывает, что более обобщаемые качества, такие как правдивость, могут быть усвоены в процессе RL. Если вы научите модель быть более честной при ответах на вопросы из одной области, такие ценности, как правдивость, могут обобщиться и при ответе на любые вопросы.
Оценка модели
Мы измеряем, улучшаются ли модели, двумя основными способами: тренировочные тесты, где они могут просмотреть ответы, и финальные экзамены, где они никогда не видели вопросов раньше.
Человеку было бы трудно понять, прогрессирует ли он в математическом анализе, например, без проверки понимания. Если вы провалили тест, вы точно знаете, где нужно улучшиться, но это работает только тогда, когда у тестируемой области (например, математика) есть ключ с ответами.
Одна из главных задач при обучении больших моделей ИИ — создание разнообразного набора «тестов». Эти тесты могут быть на что угодно: от математики до программирования. Если вы можете создать ключ с ответами, то модели могут проходить тест много раз и учиться улучшаться.
А как измерить интеллект в разных задачах? Вспомните выпускные экзамены AP, которые охватывают предметы от математического анализа до истории. Многие из них сочетают вопросы с множественным выбором, оцениваемые по правильности, и вопросы со свободным ответом, оцениваемые по критериям.
Это похоже на то, как мы оцениваем модели с помощью бенчмарков. Некоторые бенчмарки измеряют объективно проверяемые вещи (например, прошли ли тесты?), а другие просят отдельную модель оценить результаты по критериям (то есть LLM-судья). Эти результаты дают ориентир для понимания, действительно ли модель учится и улучшается в процессе обучения.
Критически важно: бенчмарки предназначены для тестирования невидимых или «зарезервированных» задач. Иначе это было бы похоже на запоминание всех ответов к тесту, а затем приход и запись их по памяти, что не является истинной мерой интеллекта.
Одного интеллекта недостаточно
Если вы гений, но грубы и социально неадаптированы, скорее всего, людям вы не понравитесь.
Мы все, наверное, можем вспомнить кого-то такого. Недостаточно просто быть умным! Вот почему так важно согласовывать модели, чтобы они вели себя «правильно» (согласно определённой нами спецификации модели).
Представьте, что у вас есть друг, который заканчивает каждый разговор какой-нибудь популярной теперь LLM-шаблонностью вроде «Честно? Вот в чём дело». Вы бы быстро устали с ним разговаривать.
Инженеры и исследователи, обучающие модели, проводят много времени, общаясь с новой моделью до её завершения. Они документируют все странности и места, где можно улучшить. Это может быть чрезмерное использование шаблонных фраз вроде «Суть в том, что:» или жертвование ясностью ради более короткого пункта списка, что приводит к странному, непонятному языку с излишне сложными словами.
Выявив проблемы, они могут продолжить обучать модель и штрафовать за плохое поведение, постепенно добиваясь более согласованного поведения. Кроме того, они могут проводить A/B-тестирование модели в продакшене и измерять, предпочитают ли пользователи ответы новой версии и достигают ли лучших результатов.
Постоянное обучение
Можно было бы ожидать, что эти модели будут со временем улучшаться и становиться умнее.
Но сейчас это работает не так! Обучение происходит только тогда, когда модель тренируется. Ваши разговоры не обновляют интеллект модели в реальном времени.
Вместо этого вам нужно записывать вещи, которые нужно запомнить, обычно в виде правил или навыков. Агенты затем могут читать эти файлы и включать их в контекст при отправке запроса модели.
Этот наивный подход к памяти через файлы работает на удивление хорошо, но предстоит ещё много работы, прежде чем агенты смогут учиться и запоминать навыки так же, как новый коллега.
Обучение моделей полезности — глубокая тема. Надеюсь, этот обзор на высоком уровне был достаточно интересен, чтобы вдохновить вас узнать больше. Если хотите увидеть ещё подобные объяснения или хотите, чтобы я более подробно осветил какую-то другую часть, дайте знать!
