Что такое TRAC

Согласно мониторингу Dongcha Beating, 'выборка на треке' в постобучении крупных моделей (т.е. обучение модели на основе ее собственных данных, генерируемых в реальном времени) имеет решающее значение для предотвращения деградации модели и повышения ее способностей к решению задач. Онлайн-обучение с подкреплением (RL) и дистилляция на треке (OPD) превосходят традиционное контролируемое тонкое обучение (SFT), поскольку позволяют модели оптимизировать свои шаги на основе того, что она генерирует сама, а не запоминать внешние стандартные ответы. SFT принудительно внедряет стандартные ответы, применяя модификацию равномерно ко всем словам, что может легко нарушить оригинальную структуру знаний модели и привести к забыванию. В отличие от этого, RL и OPD позволяют модели находить и укреплять лучшие шаги в своих собственных черновиках. Это не только предотвращает накопительную ошибку 'написав одно неправильное слово в начале и сбившись с пути позже', но и гарантирует, что обновления происходят только в областях знаний, которые модель уже обладает, тем самым максимизируя сохранение ее врожденных способностей. В эксперименте 'минимальное редактирование кода' независимо от того, использовались ли наставники SFT или RL для дистилляции на треке, процент успеха модели-студента (Pass@1) при написании правильного кода с первой попытки составил 80,0% и 78,7% соответственно, оба превышая показатели модели-наставника. Даже когда наставник SFT стал значительно 'упрощенным' из-за чрезмерного тонкого обучения (снизившись с 0,320 до 0,286 в тесте на способность кодирования LiveCodeBench), модель-студент, которую он произвел, все равно достигла высокого результата 0,297, показывая почти никакого влияния недостатков наставника, тем самым доказывая, что практика на треке может эффективно фильтровать плохие привычки наставника. В настоящее время DeepSeek-V4 и GLM-5 внедрили дистилляцию на треке для объединения возможностей экспертной модели. В экспертном обучении области с четкими правильными и неправильными ответами, такие как кодирование и математика, больше подходят для RL, в то время как творческие и основанные на знаниях субъективные задачи лучше подходят для дистилляции на треке. Будущие алгоритмы окончательной тонкой настройки должны будут искать новые механизмы в рамках обучения на треке, которые объединяют высокую эффективность дистилляции (выская информационная плотность) с объективностью RL (неконфликтные обновления).

TRAC fluctuated by 74.03% within 24 hours, current price $0.3823

TRAC fluctuated by 52.96% within 24 hours, current price $0.462