Autobidding Arena: единая оценка классических и RL-алгоритмов автоматических ставок

Рекламные аукционы играют ключевую роль в формировании выручки компаний электронной коммерции. Чтобы сделать процедуру ставок масштабируемой на тысячи аукционов, в индустрии активно разрабатываются алгоритмы автоматических ставок (autobidding). Поэтому справедливая и воспроизводимая оценка таких алгоритмов является важной задачей. Мы представляем стандартизированный и прозрачный протокол оценки для сравнения классических алгоритмов автоматических ставок и алгоритмов на основе обучения с подкреплением (RL). Мы рассматриваем наиболее эффективные алгоритмы из разных классов — например, основанные на контроллерах, RL, оптимальных формулах и т. д. — и сравниваем их в среде проведения ставок. Мы используем новейшую открытую среду, разработанную в индустрии, которая точно воспроизводит процесс ставок. Наша работа демонстрирует наиболее перспективные сценарии применения рассмотренных алгоритмов, выявляет их неожиданные недостатки и оценивает их по множеству метрик. Мы выбираем метрики оценки, которые отражают производительность алгоритмов автоматических ставок и соответствующие затраты, а также отслеживают темп расходования бюджета. Такой выбор метрик делает наши результаты применимыми к широкому кругу платформ, где автоматические ставки эффективны. Представленные результаты сравнения помогают практикам оценивать кандидатные алгоритмы с разных сторон и выбирать наиболее эффективные с учётом целей их компаний.