| Author | Nickolay Karlov |
| Consultant | Alexey Kravatskiy |
| Advisor | Vadim Strijov |
Обучение глубоких моделей сопровождается генерацией множества взаимосвязанных временных рядов (loss, accuracy, weight parameters, learning rate). В данной работе предлагается новый метод анализа этих логов. Для выявления причинно-следственных связей в динамике обучения применяются Convergent Cross Mapping (CCM) и его модификации с опорой на теоремы Старка о delay embeddings для систем с детерминированным и стохастическим воздействиями. Исследуется нелинейные взаимосвязи данных рядов, а также предложен фреймворк, способный: анализировать воздействие изменения параметров на loss, детектировать Edge of Stability и осуществлять раннее предсказание эффекта grokking через отслеживание коллапса эффективной размерности вложения.
If you find our work helpful, please cite us.
@article{citekey,
title={Title},
author={Name Surname, Name Surname (consultant), Name Surname (advisor)},
year={2025}
}Our project is MIT licensed. See LICENSE for details.