諸説あると思うが
時のオーブってロトゼタシアの世界の時を紡いでいるオーブでしょ？
で、それは定期的に別名保存され
新しく別のオーブが新しい時を紡ぎ始める。
だから、最新のオーブを壊したらその直前に世界の時が戻る。

番人の説明から考察するとこうとしか解釈できないんだよなぁ。
セニカが壊したのがその時点での最新オーブなら即座にセニカ以外の世界の時が巻き戻るはずだから最新のオーブでないことは確かなのではないかと。