徒に (いたづらに)とは、

徒「立ち止まる足」という意味から、

足を止めて時間を無駄にする →

『無駄に』