「に渡す」の「に」は与格だから、「へ」はその代わりになれないんだよ。助詞へは方向性を表すところがにと意味が違うし、いらないわけがない。もしもいらないんだったら自然と使わなくなるだろ。