ちょっと書き方が悪くて誤解を招いてしまったみたいですみません。
電源オフ時というか、電源オフの時ずっとノイズが流れてる感じです。電源のオンオフ切り替え時にポップノイズはなく、コンセントから抜いたらワンテンポ遅れてポップノイズが出ます。

上流の可能性も考えたんですけど、スピーカー以外外しててもダメだったので違うのかなぁと思ってます。