接点が切り替わるタイミングとか場所に問題があるのかも。
自分のは素早くピッタリと切り替えれば何事もないけど、ゆっくり切り替えたり、行きすぎるか行き足りないと一旦レンズが収納されてすぐ出てくる。