どかすなら黙ってどけるんじゃなくて
「今使ってないなら、使わせてもらいますよー」って声かける
結果的に向うから文句を言われるのは変わらないかもしれないけど
まあ、自分は実際には面倒だから他が空くのを待つけどね