法律上の問題じゃなく、「うちの土地の上に建てて住んでるくせに何の断りもなく」という感情的な問題では?