「私が貸してるお金は財産から差し引くから」で兄弟関係が壊れないことを願うのみ。
母親がまだ生きてるなら、今のうちに兄弟と話し合っておくのが一番でしょう。
今のうちなら兄弟関係が大きく壊れることはないと思う。

兄弟関係がどうなってもかまわないなら、法律に基づいて財産から控除すればいいと思う。