そもそも普通「親でも兄弟でも」なんて但し書きするのが不自然
助六には男兄弟いないしね

助六にとって
父親→ 怖かったそうなので「いじめられた相手」と同義
男性の親戚→父親同様助六の不登校や不労を責めた存在→ 「いじめられた相手」と同義