「もののふ」の語源が「もののべ」だからね。
「もののけ」などのように直接口に出すのが憚られるほど恐ろしい物を昔の人は「モノ（物）」と言った。
軍事や刑罰などもその類らしく、そういった口に出すのも恐ろしい軍事を担当したのが物部。