「世間」という言葉の現代用法でもたしかに「外部」という意味はあるんだよ。
「世間体が悪い」と言うとき、身内（家族）の外にある世間が思い浮かべられているはず。
つまり、外での体裁が悪いという意味なんだな。世間体＝外面。