柳田國男さんによれば昔の日本には「世間師」と呼ばれる人がいて、
村を離れて諸国を巡り、異郷のことをよく知る旅人を指したんだそうで。
その世間師の異郷話のことを「世間話」と言ったんだそうだ。

要するに彼によれば「世間（セケン）」とはウチとソトのソト、
つまり外部のことであって、それを人間社会という意味で使うのは
日本語の古くからの用法じゃないらしいんだな。
『定本柳田国男集』第6巻を参照あれ。