per se は、確かに、英語の観点だけから見たら、変に見えますね。
しかしそれがラテン語由来であって、in itself みたいな意味だとわかれば、
何でもないんですよね。発音だって、ラテン語の本来の発音（だと推測されている発音）
を英語式に訛っただけだから、問題ないんですよね。

第一、イタリア語・スペイン語・ポルトガル語・ルーマニア語などのロマンス諸語では
per se をラテン語の本来の発音に近い音で発音しているはずだし、
そもそも大陸ヨーロッパの諸言語の中では、英語だけが特殊というか、
それ以外のインド・ヨーロッパ諸語（Indo-European languages）の伝統から
大きく外れているんですよね。

per se のうち、per に似た英単語や se に似た英単語は、本来はありませんね。
もちろん、per とか per se はラテン語由来の単語として、そのまま英語の中で
使われてはいますが、一応は外来語としてであって、英語らしい単語としては
使われていませんね。

しかしそれ以外のロマンス諸語（Romance languages） においては、
per はフランス語では pour に近い形をしていて、スペイン語では por という
近い形をした単語があり、イタリア語では per そのままですね。

イタリア語では Per favore. (= You're welcome.) は本来なら (*)For favor. とか
(*)By favor. とかいうふうに直訳できそうなものですよね。そしてもちろん、
スペイン語では Por favor. ですからね。

per se のうちの se については、itself, oneself, themselves などを意味する単語ですが、
フランス語の soi やスペイン語の se やイタリア語の se (ただし e の上にアクセント記号がつく）
とかいう単語と似ているか、あるいは同じですからね。

だから、ラテン語由来の英単語を見た時、英語だけから見たら変であっても、
大陸ヨーロッパの諸言語におけるそれに似た単語や熟語を見て考えたら、
まったく不思議でも何でもなく、すんなり覚えられるし、発音だって、それら大陸ヨーロッパの諸言語に
おけるその単語や熟語と似ているんですよね。