相対性理論や量子力学に興味を持ったのなら、数学から始めるのは遠回りじゃん。
まずどういう理論なのか、そこはわかってるの?
まずは文系的な本で概論読んでみたら?
どういう予測や実験が行われてきたか、ちゃんと読み物として面白いのあるから。

フーリエ変換を延々と演習でやって、みたいな時間と努力が無理なら、「数学からはじめました〜」なんて諦めたほうがいいと思うけど。