Pythonは高水準言語だけど、ガベージコレクタあるから実行速度は遅いんじゃないの？
Wikipedia見ると、数学のライブラリーはより高速であるC言語で書かれているらしい。

GPGPUをC言語等で直接扱うのは面倒だから、ライブラリを作って、それを制御するのはPythonなどの
高水準言語…って今はそういう世界なのかな？よく分からん。

CPUだけでもマルチコア・マルチスレッドが当たり前だから、そういう制御を一気にライブラリに任せて
遅いけど高水準なコトをやらせるのが普通なのかも。