＞逆に楽器使って音取れればそれで十分じゃないかって思うんだけど違うん？

楽器使って音を探しながらの耳コピしか練習しなければ、実際には即座に弾けないでしょう
アドリブ中に、えっと次の音は１音半上かな、２音上かな、とか探りながらじゃ無理
音を聞いてまたはイメージして反射神経的に即座にわかることが重要だよ