金属やプラのパイプじゃ精度が高い物を使っても保持力を持たせるのは無理じゃね？
ビニールや木工用ボンドとか詰めて軸受の調整するなら
そのくらいの隙間はあった方がいいと思うし

どういう部分に使いたいのか知らないけど
軸受はパイプに拘るのやめて市販のポリパーツを使ったほうが良くない？