スピーカーからずれた所に耳を当てていたと云う事がないなら
固定電話や借りた携帯で時報などの自動応答のところにかけて聞き比べだな。
これで問題なければ相手側の問題。

固定電話の転送機能で音量が下がることがある。
 →直接かかる番号を聞いてかけ直すか、かけ直して貰う。
相手がマイクから遠い所で話しているか、相手の声が小さい。
 →相手にマイクに近づくか大きな声で話すようにお願いする。