というか、話せない事は聞けないと思った方が良いよ。
その上で、テレビ見てるだけで話せるようになるか？って質問に置き換えるとしたら、無理だろうと思う。

英会話を始めるのに100%聞ける必要は無いし、それなりに話せてるように見えても60%ぐらいしか分からないとかザラ。