Will you come to the flea market on Sunday with us.
の文の語順があまり一般的でないような気がします。
Will you come to the flea market with us on Sunday.
とか、あと一番多いのは
Will you come with us to the flea market on Sunday.
だと思うのですが、どうでしょうか？自信がないです。