Then I want something to remember you by.
あなたの思い出になるものがほしいという意味ですが、
最後のbyがしっくりきません。
remember by でひとかたまりで覚えてしまったほうがいいものなのでしょうか？