「忘れた」が「記憶」にかかるんじゃなくて
「桜舞い散る中に」にかかってんじゃないの
「忘れた記憶」ではなくて
「舞い散る桜の中に忘れた」
つまり、置いてきたみたいな感じ