相手の言うとおり取消しないとならないということはありません。出品者が気付かなければそのまま落札されてしまいますので、貴方の気持ち次第です。
ただ、取消しを行わずに、そのまま落札させたとしても、そのような非常識な落札者なので、その後の取引がスムーズに行かなくなるということも考えられます。落札させた場合は若干のリスクを伴います。

ひとつの判断基準として、依頼のタイミングを見てみるのはどうでしょうか。いつ入札したか、取消依頼はいつ来かです。
入札してすぐの取消依頼で、終了までに時間があれば、まあ、ミステイクだったのかなと思い、理由を確認したうえで取消しに応じる。

逆に、入札が随分前で、取消依頼は終了間際となれば言語道断で取消しには応じないというものです。その間、入札者は十分考える時間があったのに放置したこととなりますし、加えて、出品者が取消しに要する時間のことも考えていないからです。