退款率真的太不人性化了

前几天一个顾客在我不在线的时候，拍了衣服，付了款，但又要求退款，整个过程我都不在的啊。后来我给他退了，因为既然他不喜欢了，强卖给人家也不好。但我发现这太影响我的排名了，我的店现在基本没有人问津了。真是气愤。只有一笔退款，还不是我的原因，居然一下退款率高达5.56%。
淘宝能不能按退款笔数来算，而不要用退款率呢？这样是不是真的不让我们这些小卖家活了呢？