可否以父母未尽抚养义务而拒绝赡养父母?

我今年63岁，早年改嫁再婚，最近因再婚丈夫突发疾病，生活越发困难。我要求唯一的儿子给付一定的赡养费。可儿子认为，我在他小时候没有尽到抚养义务，与他人再婚后，没有照顾过他，也不与他一同居住，故拒绝支付赡养费。