我可以拒绝赡养未抚养过我的母亲吗？

问：在我刚出生不久的时候，我的母亲就因嫌弃家里穷而离开了我父亲并改嫁他人，且从此与我们断了联系，从来没有对我尽过抚养的责任。我从小由父亲和爷爷奶奶养大，直到不久前才第一次见到我的母亲。因为她改嫁后没有再生孩子，一直是靠她的第二任丈夫维持生活。