第三者对非婚生子是否有探望权

两年前,我认识了有妇之夫周辉,并于去年11月生下儿子小华。不久后,我们协议分手,约定把孩子给周辉和他妻子抚养,我每月可以看望孩子两次。可我去探望儿子时却遭到周辉和他妻子的拒绝,理由是我的身份名不正言不顺,而且是破坏别人婚姻的第三者,孩子见我没好处。