再婚女遇到“娃宝男”,能不能嫁

你好!我和他各自有过一段失败婚姻，他是我的师兄，我们认识7年了，各自恋爱成家，又都离婚了。后来，我们就走到了一起。原本一切都还好，但这个“十一”长假让我动摇了。原因是这样的，我家人去了外地旅游，我和他留在家过节。他和前妻的女儿突然过来了，他立马撇下我去陪女儿了。他不会平衡我和他女儿的关系让我很不开心。他真的就是一个“娃宝男”，如果将来我和他走到一起，肯定会让我对他女儿无限地迁就。我该怎么办？