我离不开这个有妇之夫,怎么办?

我很烦恼!我喜欢上了一个有妇之夫!而且我也只是他的一个情人而已!我明知道自己是错的，好多次都想离开他．可是一听到他说“我想你”，我所有的坚持都会化为乌有!我很郁闷很迷茫．真的不知道该怎么办？