探视权可暂时终止吗

正问:我和前夫于2007年离婚,儿子判给我抚养,当时儿子只有6岁。前夫每月给孩子500元生活费,我也同意了前夫随时看孩子的要求。但是最近这半年我发现儿子每次见完前夫后都闷闷不乐,我问了孩子后,孩子说每次见他都是让孩子一个人待在家里,前夫总是很忙,定时见孩子成了前夫的负担。其实离婚前孩子一直都是由我父母带,孩子不是很恋前夫。