承包方弃耕抛荒 发包方可以收回承包地吗？

我2000年年初承包村中耕地5亩，承包期为30年。3年后，我认为种地不如打工赚钱多，遂外出打工1年。2004年年初我回到村里，发现村委会已将我承包的5亩耕地交由他人承包耕种，理由是因为我弃耕抛荒，发包方有权收回耕地。