我可以要回租金吗?

我将自有房屋三间租给赵莱使用,双方约定自2001年11月起,赵某每年向我交付租金5000元,在每年年末交纳。但到2002年11月,赵某只向我交付了租金3500元。我因工作繁忙,一直未过问此事。2003年3月后,我多次向赵某催交租金,但赵某始终未付。