土地违法行为追诉时效如何认定

村民齐某于1999年初承包了村里集体所有的20余亩荒地，用于种植果树和其它农作物。当时，村里与齐某所签订的承包合同明确约定：“乙方（齐某）不得擅自改变土地用途，不得擅自在耕地上建房。”2005年春，齐某擅自在这片承包地上盖起三间房屋，当时的村委会对其违章建房一事并未作出处理。