此案应该由谁来当被告?

公民杨某于1989年向房产管理部门申请颁发房屋所有权证，因杨某的弟弟提出异议，房产管理部门便拖延审查，一直不予答复．杨某在多次催促无效的情况下，于1992年12月向人民法院提起行政诉讼。