不签劳动合同就要退还培训费吗

2008年11月，我与6位同乡应聘到一家饲料厂工作。经过三个月的培训和实习，我们都觉得这家工厂管理混乱、劳动卫生条件太差，因而当厂方提出签订劳动合同时，我们明确表示不订立劳动合同，要离开该厂。此时，厂方告诉我们，不得擅离工厂，否则，工厂不发还我们身份证，还要我们每人补偿工厂5000元培训费。无奈之下，我们只好同厂方签订了劳动合同，并开始工作。