本村村民之间能否互换宅基地?

村民老李与老王两家相邻，因村内拓宽道路，分别占用了两家一部分宅基地。村委会就统一在村南空闲地补偿给每家一块宅基地。为方便居住，1998年，老李用旧宅基地对换老王在村南分得的新宅基地，并在本村人民调解委员会调解下签订《调解宅基地协议书》。同时。老王给老李4000元作为对旧宅基地上附着物的补偿。2000年。老李在村南新宅基地盖房子，并办理了宅基地及房屋的登记手续。但到2001年1月。老李一家的原有宅基地及房屋却始终不肯退出，两家为此纠纷不断。老李认为，《调解宅基地协议书》是买卖宅基地的合同，违反《土地管理法》及相关法律的规定，该协议书无效。请问老李与老王互换宅基地的行为是否合法？村民之间能否互换宅基地？