根据规定，退房违约责任取决于合同约定和法律规定，且约定（合同）优先。 合同中若有约定违约责任并明确违约金具体数额的，从其合同约定。 如果没有约定，按照法律规定处理，如：支付定金一方违约的，定金不予返还;收取定金一方违约的，双倍返还定金；双方都有过错的，按照各自过错程度分担。违约金不足以弥补损失的，可以要求违约方按对方所受损失进行赔偿;违约金过高的也可以请求减少赔偿金额。 按照你的这种情况，最好是先查看一下合同文本约定的违约责任相关条款。
《中华人民共和国民法典》第五百八十五条 当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。 约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。 当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。