当时你们所签的租赁协议里面是否对这块地的使用用途有约定（口头协议也可），应按协议办。如果当约定是用作操场，那么学校建楼房需经你们同意。如果你们不同意，学校应恢复原状，赔偿损失。