我在约七、八年前，和邻居换了一块地，互换的地，双方一直都种着，当时只是口头约定，没有协议，并且我在地里栽了三棵树，我与去年春天的时候，在该地块上申请了老年房证，准见证已批复。现如今，邻居却又说要回该土地，在我不同意的情况下，把我栽的树给锯倒了，并且说，当初没有和我换地，如果我不把地给他，他就去告我。我到底该如何，望各位给我想想办法。