我的爷爷，是一个农民，公社要在爷爷家的地方盖米仓。把他们赶到了县城里面。在1977年的时候，他的儿子（也就是我的父亲）结婚，公社大队询问他，是不是要些宅基地盖房子。当时爷爷拒绝了。到了1995年的时候，爷爷到大队里去申请宅基地，但是大队的人员以没有宅基地，拒绝了我爷爷。所以，至今，爷爷还是农村户口，可是一分土地也没有。

请律师分析一下，大队的说法能成立吗？这以后该如何处理？