产权问题

爷爷在爸爸和大伯成家的时候，给他们找了个盖房子的地方，一块地一人一半盖房子。后来爸爸不在家，出去发展，大伯就把本属于爸爸的那块地盖了自己棚子(当时说反正不用，拿来养点牛羊，爸爸知道且同意)，这二十年多年过去了，现在大伯据为己有，不还了。
一部分种植用地也是如此情况(当时说我们不在家，就帮我们家种上，最近提了一嘴这个事，也没让还，大伯母一听这事就摆脸色，吵吵说那是他们的)。
表叔叔，表大爷都知道这些事。但因为当时爷爷口头说的，爸爸也没有其他证据，
这个还有办法要回来吗。