房屋后土地是否有权使用2006年我盖…

房屋后土地是否有权使用2006年我盖了一处二层楼,(是农村街道),房屋后面是某村土地,也就是当时占用了该村的土地,是经过合法批准的。我们是第一家,当时年轻,没考虑那么多问题,房子后面有四米可以使用,(以租赁的方式使用,每年交使用费用,每间50元,我们应该是100元一年)我们当时没要,第二家也就是我们现在的邻居(三间),垒院子时,该地主人说了,我们后面的地他们也要租赁,否则他没法种地,他们因为是开食堂的,院子大了也好,当时就要了。二年后,邻居在我们的楼后盖了二间简易房,虽然不愿意,对采光有影响,但碍于是邻居,我们是也没说什么。2010年3月份,他们要把我们楼后的简易房扒了,重盖,而且要盖满,(长时间使用)这样一来,会影响我们一层后面的整体采光,种种不利因素让我们决定重新要回这块土地,也就是说我们交租赁费,但是他们不让,找村里,村里让自己协调,虽然我们都知道房屋后除了批准的一米之外都不可以盖房子的,但是现在我们所住的整排都盖了,也无人管,而且有个不成文的规定,谁家后面的就是谁家的,现在我们该怎么办好呢?