在自己家的地盖房子,砌围墙,别人不许砌围墙。原因是他们家的坟在旁边

在自己家的地盖房子,砌围墙,别人不许砌围墙。原因是他们家的坟在旁边,不许我们砌围墙,必须要我们家缩进几米,他们说,要是敢在那砌围墙,他们就把围墙推倒,那是我们家的地啊,与他们无关啊。怎么办啊~