我家宅基地是与别人换的 现在我家宅基地要建房，可是之前的人阻挠建房 想要回这块宅基地，我们要怎么办。