建议看一下土地承包经营法,原则法律确权给本村土地承包经营户,土地承包经营权包括出租,流转等。如果你确实返租给村而不是放弃土地承包经营权的话,村委直接剥夺你的土地承包经营权是缺乏法律依据的。
责任田到期了没?如果到期了,村里可以不把地分配给你。现在是你的责任田不种,租给村里其他人,你当二房东一样,这个到期自然可以不分配给你。土地所有权是村里,不是你。
具体情况不明不好讲,关键要看你方是不是该村集体成员了,具体情况具体分析才行。