我从小学三年级开始爸妈离婚就跟我爸没联系了，以后我要赡养他吗？

我记得当时是签了一个协议，大致上他给我妈两万就不给抚养费了，书面上断绝父子关系，签字盖手印，但是没有公证。这么多年也确实没联系过也没给过赡养费什么的，离婚没多久他也重新组建家庭了。
我是对他没什么感情啦，正面负面都没有，默认我妈无性繁殖生了我，但是如果以后他找我要赡养费，我从法律上可以不给吗？倒不是钱的问题，我怕我妈知道了要跳楼