[不懂就问] 关于丈母娘和房贷的事情和老婆吵了一架

贷款是30年等额本息，本来准备过完年还几十万减轻下每个月的还贷压力。
老婆的彩礼和她结婚前存的十万，一共20W存在丈母娘卡里，彩礼结婚的时候说好带回来的，后来反正是给她的就先存在她妈这了，到现在快两年了，她就有点不好意思拿她自己的十万块，因为那是结婚前她给她妈孝敬的，只是她妈没花存了起来。
今年准备拿回来，她不好意思拿，就吐苦水说我们欠了银行多少多少钱房贷，她妈听了不知道怎么的说再借我们五万块，多还点，以后等他弟弟用钱了再给他。
我的意思是不要这五万块，我们贷款九十万还一半，多这五万块不多，而且还是在她主动提了她妈才给她，借钱还贷款，拿了没必要还欠人情(不知道这么想对不对)。
她就火了，声音很大，觉得她和她妈一片好心啥啥啥的，吼了了一顿说我说不清楚理由，把他妈也惊过来了，虽然没说为啥估计也猜到了。
Ps个前情提要。
本来我们结婚是在我家和我妈住的，当婆媳不和，我怕麻烦就搬出来买房了。
当初买房的时候差个20万首付，我不知道她在她妈那里有钱，只知道说好带回来的十万块彩礼在那边，就去借了十万凑上了，然后还的时候还有闲钱，就没动她妈的那笔钱，等于我付了全部首付和装修之类的写了两人名字。
我现在蛋疼的点是，当初付首付的时候，你们有钱一分没给，现在还贷款要五万块做人情，还是她为了自己前主动诉苦，谁知道是真想给还是表面上的客气，关键我们又没被催债哪有必要拿。
我老婆的大概意思就是她家一片好心，我有点不是抬举的意思...
纠结纠结...家人们，是我在钻牛角尖吗？