问下半夜的走路声影响到楼下了怎么办

先说明没有刻意制造声响，家里没小孩，不开音响，拖鞋是那种去游泳池也会人碰到公用的蓝色胶拖鞋。可能楼下神经衰弱，说我们半夜走路能吵醒他们(11点左右)差点跟楼下夫妇打了一架。
有时候还晚归，难道洗个澡都不批准？？？
问下各路大神怎么解决的。。
自己也住过学生宿舍也出去租过高层房子，真特么活久见。