不加女同事微信，也不闲聊有错吗？

现部门一共六个人，三男三女，一个男的是主管，一个男的比我小，三个女生都是刚毕业。
其中比我小的男生和三个女生聊的来，天天开玩笑很火爆，至于另一个男的是主管，三个女生也不会怠慢他，而我只和我的主管说话，偶尔和小男生一起吃饭，至于为什么不理三个女的。
一个女的平胸，另外两个猪一样的身材，实在是没兴趣，说实话就是脱干净了我也没反应。
我一直认为女生的观点是，如果男生不骚扰她们应该是很高兴很高兴，不加微信反倒是清净了很多，然而她们三个不这样认为，认为我清高看不起她们，一共六个人就我的微信没有。
我个人是不主动加我微信我是不会加任何人的，我连主管的微信都没加，平时只有一个工作微信群交流，电话都没存。
上班时间只聊工作不聊私事，能不说话就不说话，聚餐唱歌从来不去，下了班就不认识，但是同事间的尊重和礼貌我都有，比如路上遇见会打招呼，都陪着笑脸的，时间久了她们开始针对我，路上见了她们都不看我了，我也就不打招呼了，工作上的事情需要交流，她们要么不理，要么看都不看很冷的一句话回答，平时嬉皮笑脸见到我就跟欠着钱她们钱一样。

我真很不解，不打扰不聊天不是很好吗，她们的话题我插不上嘴，还没结婚就开始聊育儿经，天天讨论这边的美发店做发型便宜一毛钱，那边的馒头店买十个送一个，淘宝抢个两毛的红包买涨价一元的爆款衣服，真的，我不想有任何非工作的交流，可是现在已经成了两派，小男生和他们三个一派，我自己一派。
感觉工作好难，是难在处理同事关系，位置我不怕，我有关系有技术，要走也不是我走，可是现在天天这样的氛围挺难受，如果早期解决还有补救，现在这种局面已经是风气了，无法挽回了，想改变很难了。