总被“贼”惦记着，该怎么办？

小弟我所在的部门两年来只有我一个人，啥活都干，一人包干。如今好不容易盼着来了一个新同事，却发现隔壁部门的负责人总来晃悠，言语间透露着，以“多岗位锻炼”、“年轻人就是要压担子”的名义，想安排我这边新同事帮他干活，实际上也是想拉拢人心。请问各位大佬，怎么应对？感激不尽。