我这个单位，男人比较少，女人比较多。我在这里工作。工作成绩很出色，经常获奖。但是也经常和同事有矛盾，尤其是几个女同事吵架过。我为了避免麻烦，就尽量少说话。平时对人比较冷淡。自己做自己的工作。只要工作成绩优秀，就不用担心位置。但是最近每隔几天，我就在桌子上发现被人放东西。开始我以为是无意的，后来发现拉好几次。要么是个笤帚，要么是个盆。要么是个废纸。我不想公开，怕影响不好。但是也不想老被人放东西。那我该怎么办？