我在公司是财务主管，今天采购了一个插座，价格很高。我与供应商沟通时供应商说这已经很便宜了，到别的地方买还要贵。我当时说了一句“那我们以后发现这个东西贵了，就给你退回。当时供应商立马拉下脸来恶声恶气对我说：你凭什么退给我？口里还说着脏话，这个供应商已经不是第一次了，我一直忍着，现在我想更换此供应商，我应怎样与老板说？