颜师伯幼时家庭并不宽裕。稍长大后开始涉猎《书》、《传》，尤其对声乐造诣较深。刘道产镇守雍州时，颜师伯为辅国行参军，弟妻为臧质女，臧质任徐州刺史时，任颜师伯为主簿。衡阳王刘义季取代臧质任徐州刺史时，臧质向义季举荐颜师伯，刘义季即命颜师伯为征西行参军。兴安候刘义宾代义季及世祖刘骏代义宾为徐州刺史时，颜师伯仍为辅国，安北行参军。王景文时为咨议参军，因爱其办事敏捷，又举荐给世祖刘骏，仍被授予徐州主簿。刘骏镇守浔阳时，报请文帝刘义隆，封颜师伯为南中郎府主簿，文帝不许。刘骏又报请封颜师伯为长流正佐，文帝亦不许，认为其才能难当此任，而改授为参军刑狱。不久，转主簿。
元嘉三十年（公元453年），刘骏即皇位， 以颜师伯为黄门侍郎、骠骑长史、南郡太守，后改任骠骑大将军长史、南濮阳太守、御史中丞。臧质等反叛，颜师伯出任宁远将军、东阳太守，领兵置佐。事宁，复为黄门侍郎，领步兵校尉。后改任前军将军，徙御史中丞，迁侍中。
大明元年（公元475年），封平都县子，食邑五百户。大明二年（公元458年），颜师伯由廷中卫将军起为持节，督青、冀二州及徐州的东安、东莞，兖州的济北等三郡军事、辅国将军，青、冀二州刺史。是年，拓跋浚率部进犯青口，颜师伯一月内四战四捷，大获全胜。孝武帝刘骏下诏嘉奖其功。平定拓跋竣后，颜师伯进征虏将军。大明三年（公元459年），竟陵王刘诞叛乱，颜师伯遣长史嵇玄敬率五千人平定了叛乱。大明四年（公元460 年）， 颜师伯升为侍中，领右军将军，恩宠愈加，群臣未有能比者。不久，又迁吏部尚书，兼领右军将军。大明七年（公元463年），补颜师伯为尚书右仆射。时分置 二选，陈郡谢庄、琅琊王昙生并为吏部尚书。颜师伯之子举荐张奇为公车令，皇帝刘骏以为张奇资历不够，使张奇任兼市买丞，以蔡道惠为公车令。令史潘道栖、诸道惠、颜祎之、元从夫、任澹之、石道儿、黄难、周公选等扣压蔡道惠的敕文，使张奇先至公车，不去任兼市买丞职务。颜师伯被坐以子干预政事， 降为太子中庶子，谢庄、昙生被免官，潘道栖、诸道惠被弃市，颜祎之等六人被鞭杖一百。
孝武帝刘骏临崩，颜师伯受遗诏辅幼主，领尚书中事。大明八年（公元464年），前废帝刘子业即位，颜师伯仍任前职，领卫尉。颜师伯居权日久，天下辐辏朝拜、纳贿者门庭若市，家产积聚丰厚，妓妾声乐，尽天下之选，园池宅第，冠绝当时，骄奢淫恣，不可一世。不久，又迁尚书右仆射，领丹阳尹。前废帝刘子业欲亲主朝政，发诏转颜师伯为左仆射，加散骑常侍，以吏部尚书王景文为右仆射，夺其丹阳尹，又分台理政。直到这时，颜师伯才觉察到问题的严重性，开始着慌，因而与柳元景密谋废掉刘子业。谋泄，于永光元年（公元465 年）与太宰江夏王刘义恭、尚书令柳元景等同时被诛，时年47岁。六个儿子一并被杀。
颜师伯之弟颜师仲，先后任中书郎、晋陵太守。颜师叔任司徒主簿、南康相。明帝刘彧即位，谥师伯曰“荒”。颜师仲之子颜干继承封爵。
