《说唐》第三回中，杨广和宇文父子带着东宫骠骑在临潼山埋伏，想要杀死辞职回乡的李渊一家，由此扯出了李渊父子和秦琼、单雄信的个人恩怨。那么已经做了太子的杨广为何非要杀死李渊呢？实际上这和一名女子有关，此女子正是陈后主的贵妃张丽华。
当初还是晋王的杨广想要建立功业来争太子之位，因此向隋文帝请缨领兵攻下陈朝。隋文帝犹豫片刻最终决定让杨广去攻打陈朝。杨广为都元帅，高颎为长史，李渊为司马，贺若弼和韩擒虎为先锋，带着大军浩浩荡荡南下，最终攻灭了陈朝。
杨广让高颎和李渊先进入建康做安抚工作。之后，又派出高颎的儿子高德宏来领张丽华到跟前伺候，张丽华是陈后主的宠妃，自是有倾城容颜，晋王杨广早有耳闻，如今陈朝已灭，完全可以把张丽华留在自己身边，但是他知道高颎未必会同意给人，于是让高颎的儿子来领人。
果然，高德宏说明来意之后，高颎表示晋王是来灭陈的，不能先以女色为事。如果说高颎的态度还有缓和的余地的话，李渊的态度则明确的多，他直接表示张丽华就是红颜祸水，导致了陈朝的灭亡，万不能让这样的女子再来祸害隋主，于是建议将张丽华和孔贵嫔直接处死。高颎也答应了李渊的建议，于是李渊命人将孔张二人杀死。
高德宏回去复命的时候，自然不会说自己的父亲不肯交出来，而是说自己的父亲是非常愿意给的，并且早就选出来了十名美女要送与晋王，但是李渊却从中作梗，硬是将孔张二人给杀了。
这件事让杨广和李渊结仇，杨广更是在心里发誓将来要处死李渊。之后杨广在为太子之位谋划的时候，曾拿出大量的珍宝来贿赂朝廷的官员，唯独李渊没有接受杨广的贿赂。再后来就是太子被废为庶人，杨广被封为太子的时候，李渊仍旧为原太子说好话，彻底得罪了杨广。
已经成为太子的杨广转过身来开始对付李渊，利用当时流行的谶语，想让隋文帝对天下姓李之人产生猜忌进而杀死李渊，好在有高颎向隋文帝提建议，索性将朝中的李姓大臣都免了官职放归家乡，隋文帝同意了这个建议。
后来也就有了临潼山中的事情，杨广等人埋在李渊回家的必经之路上，想在这里结果了李渊一家，没想到当时秦琼因为押解犯人途经此处跑到山上来瞻仰伍子胥庙，因缘巧合之下救了李渊一家。而在秦琼离去之后，单道也从这里经过，李渊以为是强盗而将其射死，从而与单道的弟弟单雄信有了深仇大恨。
实际上，杨广要杀李渊这段故事仅仅是为了引出以后的故事，是《说唐》中的小说创作，而在真实的历史上，李渊并没有参与隋灭陈之战。主张杀死张丽华的是长史高颎，而不是李渊。《说唐》中将李渊强行加入到灭陈之战中来自然是为了故事的需要。
历史上，杨广谋太子的时候，李渊并没有成为他的阻力，而且，在杨广继位后，李渊这个表兄还受到了杨广的重用，虽然也曾被猜忌，但却被李渊完美躲过。大业末，李渊成为太原留守，开始为起兵反隋积蓄力量，然后起兵成为第一个攻进长安的割据势力，最终成为大唐的建立者。