这句话的出处是来自，二十四史通俗演义中第四回《尧让舜舜让禹总为斯民》的开篇诗，完整的四句诗是这样的：
百岁光阴似水流，道高德重把名留。
儿孙自有儿孙福，莫与儿孙作远忧。
但是原诗中的后半句“莫与儿孙作远虑”却并没有因此而流传下来。
从流传于河北的一个民间故事说起
传说从前在河北有这样一户人家，家里一贫如洗，妻子总是埋怨自己的丈夫没有用，什么本事也没有，还让家人跟着一起受累，有一天又看见游手好闲的丈夫从外面回来便骂道：“你啊你，一天到晚的，什么事都不做只知道出去瞎逛，别人都能赚钱回来贴补家用。
你看看你自己的儿子，脸都饿青了，你也不知道管管！”丈夫自己听了也觉得很委屈：“现在世道不景气你又不是不知道，我要是能有事干，你以为我愿意在外面瞎逛吗，街坊邻居的钱都借遍了，现在根本没有人愿意借钱给我们。
心里也不好过啊，于是妻子便说道赚不到钱，你不会去偷吗？丈夫大吃一惊偷？哪里会有钱让我去偷，“财主家里钱不是多的是吗？你去财主家偷点回来不就行了。
听信了妻子的话后，这个人真的打算铤而走险去地主家里试试，但是没想到地主家里的门墙砌得老高根本翻不进去，于是他沮丧的回到家里，跟妻子说地主家里的门墙太高了他翻不进去，于是妻子又提议说让丈夫“钻洞”进去。
丈夫起初害怕财主家里守卫众多，自己的头刚刚钻进去便被打碎了，于是钻洞之前他先找来一个瓢，结果果不其然刚刚才把瓢放进洞里就被敲碎了，无奈偷不到钱，丈夫自己觉得太丢人了，自己什么也干不成，于是万念俱灰之下没脸回家，便出家当和尚去了。
妻子知道自己丈夫居然去当和尚了，伤心欲绝，消沉了好一阵子，但是也没办法家里还有年幼的儿子要抚养，于是妻子便自食其力把孩子拉扯大，谁知道后来孩子越来越争气，渐渐地展现出在学习上的天赋，更大一点之后又得到高人指点。
于是那年科举考中了“举人”光宗耀祖，为家里改换门庭了。20年后已经离家多年的丈夫到镇上化缘，听说自己的儿子有出息现在已是朝廷的大官，于是非常高兴想要去见一见自己的妻儿，可谁知现在连自家的门都进不了了，重重的侍卫把守着根本无法见到自己的儿子，无奈之下他只好在门前的地上提下了这首打油诗：
二十年前把人偷，一棍打破葫芦瓢。
儿孙自有儿孙福，莫为儿孙作马牛。
于是这后半句“莫为儿孙作牛马”便这样流传了下来。