宋太祖收回了亲信大将的兵权之后，朝廷内部消除了隐患，他便雄心勃勃，打算出兵扫平各个割据政权，使国家得到统一。
可当时遗留下来的小王国还有不少，北方有北汉，南方则有南唐、吴越、后蜀、南汉、南平等，该从哪里下手呢？这个问题，宋太祖一连考虑了好几天，总拿不定主意。不知道是先取北汉好，还是先攻南方适宜。
于是，宋太祖就想找赵普商量商量。
宋太祖自从做了皇帝，为了考察百官的言行和了解实情，喜欢穿上便服，进行私下出访，或者到一些功臣家坐坐、聊聊天。文武百官都知道宋太祖的这个特点，因此下朝回家之后，都不敢脱掉朝服，生怕宋太祖什么时候跑到家里来，弄自己个措手不及。对此，赵普最为清楚，因为宋太祖光顾最多的就是他的家，而且说来就来，从不打招呼。
这天晚上，天下起了大雪，转眼已是白茫茫一片。赵普想，这么大的雪，宋太祖该不会来了吧。于是就脱掉朝服，和妻子一起坐在火炉边，说话谈心。老夫妻俩正说着话，忽然响起了一阵敲门声。
赵普打开大门，只见宋太祖披件斗篷站在雪地里。他大吃一惊，连忙请宋太祖进屋，说道：“天这么晚了，又下大雪，真没想到皇上还会出来。”
宋太祖抖抖身上的雪，边说边往里走，说：“我心里头有件事，总决定不下来，弄得觉也睡不好。反正睡不着，不如出来同你商量一下。”赵普闩上门，跟在宋太祖后面进了屋。赵普的妻子忙向宋太祖行礼，然后拨红炭火，在炉上炖上肉，又拿出酒来招待他。她知道，宋太祖喜欢边喝酒边说话。因此，宋太祖一来，她就按照惯例张罗起来，然后打声招呼，就先去睡了。
赵普端起酒杯，请宋太祖喝酒，两眼征询似的望着太祖。宋太祖一杯酒下肚，说道：“我自黄袍加身以来，实在是一天好觉也没睡过啊。你想，在我卧床的周围，尽睡着些与我心思不一、成天想算计我的人，叫我怎么能安心睡觉呢？”
赵普轻声问道：“皇上是想统一天下吧？目前倒确实是个好时机。是南征还是北讨，我想听听皇上的安排。”
宋太祖微微一笑，说：“我想出兵太原，先打北汉。”
赵普沉默许久才说：“这一安排可不是臣下所能赞同的。”
宋太祖忙问原因，只见赵普喝了口酒，缓缓道来：“太原一城当西、北两面，如果我们攻下了太原，这两边的防御就要靠我们独自担当了。我们就会受到辽朝的直接威胁。不如先拿下南方各国，回过头再取北汉。到时，我们的力量增大了，小小的北汉，这么弹丸似的一块地方，还怕它跑了不成？”
宋太祖一听，哈哈大笑起来，说：“我的意思也是先南后北。刚才我只是想听听你的意见罢了。”
于是，宋太祖拿定主意，按照先南后北也即先易后难的步骤，开始出兵征讨。在短短的十年里，就消灭了南平、后蜀、南汉三个割据政权。至此，南方只剩下南唐、吴越两国了。
南唐在“十国”当中是最大的一个独立王国，管辖着如今江苏、安徽的淮河以南和福建、江西、湖南、湖北东部等大片土地。那里良田沃土，经济较为发达，再加上很少受战争破坏，人民一直过着较为安定的生活。可是南唐的君主，除了开国君主李昪还有些作为之外，后面的两个君主都是治国理政上的低能儿，因此，把个好端端的国家弄得每况愈下，越来越不成样。尤其是最后一个君主李煜，历史上称南唐后主，他对于音乐、书画十分精通，更是一个非常出名的作词能手。正因为他的精力、兴趣都在吟诗作赋、琴棋书画上，所以他对政事也就懒得过问，对如何处理国家大事可以说是一窍不通。北宋刚刚建立时，李煜的父亲李璟还在位，他派出使臣向宋太祖表示祝贺，表示愿意归顺，并送去大量财物。961年，李煜即了位，他继续向宋太祖进贡。后来他看宋太祖相继吃掉了周围的三个小国，心里才开始发慌，便于971年派人给宋太祖送上一封信，表示愿意取消南唐国号，自己改称“江南国主”。他自以为对宋朝如此恭顺，就可以保持自己在江南的统治地位了。
宋太祖不动声色，却在暗暗做着攻取南唐的各种准备。他得知李煜特别信奉佛教，在都城金陵养了上万名僧侣，一退朝就换上僧衣念佛。宋太祖利用李煜这一弱点，派了一个能言善辩的人去给李煜讲佛教的“性命之说”，使李煜对佛教、迷信的一套东西更为着迷，对治国守边的事就更不闻不问了。宋太祖还用反间计，让李煜误杀了一名能攻善战的大将。为了顺利渡过大江，宋朝悄悄测量了采石（今安徽马鞍山境内）江面的宽度，然后准备了大批搭造浮桥的龙船和大竹排。
到974年，消灭南唐的准备都做好了，宋太祖便命大将曹彬、潘美带10万兵马南下攻打南唐。曹彬率水军沿江东下，直达池州（今安徽贵池），根本没遇到阻挡。不日又连续攻下铜陵、芜湖、当涂（均为安徽城镇）等要地。
潘美带领的步军抵达江边之后立即动手搭造浮桥，三天就完成了。宋朝的兵马像在陆地上行走一样，很快通过了长江，直逼南唐都城金陵。
听说宋朝大军来到，李煜派了一个名叫皇甫继勋的人去率军抵抗，自己却什么事也不问，成天躲在后花园与老和尚们谈经说道。皇甫继勋早就看不惯李煜那风流公子的一套，存心希望南唐快倒。因此，皇甫继勋根本不认真守城，手下有哪个偏将主张向宋军进攻，他不仅不支持，反而加以训斥。宋军兵临城下的消息，他也一直瞒着，不去禀告李煜。
宋太祖在曹彬领军出发之前，曾嘱咐曹彬，说：“两国交兵除了不可避免的伤亡之外，不准随便杀一个人。攻城、打仗要有耐心，最好是让他们自己投降。”
曹彬是个办事稳妥的将军，他遵照宋太祖的旨意，从二月围住金陵之后，并不认真攻打，甚至是围而不攻。几个月过去了，李煜丝毫不知道宋军已兵临城下。这样的昏君，这样的战争，在历史上都是少见的。
五月的一天，李煜走出了后花园，站在城墙上一看，城外到处飘扬着宋军的旗帜。他这才大吃一惊，气得把皇甫继勋杀了，然后一面赶忙派大臣徐铉去求和，一面派人到湖口（今江西九江北部）调大将朱令赟来解金陵之围。
徐铉是南唐少有的忠贞大臣，为人正直，能写一手好文章，而且能言善辩。为了保住南唐，他已经去过一次东京（即开封）向宋太祖求情说和。这一次，在这个时候上东京，他是做了被杀的准备的。
到了东京，见到宋太祖，徐铉就说：“李煜对待皇上，就像儿子侍奉父亲一样虔诚恭顺，为什么还要刀兵相见呢？”
宋太祖反问道：“既然我们是父子，有什么必要分成两家呢？”
徐铉答不上来，就苦苦恳求宋太祖手下留情，不要攻取金陵。宋太祖给他磨得不耐烦了，大手一挥，怒气冲冲地说：“你不必多说了。李煜是没什么罪，但如今天下一家，国无二主，我怎么能允许有人在我的床边打呼噜睡大觉呢！”
徐铉没办法，只好回到金陵。这时已是十一月，宋军在城底下已围了八九个月。金陵城里吃的、烧的都已十分匮乏。在此之前，前来支援金陵的朱令赟的15万大军，受到宋军奇兵的攻击，弄得全军覆没，朱令赟本人也被活捉了。
曹彬认为发起攻击的时间到了，就写了封信给李煜，劝他及早投降，免得城里百姓遭殃。李煜虽已彻底绝望了，但他并不想主动投降，还希望死皮赖脸地拖下去。
曹彬于是下令攻城，出兵之前，他让将士发誓，决不对金陵进行抢掠洗劫。宋军将士憋了将近一年，一个个斗志昂扬，南唐兵马不堪一击，城池很快被攻破，李煜只好投降，做了宋太祖的俘虏。宋太祖虽然很优待他，但李煜始终念念不忘他的故国，整天以泪洗面，并写出了不少反映他的忧思愁绪的优秀诗篇。