自从即位后，杨坚对南陈的态度一向友好，每次抓获南陈的间谍都赠送衣服、马匹，客气地遣返。然而，陈顼还是不断地侵扰隋朝边境。
公元581年，杨坚发起了一次南征，适逢陈顼第二年去世，再加上突厥进犯，杨坚停止用兵，还派使者吊唁，在给陈叔宝的信中有杨坚顿首之语。
陈叔宝的回信越发狂妄自大，信末冷嘲热讽道：“想必你境内安好，我这里天下清平。”杨坚很不高兴，将回信展示给朝臣，上柱国杨素认为君辱臣死，再拜请罪，怂恿杨坚再次南征。
后来，杨坚向高熲询问平定南陈之策，高熲回答道：“江北天气寒冷，庄稼收获要晚一些，而江南水田里庄稼要成熟得早一些。估计在对方的收获季节，我们征集少量军队，声言要袭击江南，他们必定屯兵守御，足以使他们耽误农时。等到对方聚集了军队，我们便可以解甲散兵。如此反复，他们就会习以为常；我们再调集大军准备进攻，他们必然不会相信。这样，在他们犹豫时，我们的大军已经渡过长江，登岸作战士气就会大增。江南水浅土薄，房舍多用茅竹搭成，储积都不是藏在地窖里。如果我们暗中派人因风纵火，焚其储积，等他们重修后再去焚烧。不出数年，他们必定力竭财尽。”
杨坚欣然采纳了高熲的计谋，几年下来，南陈官民开始疲惫不堪。
有了高熲做榜样，杨素和吴州总管贺若弼、光州刺史高劢（音同卖）、虢州刺史崔仲方等人也都争相进献平定南陈之策。崔仲方上书道：“如今，必须自武昌以下，在蕲、和、滁、方、吴、海等州增加精兵，秘密部署、筹划；在益、信、襄、荆、基、郢等州建造舟船，同时尽量壮大声势，作水战的准备。蜀、汉二江在长江的上流，是水陆要地，势所必争。陈朝虽然在流头、荆门、延洲、公安、巴陵、隐矶、夏首、蕲口、湓城等地置备了船只，但最终还是要聚集大军于汉口、峡口，通过水战来与我们决战。如果陈朝断定我们只在上游部署有重兵，因而命令精锐赶赴上游增援，我们在下游的将帅即可乘机横渡长江；如果陈朝把精锐都部署在下游守卫，我们上游诸军即可顺流而下，鼓行向前。陈朝虽然有九江、五湖之险可资凭恃，但失德则难以固守；徒有精锐骁勇的三吴、百越之兵，因无恩则不能自立。”
杨坚对此深以为然，以崔仲方为基州刺史，让他按计划准备。
等到陈叔宝接受萧岩等人的投降，杨坚更加愤怒，对高熲道：“朕身为天下百姓父母，怎能因为一条长江而不去拯救他们呢！”命令大造战船。
有人建议应该秘密准备，杨坚不以为然道：“朕将要替天行道，有什么可保密的呢！”并让造船者把砍削下的碎木片投进江里，使其顺流而下，宣称：“如果陈朝害怕，并改过自新，朕夫复何求！”
杨素也率军在永安建造大船，名为五牙，在船上建五层楼，高一百余尺；又在船的四周设置六根拍竿，都高五十尺，可乘载战士八百人。次一等的战船名为黄龙，可乘载战士一百人，其余称作平乘、舴艋的舰船大小不一。
晋州刺史皇甫续在赴任前向杨坚辞行时进言，宣称平定南陈有三条理由。
杨坚问他具体情况，皇甫续回答道：“第一是以大国吞并小国；第二是以有道讨伐无道；第三是陈朝接纳叛臣萧岩等人，我们师出有名。如果陛下命将出师，臣愿效微薄之力。”杨坚非常高兴的慰劳一番再让他上任。
当隋朝君臣都对南征信心百倍并有条不紊的筹备时，南陈却是另一番景象。
当时，南陈的妖异怪事极多，比如临平湖一直被水草堵塞，此时突然散开。
陈叔宝非常厌恶，自卖于佛寺为奴，想以此来镇住妖异，又下令在建康城中修建大皇寺，在寺中建造七层宝塔。但还未完工，佛塔就从中起火焚毁。
有个名叫章华的吴兴人好学不倦，工于诗文，朝臣因为他没有功劳，又缺乏资历，竞相诋毁他，以他为太市令。
郁郁不得志的章华想通过上书陈叔宝的方式逆袭，进言道：“高祖武皇帝南平百越，北诛侯景；世祖文皇帝东平吴兴、会稽，西败王琳；高宗宣皇帝收复淮南，拓地千里。可是自陛下即位以来已有五年，不思先帝创业之艰难，不知天命震怒之可畏；溺爱嫔妃，沉湎酒色；祭祀祖宗七庙时托辞不出，册封三位妃子时则亲临殿庭；老臣旧将弃置不用，却提拔谄佞谗邪的小人。如今，边界日益缩小，隋朝大兵压境，陛下如果不能改过自新，臣认为国家将亡，建康将成一片废墟。”陈叔宝大怒，当天就将他杀了。
公元588年正月，陈叔宝一面派散骑常侍袁雅等人出使隋朝，一面派散骑常侍周罗睺（音同侯）率军驻扎峡口，侵犯隋朝的峡州。
对于陈叔宝这种不作不死的行为，杨坚一点都不惯着他，南征开始提速。
三月初九，杨坚下诏曰：“陈叔宝盘据着巴掌大的地方，却欲壑难填，劫夺百姓使他们倾家荡产，驱逼黎民，劳役不休；穷奢极欲，昼夜寻欢作乐；诛杀直言之士，族灭无罪之家；欺瞒上天，作恶多端，却去祭祀妖鬼，祈求福佑；与宠妃出游，侍卫翼从，前呼后拥，清道戒严，自古以来，帝王昏庸腐败，难以为比。使正人君子潜逃归隐，小人奸臣得志弄权，天地为之震怒，人妖物怪出没。士大夫钳口结舌，百姓侧目而视。再加上违反德义，背弃誓言，犯我边疆，白天隐伏，夜间出游，像鼠窃狗盗那样。普天之下都是朕的臣民，每当听到有关江南百姓受苦受难的奏疏，朕都感到痛苦悲伤。因此，要出师讨伐，以正国法，诛灭暴君。”又派使者把玺书送给南陈，历数陈叔宝的二十条罪状，并抄写三十万份诏书，向江南广为传播散发。
得知隋朝即将大举进犯，陈叔宝派散骑常侍王琬和兼通直散骑常侍许善心出使隋朝，杨坚将他们扣留在客馆，一直不让他们回国复命。
十月二十三，杨坚于寿春设立淮南行台，以晋王杨广为行台尚书令。
十月二十八，杨坚将南征之事在太庙祭告祖先，并以杨广、杨素和秦王杨俊三人为行军元帅，命杨广从六合出发，杨俊从襄阳出发，杨素从永安出发，荆州刺史刘仁恩从江陵出发，蕲州刺史王世积从蕲春出发，庐州总管韩擒虎从庐江出发，吴州总管贺若弼从广陵出发，青州总管燕荣从东海出发，共有行军总管九十位，兵力五十一万八千人，都接受杨广的节度，军队东起海滨，西到巴、蜀，旌旗耀日，舟楫竞进，横亘连绵千里。
杨坚又以高熲为晋王元帅府长史，右仆射王韶为司马，前线一切事务全由他们裁决处理。两人料理军机、调拨军需，无所贻误。
十一月初二，杨坚亲自为出征将士饯行。十一月初十，杨坚又驾临定城举行誓师大会。
十二月，杨广率领大军进至江北，高熲问行台吏部郎中薛道衡道：“此次出兵，江东一定能攻下吗？”薛道衡回答道：“一定能攻下。郭璞曾经预言：'江东分王立国三百年后，当复与中原统一。’现在三百年已到，这是其一。皇上生活节俭，勤于政事，陈叔宝却荒淫奢侈，昏庸无道，这是其二。国家安危兴亡在于用人，陈朝以江总为宰相，而江总只会赋诗饮酒，不理政事，又提拔刻薄小人施文庆委以政事，又以萧摩诃、任蛮奴等人为大将，他们只有匹夫之勇而无智谋，这是其三。我们政治清明，地大物博，陈朝政治黑暗，地域狭小，军队不过十万人。如果分兵则势孤力单，集兵则会顾此而失彼。这是其四。所以，势在必胜，事不迟疑。”
高熲听后高兴道：“听了你分析的成败之理，令人豁然开朗。我原来只是钦佩你的才学，没想到你还能运筹帷幄。”
与此同时，杨俊督率各部军队进驻汉口，节度指挥上游各军，陈叔宝诏令散骑常侍周罗睺都督巴峡缘江诸军事以拒之。
杨素率领水军顺流而下，越过三峡，进至流头滩。南陈将军戚昕率领青龙战船一百余艘防守狼尾滩，这里地势险要，易守难攻，将士都有些发怵。
杨素慷慨激昂道：“成败在此一举。我军如果白天下船进攻，敌军就会知道我军虚实，加上滩流迅急，船只难以掌握，我们就失去了上游之利，不如在夜里突袭敌军。”
于是，杨素亲自率领黄龙舰船数千艘，将士衔枚，顺流而下，又派开府仪同三司王长袭率领步兵由长江南岸攻打戚昕别处营垒，刘仁恩率领骑兵由北岸向白沙进发。
黎明时分，各军都已就位，一起发起进攻，大败戚昕，俘获南陈全部将士，慰劳后加以遣返，纪律严明，秋毫不犯。
杨素又率领水军顺流东下，舰船布满江面，旌旗甲胄鲜明耀日。杨素坐在一只平板大船上，仪表堂堂，南陈人看到后互相道：“清河公就是江神啊！”
南陈沿江镇戍要塞听说隋军将至，相继飞书奏报朝廷，但中书舍人施文庆、沈客卿把奏疏全部压了下去，陈叔宝对即将到来的噩耗一无所知。
