还在攻克长安时，李渊就派光禄大夫李孝恭招慰山南，自金川（今陕西安康）出巴、蜀，“檄书所至，降附者三十余州”。李孝恭大治舟舰，训练水师，积极备战。武德四年（621年）九月，李渊以李孝恭为荆湖道总管，李靖为行军总管，统水陆十二军，进攻占据江陵（今属湖北）、自称梁帝的萧铣。萧铣部将文士弘拒战失败，萧铣出降。唐军一举平定了荆湖地区。 攻取江陵后，李渊又命李靖安抚岭南诸州。李靖于次年十一月招降岭南豪酋冯盎、李光度、宁长真等，下九十六州，所得民户六十余万，“岭南悉平”。 割据淮南的军阀杜伏威早在于武德二年（619年）归附于唐。中原既定，杜伏威奉诏入朝，留辅公祏据守。 武德六年（623年），辅公祏举兵反唐，称帝于丹阳。李渊命李孝恭率诸将水陆并进，以征讨辅公祏。至武德七年（624年）三月，辅公祏败死，江南全部平定。 至此，唐廷基本上削平了隋末以来分裂割据的局面，基本实现了全国的统一。
