天佑三年(906年),刘知俊率兵五千大破凤翔节度使李茂贞六万之众,连克鄜、延等五州,受封检校太傅、同平章事。开平二年(908年)二月,刘知俊任潞州行营招讨使救泽州,迫退河东节度使李存勖的晋军,六月,再破李茂贞于幕谷,俘斩千计,李茂贞仅以身免。
开平三年(909年),刘知俊据同州叛变,送款于李茂贞,分兵袭雍、华二州,活捉雍州节度使刘捍。朱全忠听说刘知俊背叛的消息,命侍卫马步军都指挥使刘鄩率兵进讨,攻克潼关,刘知俊自知不敌,举族奔凤翔。李茂贞因刘知俊骁勇,封他为检校太尉、中书令,命其率兵攻灵武。刘知俊大败后梁名将康怀贞,被加封为泾州彰义军节度使。