李淵は、
北周の唐国公・安州総管をつとめた
李?(仁公)の子として生まれた。その出身である隴西李氏は、北周の八柱国の家系で、北魏においては皇后を出す資格のある家柄として続いた北朝の名門であった。隋の
文帝の
独孤皇后が李淵の叔母にあたるため、李淵は文帝に親愛された。李淵は隋の千牛供身となり、?隴二州
刺史・岐州刺史・?陽楼煩二郡
太守・殿内少監・衛尉少卿を歴任した。隋の
煬帝が
高句麗遠征を挙行すると、懐遠鎮で軍の糧食の運搬を監督した。
楊玄感の乱が起こると、弘化留守となり、関右の諸軍を統率して玄感の進軍をふせいだ。
615年、
山西河東慰撫大使に任ぜられ、龍門の母端兒の乱を討伐した。また絳州の柴保昌を攻撃して降した。
突厥が隋の辺境を侵すと、馬邑太守の王仁恭とともに突厥軍を迎撃した。
617年、
太原留守に任ぜられた。次子の
李世民や晋陽令の
劉文静らの使嗾により
[旧唐書、新唐書の両正史では、李淵の挙兵は李世民の画策によるものとされている。しかし挙兵当時には未成年だった李世民の策謀で李淵が動かされたというのは疑わしい。太宗李世民を最高の名君に仕立て上げるために、高祖李淵の人物像は優柔不断で女と酒に弱い人物として矮小化され、李世民を唐の実質的な創建者として美化したものと考えられる。これは布目潮?などの説。]、隋に対する反乱を決意。6月に諸郡に檄を飛ばして起兵し、一気に軍を南下させ、11月には長安(当時は大興城)を陥れた。長安の留守をしていた代王
楊侑を擁立して隋の恭帝とした。
さらに、武徳9年(626年)、太史令であった
傅奕の十一カ条の上奏文の内容に基づいて、高祖は仏教・道教の二教ともに廃毀する詔を発した。それは、あたかも、40余年前に、
北周の
武帝が衛元嵩の上表文をもととして仏道二教を廃したのを彷彿とさせる措置であった。その詔の文章によれば、徳行ある僧尼、道士女冠は、大寺や大観に住せしめて、その余の者は還俗させ、長安には
寺は3ヶ所、
道観は2ヶ所を残し、天下の諸州にも各1ヶ所を残し、その余は尽く廃毀させることを求めた。しかし、同年
6月4日の玄武門の変によって高祖は退位して太上皇となったため、詔の内容が実施に移されることはなかった。