刘渊自幼好学，博览群籍，且文武双全。他的胳膊长得比一般人长很多，又膂力过人，因此射箭的技术超群。可是尽管这样，刘渊却因为不是汉人而多次失去了被朝廷重用的机会，晋朝的民族歧视政策让他非常气愤而心痛。
直到在晋朝任职的刘渊之父刘豹死后，刘渊才得以继承父职在晋朝为官，治理匈奴左部。他凭借着过人的才干和亲和力，陆续得到升迁，后来任行宁朔将军、监五部军事。
西晋末年，国内各种矛盾日益激烈，相继爆发了“八王之乱”和各种起义活动。刘渊认为时机成熟，遂毅然起兵反晋，号大单于，在离石（今山西离石）建都。公元304年，刘渊迁都左国城（今山西离石东北），即汉王位，年号元熙。公元308年（晋永嘉二年）十月，刘渊即皇帝位，改元永凤，并对其宗师亲族进行了分封。
次年五月，刘渊派其子刘聪攻打洛阳，在连胜两仗之后，刘聪开始骄傲自满，随后即被晋将垣延打败。309年冬，刘渊再次派遣刘聪等率精兵五万向洛阳进发。然而经过一番艰苦的围攻仍然没有攻下洛阳城，遂解围而还。回国后，刘渊又对有功的人员进行了加封，还立了皇后和太子。
310年（晋永嘉四年），刘渊在位六年后病死，时年近六十岁。由他所创立的汉（赵）国在他之后又历刘和、刘聪、刘粲、刘曜四世，直到公元329年（晋咸和四年）才告灭亡。