公元318年，刘聪病重，派快马送诏书封石勒为大将军、录尚书事，接受遗诏辅政，石勒坚决推辞不就。刘聪担心自己死后石勒成为心腹大患，又派使者持节任命石勒为大将军、持节钺，都督、侍中、校尉、二州牧、上党竣工封号如故。增封十郡，石勒还是不接受。

公元318年8月31日，刘聪驾崩，翌日，其子刘粲袭伪位。

从此以后，匈奴汉国形势发生了急剧的变化。大将军靳准因其女得宠于刘粲，逐渐窃取汉国政权。看时机逐渐成熟，靳准立即发动政变，杀死刘粲，并将居于平阳的匈奴刘氏宗室无论少长皆斩于东市，自号大将军、汉天王，遣使向东晋称藩。

石勒听闻后，立即命令张敬率骑兵五千为前锋讨伐靳准，石勒统率精兵五万接应，驻扎在襄陵北原上（今山西省临汾市东南），羌族、羯族闻风归附的人口多达四万余户。靳准多次挑战，石勒坚守壁垒以挫败其锐气。

见刘粲已死，刘曜称帝，任命石勒为大司马、大将军，加九锡，增封十郡，加上以前的共十三郡，晋爵为赵公。

石勒在平阳小城攻击靳准，平阳大尹周置等人率六千杂户投降石勒，巴帅以及诸羌、羯投降的多达十余万户，石勒将他们迁徙到司州诸县。

靳准派卜泰送大车、服饰向石勒求和，石勒见刘曜也有招降靳准的想法，便把卜泰送给刘曜，并让卜泰转告刘曜，说城内都没有归降于他的想法，以挫败他的军势。刘曜秘密与卜泰结盟，派卜泰回平阳抚慰诸屠各。

见卜泰去了这么久才回来，石勒怀疑卜泰与刘曜有阴谋，想要斩杀卜泰以迅速收降靳准，诸将都说:“现在斩杀卜泰，靳准必定不再投降，就让卜泰在城中宣扬汉的盟誓，使他们诛杀靳准，靳准必定因害怕而马上投降。”石勒想了很久才听从诸将的建议放走卜泰。

卜泰到平阳，与将领乔泰、马忠等起兵攻击靳准，杀死靳准，推选靳明为盟主，派卜泰以及卜玄奉送传国玉玺给刘曜。

石勒得知后大怒，派令史羊升出使平阳，责备靳明等杀死靳准之罪。靳明大怒，斩杀羊升。

羊升被杀，石勒怒不可遏，率军攻击靳明，靳明出战，大败，横尸二里。靳明于是紧闭城门坚守，不再出战。

石虎得到石勒的指示，率幽州、冀州的兵众与石勒会合一同攻击平阳。刘曜派征东将军刘畅救援靳明。

见对方有援兵，石勒命令驻军蒲上以等待机会。

靳明见刘畅来援，率平阳的兵众投奔刘曜，刘曜向西退到粟邑（今陕西省渭南市白水县）。

刘曜退出平阳后，石勒军冲进平阳，焚烧平阳宫室，派裴先、石会修复刘元海、刘聪二墓，收刘粲以下百余具尸首埋葬了，把浑仪、乐器全部迁徙到襄国。

刘曜派使者郭汜等持节任命石勒为太宰，领大将军，晋爵赵王，增封七郡，加上以前的共二十郡，出入警戒、清道，冕有十二旒（读作流，古代帝王礼帽后的飘带），乘坐金根车，驾六匹马，这是在模仿曹操辅佐东汉的事迹。