而独孤怀恩也真没把自己当成外人，李渊有一次跟他饮酒之时，喝醉了戏言：“这大隋的天下现在落到了朕的手里，以后恐怕也该轮到表弟你了吧！”
这句话倒是助长了独孤怀恩的野心，回府之后，他就对左右亲信元君宝说道：“以前我们独孤家只有女人贵为皇后，太后，以后也应该轮到男丁们大富大贵了吧。”从此，元君宝等人开始在军中活动，为其拉拢腹心死士，以图不轨。