天寶五年, 這一年還沒出正月，韋氏家族便遭受了又一次危機。朝中有人以太子妃兄韋堅乃皇親國戚, 不應與守邊將領私下結交為由對韋堅提出彈劾。接著，宰相李林甫則向玄宗奏稱韋堅與節度使結謀，“欲共立太子”，玄宗聞言，立即下令嚴審兩人。
朝中人皆知道, 這番風雨並非針對的是韋家, 而是太子。李林甫當年在三庶人案以後並未支援忠王, 而是站到武惠妃那一邊，直到李亨當上太子，他怕有一天新弟繼位清算舊賬, 便一直想要再易太子之位, 再加上他與韋堅在安祿山一事上起了沖突，更視其為眼中釘肉中刺, 欲除之而後快。而玄宗雖知道這個兒子無甚根基，卻也忌憚韋家, 因此對李林甫未加幹涉。