台退守苗疆，起义进入低潮，起义军没有被吓到，坚持抵抗。
杨晟台兵败五脑寨后，得知龙禹官突然病逝常德桃园，立即收集义军余部一万之众，又攻诚州，侵扰黎平边境。起义军断渠阳之道，宋军不得进。
元佑三年（1088），唐义问见杨晟台损失惨重，又派遣东南第七将王安率兵进攻义军。王安骄傲轻敌，轻率冒进，进入了飞山地区。
飞山地区是杨家的大本营，经营了百余年之久，每个青壮峒民拿上武器就是正规军，战斗力和宋军相比，可以说一个天上一个地下。
王安的军队到了山区，火炮根本发挥不了作用，而潜伏在丛林中的义军对宋军射杀一阵之后，就跑得无影无踪，根本追不上他们，这让王安颜面扫地。
于是，王安下令部队停止前进，要幕僚写了一封极富挑战性的、措辞犀利的战书，遣人送至杨晟台的手中。
杨晟台打开战书，飞速读完了，拍案而起：“好一个王安，骂我是贼寇，我也就不计较了，竟然侮辱我飞山太公，老子跟你没完！”
于是杨晟台写了一封信，让宋军信使捎了回去，双方约定在一处平地一决生死，两人下了马，四目对视。
杨晟台说：“王安，你是将军，出言粗鲁，和我较量也不必出此下策。”
王安说：“我不这样，你会出来吗？打仗就要光明正大，何必偷偷摸摸？”