前年，也就是建武五年（29年），光武帝再次派来歙说服隗嚣派儿子入侍，隗嚣听说刘永和彭宠都已经破灭。
于是，他就派遣长子隗恂随来歙到京觐见，刘秀很高兴，把隗恂封为胡骑校尉，封镌羌侯。
其实这个时候，隗嚣是亲近刘秀的，他前几年就斩了公孙述的来使，出兵攻击，连破公孙述大军，所以蜀兵不再北出。
但是隗嚣将领王元、王捷常常以为天下成败还未可知，不愿一心一意归顺光武帝。
王元就曾对隗嚣说：“过去更始西都长安，四方响应，天下景仰归向，说是天下太平。
一旦更始帝失败，大王几乎没有安身之所。现在南有公孙述，北有卢芳，江湖海带，有张步、董宪等王公十多位各据一方。
而您想迁就马援的意见，放弃千乘的基业，寄居作客于危险的国度，以求万全，这是循着覆车的轨道而进，不是好计策。
现在天水完整富裕，兵马最为强盛，北攻西河、上郡，东收三辅之地，按照秦的旧迹，外山内河互为表里。
元请以少数兵力为大王扼守险要函谷关，这是万世一时的良机。如果现在不能采用此计，那么暂时畜养兵马，据险自守，坚持下去，以等待四方的变化，即使图王不成，退一步也足以称霸一方。
总之，鱼是不能脱离深水的，神龙失去了依托就与蚯蚓没有两样了。”
隗嚣心里非常赞成王元的计划，虽然派遣了儿子入朝当了人质，还是想凭藉其地理条件的险要，自己独霸一方。
于是一些游士长者，逐渐离开了他。
去年，建武六年（30年），关东平定。光武帝因久苦兵事，以隗嚣有儿子作为内侍，公孙述远据边陲。
于是对诸将说：“暂时把这两个小子搁置在一边吧。”因此几次传隗嚣和公孙述，告以祸福。
隗嚣的宾客、掾史多是学士，每次上言事，当世士大夫都朗读背诵，所以光武帝有所辞答，他们尤为重视。
隗嚣再次派遣使者周游到京，先到冯异营，周游被仇家所杀。光武帝派遣卫尉铫期带着珍宝缯帛赏赐隗嚣，铫期至郑县遇到盗贼，珍宝财物都被盗走。
光武帝常称隗嚣为长者，想方设法把他招来，听到消息后叹道：“我与隗嚣的事很不顺利，他派来的使者被杀，我赐给他的财物也在路上被盗光。”
光武帝厌倦战事，想休兵，但有人不让呀，他刚刚休兵没有多久，公孙述遣兵侵犯南郡。
光武帝得知，大怒，下诏令隗嚣从天水伐蜀，想以此来分化瓦解其心腹。
隗嚣再次上说：“白水地势十分险阻，山路悬险，栈木为道。”又多方强调困难。
光武帝知隗嚣终不肯为他所用，于是便想加以讨伐。
建武六年（30年），光武帝至长安，告隗嚣将派建威大将军耿弇等七将军从陇西攻蜀。
隗嚣反对，并派大将王元率兵据陇坻（今陕西陇县西北），伐市塞道阻止汉军进攻。四月，汉军沿渭北平原翻陇山仰攻陇坻，结果大败。
王元跟踪追击，幸马武率精骑断后，使汉军得以撤回。
刘秀留耿弇守漆县（今陕西彬县），冯异守栒邑（今陕西旬邑东北），祭遵守沂县（今陕西陇县南），另调吴汉由洛阳西进，在长安集结兵力。
隗嚣乘胜派行巡攻栒邑，王元取肝县，均被击败。
时割据河西的窦融已归附刘秀，进攻金城（今甘肃兰州市西北），击破助隗嚣的羌族豪强何封等部，隗嚣腹背受敌。
隗嚣大将马援也在隗嚣反汉时归附于汉。光武帝给其精骑五千，招降隗嚣部属和羌族豪长，从内部分化瓦解隗嚣。
隗嚣于是上谢罪说：“部下听说大兵猝到，惊恐自救，臣隗嚣不能禁止。所获战利品，不敢废臣子之节，亲自追还，以前虞舜事父，父以大杖责打他时他逃避开，父以小杖打他时就让他打。
我虽然不聪明，不敢忘记这个礼义。现在我的事，全在本朝发落，要杀就杀，要加刑则加刑。如果蒙恩宽赦，更得洗心革面，则死骨不朽。”
官吏们以隗嚣出言傲慢，请求把他的儿子隗恂杀掉，光武帝不忍心，再派来歙到汧县，以信赐隗嚣说：“以前柴将军与韩信说：‘陛下宽仁，诸侯虽有叛变后又回来的，还是恢复他们的位号，不加杀害。’
以你隗嚣是个官，懂得义理，所以赐给你。说得清楚一点，显得不够客气，说少了事情又难于决断。
你现在如果住手，像过去送伱儿子隗恂到我这儿来一样，那么爵禄将全获得，有大福可享。我年快四十，在军中十年，讨厌那些浮语虚辞。你如果不愿意，就不要汇报了。”
隗嚣知道光武帝已经看出他的奸诈，于是派遣使者向公孙述称臣。
如今，建武七年（31年）春，公孙述立隗嚣为朔宁王，出兵援陇。
秋，隗亲率步骑三万进攻安定郡（郡治高平，今宁夏固原），进至阴架（今甘肃泾川东）
。