皇帝很重视，派员调查，结果发现整个福州城内仅有5名洋人而已，完全是风声鹤唳。但徐继畬依然被迅速内调，从一个封疆大吏改任“弼马温”（太仆寺少卿，太仆寺主管皇家的马政，类似中央机关事务管理局汽车管理处），不久便下岗回到山西老家。吊诡的是，徐继畬走后，福州的“爱国者”们便不再限制洋人入住，“神光寺事件”其实成了驱逐徐继畬的一场权争游戏。

徐继畬下岗后，他的《瀛寰志略》也是“罕行世，见者亦不之重”，倒是在日本先后两次翻刻，风行一时，这倒与《海国图志》命运相仿––1862年，日本维新人士高杉晋作随同“千岁丸”前往上海，就吃惊地发现在日本畅销的《海国图志》居然在大清国绝版。

东方风来满眼春。1865年随着英法联军的撤退和太平天国的灭亡，执政的恭亲王决心在推进改革方面，胆子更大一些，步子更快一些，外交事务需要像徐继畬这样的老右派来推动一下。于是，大清组织部门一纸调令，赋闲了13年、年逾七旬的徐继畬“临老上花轿”，并且从原来的“从四品”一跃到了“正三品”，焕发了政治上第二春。美国传教士、与恭亲王有着密切关系的丁题良对此评价道：“前福建巡抚徐继畬由于地理知识丰富，得以进入总理衙门任职……他的复出是好的迹象，尽管他的考古学不无错误。举国皆盲人，独眼称大王。”