后来，作为谢玄的孙子和王羲之的外孙，已经进入南朝的谢灵运在《山居赋》中，回忆自己的家族史时写道：“余祖车骑（谢玄）建大功淮（河）、淝（水），江左得免横流之祸，后及太傅（谢安）既薨，远图已辍，于是便求解驾东归，以避君侧之乱。废兴隐显，当是贤达之心，故选神丽之所，以申高栖之意。经始山川，实基于此。”
作为起家于今天河南淮阳一带的古陈郡，建功立业于建康（南京），最终先祖却被迫远迁浙江会稽（绍兴）等地“以避君侧之乱，废兴隐显”的陈郡谢氏子孙谢灵运来说，在淝水之战中建立不世伟业、已经“功高震主”的陈郡谢氏，不得已选择了远迁避祸，以保全宗族，这其中，实在是有难以言说的血泪苦衷。
4
尽管家族权势从巅峰陨落，但激流勇退的谢安，也为保全谢氏家族竭尽全力和做出了榜样。
对于琅琊王氏、陈郡谢氏等中古世家为何能绵延兴旺数百年之久，现当代史学家钱穆曾经总结说：“一个大门第，决非全赖于外在之权势与财力，而能保泰持盈达于数百年之久；更非清虚与奢汰，所能使闺门雍睦，子弟循谨，维持此门户于不衰。当时极重家教门风，孝弟妇德，皆从两汉儒学传来。”