从此他们便迁居在这座几百年古屋中。维克托和长兄们，除了每天极少时间必得用功读书之外，便可自由在园子里嬉游。他们在那里奔驰，跳跃，看书，讲故事。周围很静穆，什么喧闹都没有，只听见风在树间掠过的声音，小鸟啼唱的声音。仰首只是浮云，一片无垠的青天，虽然巴黎天色常多阴暗，可亦有晨曦的光芒，灿烂的晚霞夕照。一八一一年他们到西班牙去了，回来依旧住在这里。四年的光阴便在这乐园似的古修院中度过了，虽然四年不能算长久，对于诗人心灵的启发和感应也已可惊了。在雨果一生的作品里，随处可以见出此种痕迹。一八一五年十六岁时，他在《别了童年》Adieux à l'enfance一诗中已追念那弗伊朗坦斯（Feuillantines）的幸福的儿时。
四、学业
虽然雨果是那么的自由教养的，他的母亲对于他的学业始终很关心，很严厉。在出发到意大利之前，他们住在Rue de Clichy，那时孩子每天到Mont Blanc街上的一个小学校去消磨几小时。只有四五岁，他到学校去当然不是真正为了读书，而是和若干年纪同他相仿的孩子玩耍。雨果在老年时对于这时代的回忆，只是他每天在老师的女儿，罗思小姐的房里——有时竟在她的床上——消磨一个上午。有一次学校里演戏用一顶帷幕把课室分隔起来。罗思小姐扮女主角，而他因为年纪最小的原故，扮演戏中的小孩。人家替他穿着一件羊皮短褂，手里拿着一把铁钳。他一点也不懂是怎么一回事，只觉得演剧时间冗长乏味，他把铁钳轻轻地插到罗思小姐两腿中间去，以致在剧中最悲怆的一段，台下的观众听见女主角和她的儿子说：“你停止不停止，小坏蛋！”