绍兴十二年除夕，岳飞被陷害于临安大理寺，留下血书“天日昭昭 ，天日昭昭”八个大字。当夜狱卒隗顺冒灭族之险负岳飞尸体越出城门，埋于临安（杭州）西北钱塘门外九曲丛祠旁北山山麓。

岳飞长子年仅23岁的抗金少年虎将岳云被绑赴临安城的菜市口腰斩于闹市，不得收尸。

岳飞幼女岳银瓶，年11岁，闻父亲与大哥岳云被昏君奸臣所害，口啮指血上书辩父冤，为奸臣所阻，大哭投井而死，后人誉为孝娥。

然而，恶毒的昏君赵构与蛇蝎之心的奸臣秦桧并没有罢休，一道圣旨，“籍家赀，徙家岭南”满门忠烈居住在江州的岳氏一门老小20多口全部流放岭南。

岳飞遇害时夫人李娃41岁，岳云夫人巩氏22岁，长幼孙岳甫4岁，岳大娘3岁、岳申1岁。次子岳雷16岁、三子岳霖12岁、四子岳震七岁，五子岳霆三岁。次媳赵氏及次房幼孙女岳二娘1岁，统统随李夫人流放岭南。更悲惨的是解押时起初还不让年幼的岳甫、岳申等与其母巩氏一并上路，巩氏悲愤不过要自杀，岳飞夫人李娃说“你想让岳家断后吗？”，才让巩氏放弃了自杀的念头。

《夷坚丙志》卷１５《岳侍郎换骨》载：“绍兴十一年岁除之夕，岳少保以非命亡。其子商卿（霖）并弟震同妻女皆羁管惠州，郡拘置兵马都监厅之后僧寺墙角土室内。兄弟对榻，仅足容身，饮食出入，唯都监是听。”在物质和精神两方面的压抑和摧残下，岳飞次子岳雷在流放地饮恨而终。

后来岳霖、岳震、岳霆三子和长孙岳甫上谢表说：“形骸沟壑，痛固无穷，妻子蛮夷，鬼亦不食，兴言及此，流涕涟如。”表达了他们被流放的痛苦生活和极端悲愤之情。

岳飞遇害后杭州市民莫不哀痛悲悼，不少人泣不成声，“下至三尺之童”都唾骂秦桧。宋廷将岳飞狱案“令刑部镂板，遍牒诸路”，广告岳飞叛国，想把岳飞搞倒搞臭，反激发百姓痛悼岳飞。岳飞死后一年鄂州军（岳家军）将领前往武昌郊游，有军士吟诗一首“自古忠臣帝主疑，全忠全义不全尸。武昌门外千株柳，不见杨花扑面飞”，隐指岳飞冤案，将士闻之潸然泪下，郊游废然而止。20年后金海陵王完颜迪古乃南侵，御史中丞汪澈到武汉动员军队抗金，岳家军将士联名上状，要求为岳飞申冤，“哭声如雷，万众大呼：为我岳公争气，效一死！”汪澈劝慰多时方止。岳飞身后江南百姓家家户户张挂岳飞像，奉祀不衰。

绍兴三十二年（公元１１６２），宋孝宗登基后，立即宣布对岳飞平反，岳飞冤案终于得以昭雪。自此，岳氏一门结束了长达20年的岭南流放拘管。岳云妻巩氏在后来的《巩氏复恭人告》曾回忆“尔流离岭海，险阻备尝”，足以说明在岭南惠州拘管期间，岳氏一门生活艰苦，备受有司折磨。

在平反的当年，李娃六十二岁，岳霖三十三岁，岳震二十八岁，岳霆二十四岁。宋廷下令将岳霖复右承事郎，岳震和岳霭补保义郎，岳云长子岳甫二十五岁，次子岳申二十二岁，女儿岳大娘二十四岁，岳雷长子经二十一岁，纬二十岁，纲十四岁，纪十二岁，女二娘二十三岁，女三娘十七岁。

岳门一脉在流放岭南的近二十年，是李娃这个坚强的女人独立撑起了岳家的一片天，在流放凄风苦雨中极力照看岳氏一门的生命脉息。