身低微，但自幼熟习乐礼诗书，博学多才，尤善歌舞，色艺冠绝一时。其时因台州太守唐仲友反对朱熹理学，朱熹便上疏弹劾唐仲友，诬其与严蕊有染，伤及风化，严因此而不幸下狱，苦受鞭笞，被逼招供。但她甚有气节，宁死不屈，说道：“我身为贱妓，纵与太守有染，也不是什么大罪，但是非真伪，总须分得明白，岂可妄言以污士大夫？我虽身死，亦不为之！”后来此事震动朝野，孝宗认为是“秀才争闲气”，命岳飞后人岳霖任提点刑狱，释放严蕊。其时岳霖问其归宿，严蕊作词答之，词曰：“不是爱风尘，似被前缘误。花落花开自有时，总赖东君主。去也终须去，住也如何住！若得山花插满头，莫问奴归处。”
这首词上阕表明自己沦落风尘，实属无奈，下阕则明白表示要脱离苦海，回归田园，做一个寻常的乡下女子。这词中自伤自怜之情、自尊自立之志，诸意皆出，情真辞切，感人至深。岳霖大为感动，当即命人取来伎籍，除了她名字，判令从良。
严蕊出得狱来，回到久别的家乡。她父母早逝，亦无兄妹亲戚，而出走多年，在家乡更无一个朋友，孑然一身，形影相吊，思之不禁黯然。但想此后身得自由，安稳度日，远胜昔日的浪迹烟花。其时正值阳春三月，但见山坡上一片桃花开得正艳，红白锦簇，煞是动人。她微一沉吟，脱口吟道：“道是梨花不是，道是杏花不是。白白与红红，别是东风情味。曾记，曾记，人在武陵微醉。”却是一首《如梦令》小词。这词中“武陵”之名源出陶渊明《桃花源记》之典，意谓“桃溪”、“桃源”，宋词常以指风月之所。她回首前尘，恍如隔世，一时不由得痴了。
隔了良久，她随手折下一朵桃花，回插鬓间，临溪顾盼，心想：“二色桃原极少见，不料想此地开得这般繁茂。这不正是上天赐我的“世外桃源”么？日后隐居于此，乐何如知？”微微一笑，便欲起身。不料便在此时，溪中忽然多了人影，伸臂来抱自己。她一声惊呼，急忙闪开。只见一个华服公子满面涎笑地道：“美人儿，我可找到你了！