第三次东渡，由于有人报告了官府，受阻未成。
天宝三年，鉴真派弟子预先购买船只，并率众秘密南下，以“巡礼佛迹”为名，准备第四次东渡。
不料留在扬州的弟子们出于对师父的爱护，向官府呈递了阻止鉴真东渡的文书，于是官府派兵拦截了鉴真一行，并护送回了扬州。
这样又过了四年，天宝七年，鉴真开始了第五次东渡。没想到船只出海后遇到狂风巨浪，失控迷航。
剧烈的颠簸使所有的人都呕吐不止，几天后船上的淡水喝完，一连五天五夜大家滴水未进。
鉴真不愧是佛门高僧，在这生死难卜的境况下，他十分镇定，每天只靠嚼几粒生米维持。
到第七天才逢喜雨，大家痛饮一番，基本恢复过来。
然而漂流了十四天以后，大家才发觉靠岸的地方不是目的地倭国国，而是偏离倭国国更远的海南岛南部。
鉴真一行过海到了广州，准备北上，再次东渡。
这时鉴真大师由于劳累过度，加上南方炎热，患了眼疾，医治无效，不久后竟双目失明。
接着，倭国僧人荣睿不幸病逝，鉴真得力的弟子祥彦又在途中死去。
几次东渡先后受阻受挫，已损失三十六位华夏和倭国僧人的生命，但这一切劫难并没有使鉴真退缩。
三年后鉴真一行经长途跋涉回到扬州大明寺，鉴真仍在酝酿新的东渡计划。