耳失去官职，两人就一直保持着密切的关系。秦国统一六国后，因为二人的影响力，秦始皇就悬赏了一千金和五百金来索要他俩的人头。张耳和陈余就潜逃到了陈城，从此隐姓埋名。张耳城府很深，经常告诫陈余：坚决不要暴露了身份，将来若有机会，定要翻云覆雨、大显身手。
因为二人确实爱当官，后来就混了个城门尉的小官。有一次，陈余为一件小事触怒了上司，上司要鞭笞陈余。陈余不服，准备反抗。这时张耳突然赶到，就将他强行按住，说：“你触犯了大人，为什么不接受惩罚？”说着就让上司打了陈余出了气。事情过后，张耳对陈余道：“‘小不忍则乱大谋’，你不应该因为小事而争强好胜，以至于暴露身份！”陈余翻然悔悟，对张耳更加敬重。后来秦国搜查抓捕六国的贵族，有人说张耳和陈余就在城中。县令就准备在城中进行大搜捕。张耳得知这一消息，就和陈余主动来见县令道：“要犯张耳和陈余一旦听说要抓他们，肯定要提前出城，您先让我二人多带些官差守住四门，如果谁急着出城，他们肯定就是张耳和陈余。”县令听了很高兴，就立即派他俩去守门。结果谁也没有怀疑他俩就是要犯，因此躲过了捕拿。
陈胜的义军进城后，纪律严明，参军的人越来越多。张耳考虑再三，就对陈余道：“大丈夫应该把握时机，建功立业。陈胜和吴广首先叛秦，这是伟大的举动，会让天下仇秦者拍手称快。我俩躲在此地，整日抱关击柝，受尽了世人的白眼，不就是等到有今天吗？”陈余道：“确实是这样。”张耳道：“我听说陈胜举兵是奉了扶苏和项燕的命令，我们应该出去见他一面，看看此人如何？若是他能听取我们的建议，功名富贵唾手可得。”陈余非常高兴，就与张耳一起来见陈胜。
这天陈胜正在思考称王的事情，心里七上八下，正拿不定注意，忽然门卫来报，说有两个城门尉要见将军。陈胜一听是看门的，就非常生气地说：“守门的也想见我，不见不见！”门卫道：“他俩说了，要是将军不见，就要我说出他们的名字来。