《桃花源记》中渔人离开桃花源后不再回去，主要有以下原因：

桃花源的神秘性与虚拟性：

文中渔人 “处处志之”，但 “寻向所志，遂迷，不复得路”，太守遣人随其前往也无果而终，这种情节安排暗示了桃花源似有似无、似真似幻的特色，它或许本就是作者虚拟出来的理想世界，在实际中并不存在详细的途径可寻，所以渔人无法再回到那个虚幻的当地.

桃花源人的叮咛：

桃花源中的人对渔人说 “不足为外人道也”，标明他们不期望外界的人打扰他们宁静的日子。渔人却违反了这一叮咛，“诣太守，说如此”，他的失信或许使他心里有愧，自觉无颜再回到桃花源.

外界的引诱与自身的限制：

渔人日子在实际世界中，有自己的日子轨迹和社会关系。离开桃花源后，他或许被外界的功名利禄等要素所引诱，没有坚定的信念和足够的勇气抛弃现有的一切去寻觅那个或许并不确定能否再次找到的桃花源。而且，从实际视点来说，即使他想回去，也或许因为路途遥远、记忆模糊、缺少清晰的指引等原因，难以实现。