东晋以后，各路高人大师，诸如僧人慧理、方士许迈、道士葛洪等，为寻找一方建寺筑观的风水宝地，云游四方，遍访名山。最后，慧眼都盯上了江南胜境、时称钱塘的杭州，并且各自在此找到了立命安身之所，开始结庐修舍，传教授徒。高人大师来此的目的是传布教义，发展弟子，修身养性，普度众生。他们不是朝廷命官，没有责任和使命开发、建设杭州，然而却在无意中做了西湖山水名胜的早期开拓者，使其时知名度远低于吴、越二城的杭州，竟逐步发展成为独步天下的江南佛国。据《西湖游览志》称：
杭州内外及湖山之间，唐以前为三百六十寺，及吴越立国、宋室南渡，增为四百八十，海内都会未有加于此者。
东晋咸和元年(326年)，印度僧人慧理和尚来到杭州武林山，看到一座山峰。但见峰峦突兀，怪石嶙峋，山上是盘根错节的老树古藤，山下有奇幻多变的岩洞沟壑。对于如此奇山秀峰，慧理和尚不胜惊讶：“此是中天竺国灵鹫山之小岭，不知何以飞来，佛在世日，多为仙灵所隐……”别人对他的话并不以为然，为此慧理和尚又补充说：“在这座山峰中一向有黑白二猿在洞中修行，它们一定相随到这里了。”于是他随即在洞口一呼，果然有黑白二猿出来。从此，飞来峰和呼猿洞由此得名，并渐为人知。有感于慧理和尚的一番指点，宋人郭祥正在《飞来峰》一诗中道：
谁从天竺国，分得一峰来？
占尽湖山秀，最宜烟雨开。
飞来峰又叫灵鹫峰，向以集西湖山水之胜、林壑之美而著称。明文学家袁宏道称之：“湖上诸峰，当以飞来为第一。”明诗人张宁赞为：“翠拥螺攒玉作堆，一峰孤绝似飞来。”明末清初文学家张岱也道：“飞来峰，棱层剔透，嵌空玲珑，是米颠袖中一块奇石。”经五代至宋、元期间，艺人留在峰壁上和石窟中的无数浮雕造像，使飞来峰成为中国南方罕见的石窟艺术渊薮之一。
呼猿洞在飞来峰的西侧山麓，慧理和尚呼猿的传说，使此洞给人们造成神秘的感觉。其实，这一带本来就多群居的猿，洞中有猿似应不足为怪。据说黑白二猿原为慧理和尚所养，每当月明之夜二猿临涧长啸，凄哀婉转，慧理曾以“引水穿廊步，呼猿绕涧跳”之句描述。张岱在其名著《西湖寻梦》中记叙说：“白呼猿洞在武林山。晋慧理禅师，常畜黑白二猿，每于灵隐寺月明长啸，二猿隔岫应之，其声清皦。后六朝宋时，有僧智一仿旧迹而畜数猿于山，临涧长啸，则群猿毕集，谓之猿父。”
灵隐寺的高僧一个个仙逝而去，呼猿洞的老猿却是长生不老，直到它与一位守一长老做伴为友。僧猿虽各居其所，但只要守一长老叩上几声木鱼，老猿便闻讯而至。老猿不仅能替守一和尚烧香换水、洗菜担柴，更令人惊异的是，闲暇时它还能与守一和尚弈棋赌胜。老猿对一应事情几乎都心领神会，所憾只是不能与人交谈。
一天，临安知府袁元来游灵隐，在闲谈时，向长老问起老猿能知人事的传闻是否属实，长老点头承认。知府就要求见老猿，长老将木鱼敲了三下，老猿即从洞中走出。听说与知府见面，老猿把身子蹲了一蹲，头摇了两摇，好像老大不乐意的样子。长老安抚它说：“凡事随缘，岂容你自己做主？先天一着，却要留心。”老猿随之就走到知府面前，两手作一问讯形状，转身又问讯了守一和尚。知府虽听说老猿会下棋，而且围棋、象棋无不精通，但自恃天下国手，惟我称尊，怎会让猴子取胜？便信心十足地命取棋。
摆上象棋后，知府先起子，摆了一个“海中捞月”的局势，这是他的一着绝招，从未被人赢过。但见这个老猿并不慌张，随随便便地下了几着后，知府已惊奇地叫了起来：“我输了，输了！”然后知府又开始和老猿下围棋，他蛮有把握地着了一盘“铁纲势数”，结果老猿输了半子。知府十分高兴，叫长老转告老猿说：“本府围棋原是仙传，乃天下第一手，老猿仅输了半子，已经相当不错了。烦你转告它，我与它再试一局，怎么样？”长老心中老大不愿意，但此时知府的话比菩萨还具有权威性，只好无奈地叫老猿再着。
这盘棋一起手，老猿右首，将一子放在当中。知府一见，心中暗自窃笑：“从未见过有这么下棋的！”也就听之任之，随手应付。眼看快下到终局时，知府见自己输了半子，心中十分不快，暗暗思忖：“我下了二十年棋，从未输过一局，今天与老猿下了三盘却输两次，岂非怪事？要是外人听说我输给了一个猿猴，还不在背地嘲笑我！”
就在这时，济公活佛走了过来，用手摸着老猿的头，嬉笑地说：
先天一着已多年，黑白盘中没后先。
今日天机殊太泄，有缘缘里却无缘。
说罢，他将手在老猿后脑一拍，只见老猿把头点了两点，直挺挺地站立于棋枰旁边，再也不动弹了。守一长老心里明白，老猿泄露天机，这一天终于来到了，就命人取干柴将老猿立时焚化。在熊熊烈火中，只见老猿在云端合掌作礼而去。
老猿虽逝，但故事未尽。及至明朝，，威望极高的具德和尚住持灵隐寺时，又有人看见二猿同时现身的奇事。为此，张岱作了一副妙联，送给具德和尚：
生公说法，雨堕天花，莫论飞去飞来，顽皮石也会点头；
慧理参禅，月明长啸，不问是白是黑：野心猿都能答应。他另有一联道：
洞里白猿呼自出；
崖前残石悔飞来。
飞来峰和呼猿洞在杭州留下了不少传说，也给后人带来了许多谐趣。诚然，传说多系玄妙之说，但却不能全视为无稽之谈，纵然真真假假，仍不失为一种稗官野史。人生数十年，本来就已经十分辛苦、沉重和枯燥，工作之余，人们携侣带眷来到西湖，在登山临水、观景赏花之际，谁还会在此一本正经地大谈国事、纵论时政呢？于是，听听传闻，说说闲话，如同不费力地含了一块嚼不厌的薄荷糖，对孩子来说，则又成了他们喜爱的口香糖了。P17-20