小金山在龙山岛西面，相距十华里。

  传说，唐朝鉴真和尚的师弟鉴召和尚，因师兄东渡日本，一去十年毫无音信，终日记挂。一日，他在扬子江边漫游，见江中一只乌龟和一条鳄鱼在水里打斗，鳄鱼咬住乌龟的头颈，痛得乌龟四脚乱划，鉴召和尚心中怒起，大叫一声“休得欺侮弱小！”那鳄鱼听有人骂他，气得腾起三丈高，将乌龟朝岸上一甩，又张开血盆大口朝鉴召和尚扑来。鉴召和尚一见来势凶猛，忙从袖里取下，一颗佛珠弹了过去：“孽障看宝！”鳄鱼将头一偏，一只眼睛被打,瞎了，痛得它连忙钻进水底逃走了。

  鉴召和尚回头一看，见乌龟肚皮朝天，眼睛翻白，头颈肿得象秤铊一样，半死半活躺在沙滩上。连忙从葫芦里倒出一颗药丸， 放在嘴里嚼碎敷在乌龟的颈上，隔了一篓就肿消痛止。乌龟连忙伏在地上磕头：“多谢师父救命之恩，永生不忘”。鉴召和尚问道：“尔等俱是水族，为何打斗？”乌龟道：“师父有所不知，我乃真武大帝驾前的龟将，奉命往东海龙宫借宝珠到扬子江中再造一座金山，使两座金山对峙，严如门户，保护神州。不想到此遭贼鳄 暗算，多亏师父搭救，请问师父大名，日后报答。”鉴召和尚道：

  “我乃扬州白马寺僧人鉴召，因我师兄鉴真东渡蓬莱，一去十载，我心中记挂，故而出来闲游……”乌龟听了，说“师父不必烦忧，待我东海取宝珠回来，再驮你去蓬莱与师兄会面。”鉴召一听，满心欢喜，连忙说：“那多谢将军了！请速去速回”

  乌龟点了点头，说：“好！”一头钻进水里不见了。鉴召坐江边，想着很快就要与师兄会面，心中很高兴。可是伸手往袈裟袖里一摸，十年前师兄分别时送给他的一颗宝珠不见了。“啊！原来 刚才打鳄鱼一时性急，竞将师兄赠的宝珠击出去了。没有佛珠有何面目再见师兄？ ”他越想越难过，越懊悔自己的粗心，不觉悲泣起来。

  不会儿乌龟回来，见和尚泪流满面，连忙问道：“师父，何事悲伤？ ”鉴召把宝珠来历和误将宝珠打鳄鱼的事讲了。乌龟听了实在过意不去。便道：“你说宝珠是你师兄从九华山地藏王那里取来的，那我背你上九华山，藏王慈悲为怀，会再给你一颗的。” 鉴召和尚道：“那也只有这个办法了。”

  哪知，鉴召和乌龟的话，全被躲在水里的鳄鱼听去了，当乌龟背负鉴召从运河经钱塘江、富春江直上九华山的时候，鳄鱼早就潜到新安江雉山潭里，等乌龟经过时，突然从背后跃上龟背，一嘴咬断了鉴召和尚的喉管，乌龟听到背上“呀！” 一声，连忙跃上岸放下鉴召一看，不好！只见鉴召面如死灰，脖子鲜血直流，已经讲不出话来，乌龟见状大叫：“师父，师父！是何人暗算你？”“我！”鳄鱼在江水中阴阳怪气地应了一声：“他打瞎了我的一只眼，我送他上西天拜佛去，嗯！还不好吗？”乌龟一听，肺都气炸了，便跃到江中与鳄鱼搏斗，斗了六六三十六个回合，乌龟被鳄鱼咬了三十六口，舍身是伤，这时，鳄鱼更加凶狠地扑来，乌龟猛然想到自己肚中还有从东海龙王那里取来的宝珠，再也顾不得真武大帝了，便张嘴缩肚，“呼”的一声，将宝珠向鳄鱼吐去，只见金光一闪，宝珠变成一座石山，将鳄鱼压在底下。

  后来，因为这座山是宝珠变的，一到夜里便会发出熠熠金光，所以人们称它为“小金山” 了。离小金山不远的新安江中还有两块石头，一块象乌龟，一块象个人坐在那里，传说是乌龟和鉴召和尚变的，人们都叫它“龟石”、“召石”。