漢晉時，龜山曾為縣治， 由于它臨于 天險淮水，歷史多為用兵之地。故龜山又稱"軍山"。唐宋時龜山有靈慧塔，山麓廟宇連綿，殿閣雄偉，有淮瀆神象、大鐵佛、五百鎏金鐵羅漢等。可惜毀于戰(zhàn)火。龜山孤峰峙立，磔主中流，登山縱目，千里長淮，八方煙雨，盡收眼底。古代名人多來此游覽吟詠。宋米芾有“龜山寺晚鐘”詩句：“危峰高聳接云樓，落霞映照夕陽村”，別具一番新意。宋代高麗使臣樸寅亮曾到龜山一游，并作《過龜山》詩一首。詩曰：“巖巖峻石疊成山，下著珠一水環(huán)。塔影倒垂淮浪底，鐘聲遙落碧云間。門前客棹洪濤急，竹里僧棋白日閑。一幸勝游堪惜景，故留詩句約重還�！庇纱丝梢姰斈挲斏降姆笔⑶榫�。

　　據(jù)說，古時候，這塊彈丸之地，城池眾多，寺廟林立、香火鼎盛，蘇東坡《龜山》詩中就有過“木魚呼客振林莽”的描述。歷史上，在這里筑城的有“魏武城”、“項王城”、“小兒城”等；寺廟有淮瀆廟、安淮寺等等。

　　據(jù)碑文記載，淮瀆廟在北宋天禧年間就建成了，明嘉靖年間再次大興土木重修該廟，規(guī)模宏大，光鐵羅漢就有五百尊。安淮寺則建于道光十七年（公元1837年）。傳說，這一年治水總督麟慶率眾考察淮水，登上龜山舉目遠眺時，發(fā)現(xiàn)水中有一若隱若現(xiàn)的怪物，經(jīng)人打撈，撈上了二十尊鐵羅漢，他認定水患源于此，便選區(qū)出一個適中位置，建了這座淮安寺，為安定淮水，把鐵羅漢放在里面。

　　有名的支祁井就在下龜山西南腳，百姓又稱為"水母井"。傳說水怪巫支祁就被鎖在里面，南宋詩人張禧寫詩道；“長淮日夜赴東溟，千里龜一抹青，神禹尚疑疏鑿在，支邪空鎖云腥�！鼻�隆皇帝下江南時，曾來看過支邪井內(nèi)水怪，當翻開井蓋時，只見水面翻滾，水怪揚言要吃人，嚇得乾隆魂飛魄散，趕緊合攏井蓋。

　　隨著時代的變遷，下龜山上寺廟因年久失修而倒塌了。如今，龜山上尚存有兩塊殘碑、一棵枯白果樹和一口枯井。但這座山自然風貌和古剎遺跡仍在吸引著好奇的游客。