1076年，56歲的王安石第二次出任宰相不久，與保守派發(fā)生爭端，遂于是年10月復(fù)求罷相，趙頊應(yīng)允，給王安石一個“判江寧府”的官銜。回到金陵后，王一直沒去衙門視事，第二年六月辭官，在城東門到鐘山途中的白塔為自己建造了這所居室。因主塘距江寧城東門7里，距鐘山主峰也是7里，所謂半途上處，故將居室命名為半山園。在園內(nèi)，王安石結(jié)交了許多高逸之友，包括米芾、李公麟、歐陽修和蘇東坡等。有一次蘇東坡乘船經(jīng)過金陵，王安石特地騎著驢子，穿著粗布服到江邊去迎接。蘇東坡也不冠而敬揖，日：“軾今日以野服見大丞相�！蓖醢彩�笑著說：“禮豈為我輩設(shè)哉！”既而兩人說佛吟詩，王安石還邀請?zhí)K東坡同游鐘山，并各自賦詩紀游�？梢妰蓚�人政見雖不同，但私交和詩文之誼還是非常深厚的。王安石的文章峭拔深刻，卓然自成一家，為“唐宋八大家”之一。而他的詩詞，也“與眾頗異。要之淵源風雅，洗削浮華，可謂無邪者也�！苯�(jīng)粗略統(tǒng)計，他有關(guān)南京的詩詞作品達三百首左右。

        1084年，王安石得了一場大病，神宗派國醫(yī)到江寧府給他治病。病好以后，他上書皇帝請求以自己的住宅改建寺院，神宗賜額“報寧排奪”，又稱半山寺。

        明代亮山國劃入皇宮禁地范圍內(nèi)，清道光時兩江總督陶澍在半山國故址重建半山寺。咸豐時被毀，同治九年（187年）重建，宣統(tǒng)時重修。