吴氏和孩子，安顿好了， 将他们一路护送到吴氏的娘家去，他辞别了岳丈之后，便就开始打点行装，准备向金陵进发了！王安石决意隐居金陵，其实也是为着自我反思，其实好些事情，假如能平心静气地坐下来，认真听一下别人的不同意见，不那么固执己见，也许事情就不会弄得这样糟，也许变法不会半途而废。
他谁都没有告诉，在一个立春之后日，他骑着小毛驴，带着好些书儿，避过众人，悄然地来到了紫金山山脚下。赁了几间附近老农夏时看菜园和瓜果的简陋房子，他简单修缮一新后，便坐在菜园前儿，读着昔日那些诗人所写的《金陵怀古》等诗篇，读了一些章节后，便沉沉然若有所思，只想遥追作者那番时的颜色心情。此时的他，没有了在汴京城中的烦恼，虽是初春，可是紫金山中一点儿也不冷，王安石只穿了青衣，戴了小帽，信步直至山顶，俯瞰整个金陵水城风貌，远林微微有雾霭，又觉得立在此处，心中是说不出的寥廓，便稍微休息片刻，沿小路下山，吃些早点。紫金山下的小吃很多，风味颇是和汴京不同。路遇上山行人渐渐增多，微感汗湿，不觉中已经落足山脚。
为何要来金陵排遣抑郁、抒发感慨？只因王安石早年随父王宦遍游金陵各处，父亲去世后，全家曾定居在金陵。想当年，父亲心情烦闷时，便喜欢去这附近紫金山中舒缓心情，王安石学了父亲的习惯，便也往这紫金山中来了。
到了山脚之处，王安石略略歇了歇脚儿，反正此处的山野乡民，无一人是认识他的。看着紫金山巍峨的风景，王安石只觉得又是说不出的意兴盎然。他随便就坐在一个茶馆之内，问店家要了纸笔，在一个僻静之处，略加思索，沉吟片刻，对着苍翠滴绿的山脉，看着脚下的淙淙流水，听着耳边不停的鸟儿啾啾声，心中有无限之感慨， 便如行云流水般洋洋洒洒写下四首七言绝句，这四首诗句，自是名动千古的《金陵怀古四首》。
其一
霸主孤身取二江，子孙多以百城降。
豪华尽出成功后，逸乐安知与祸双。
东府旧基留佛刹，《后庭》余唱落船舱。
《黍离》《麦秀》从来事，且置兴亡近酒缸。
其二
天兵南下此江桥，敌国当时指顾投。
山水雄豪空复在，君王神武自难双。
留连落日频回首，想象余墟独倚窗。
却怪夏阳频回首，汉家何事费罂缸。
其三
地势东回万里江，云间天阙古来双。
兵缠四海英雄得，圣出中原次第投。
山水寂寥埋王气，风烟萧飒满僧窗。
废陵坏冢空冠剑，谁复沾缨酹一缸。
其四
忆昨天兵下蜀江，将军谈笑士争降。
黄旗已尽年三百，紫气空收剑一双。
破堞自生新草木，废宫谁识旧轩窗。
不须搔首寻遗事，且倒花前白玉缸。
写完了此四首诗句，王安石方觉得心中酣畅淋漓，多日的郁结是一扫而空。他自是不知道，后人根据他这几首诗，是凭空揣测出他多少的心思来，其实此时王安石的心中想法很简单：并无任何怨言，只是心中惆怅而已、惆怅而已。