，一切妥协和其他事均无从说起；（二）奉军新派人物，均极盼张速去，以望与党方合作“。同时，奉张在军事上节节失利，军心早已动摇。
张学良、杨宇霆等亦“力劝老将回奉”。5月30日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定下总退却令。6月1日下午，“邀外交团入府”，在怀仁堂与外交团告别。他在致词中，以极悲痛的语句，向各国使团表示他的“讨赤”立场。他说：“余为中国计世界计，始终矢志讨赤，至保护外侨生命财产，即余在满洲时..亦未尝一日忘怀，今后仍然请各位放心。”6月2日，张作霖发表了“出关通电”，说明自己到北京“本为救国而来，今救国志愿未偿，决不忍穷兵黩武。爰整饬所部退出京师。”
张作霖虽通电“退出京师”，但决不甘心放弃既得的统治地位。在离京前（6月1日），他命许兰州将“安国军大元帅”的印、旗、国务院的印信、外交部的重要档案全部运往关外，并下令“一切重要命令，仍须由大元帅盖印发表”，梦想“在关外庞然自大，一过其大元帅之瘾”，企图有朝一日卷土重来。
6月4日清晨，张作霖的专车开到皇姑屯车站以东的京奉、南满两铁路交叉点的桥洞时，轰然一声响，专车被日本人事先埋在桥下的炸药炸得粉碎，火车被炸后，现场尸骸累累，惨不忍睹，张作霖重伤，其他车厢均系随行人员，见张出事，乃迅速抢救，将交道口出事地点警戒，不准人接触现场。并用汽车送张作霖返沈阳。
奉天省长刘尚清闻讯赶到现场组织救护。张作霖被送到沈阳“大帅府”时已奄奄一息，军医官抢救无效，于上午9时30分左右死去。死前张作霖对卢夫人说：“告诉小六子(张学良的乳名)，以国家为重，好好地干吧！我这个臭皮囊不算什么。叫小六子快回沈阳。”说完就死去了，时年54岁。
一代枭雄就此殒命！