“当我注视着我们的银行大楼，回忆起昔日的声势时，一想到明天将与中方进行的会见，不禁黯然神伤。”
同年，上海市人委机关【1955年2月上海市人民政府改称上海市人民委员会】迁入，这栋大楼于是一变而成为人民政府权力的象征。
相较于其他在香港起家并依托中国内地发展壮大的英资财团，汇丰银行是最后办完离开中国内地手续的。太平洋战争使英资财团在香港和中国内地逾百年的苦心经营惨遭打击。当1945年8月日本战败投降后，怡和、太古等英资大财团与汇丰一道重返香港，并迅速恢复它们在中国的业务。然而，这一时期，上海租界已被中国政府收回，英资企业与银行再难重现往日的辉煌。而随着国民党政权的垮台和中国共产党的取胜，时局剧变，这些“帝国主义企业”重整山河的企望更是化为泡影，无可奈何之下纷纷部署撤退到香港。1953年，太古集团与中国政府达成协议，结束了在中国的全部业务；1954年，英国在华最大洋行怡和关闭了它在内地的全部办事处；1955年，汇丰永久地搬出了外滩12号大楼，仅象征性地在上海留有一家营业机构，其他所有在内地的分行全部关闭。
King ，Frank H H with Catherine E. King and David J.S. King. The Hongkong bank in the period of development and nationalism ，1941 ～1984，Cambridge University Press，1991，p.373～411.
汇丰没有完全撤离大陆。不过，在“文化大革命”期间，汇丰曾有过撤离中国的打算。“文革”开始后，汇丰在上海的业务受到影响、利润非常少。1968年7月，汇丰银行上海分行向上海市工商局提出停业申请，但给出的停业原因和理由不很明确，最后不了了之。1971年3月，汇丰总行再次提出上海分行歇业，而且通过外交途径在伦敦和北京提请中国外交部注意。歇业理由是业务量太小，且其上海外籍员工在生活待遇方面不如法国和巴基斯坦等国航空公司的员工，比如不能像法国和巴基斯坦航空公司的员工那样可以去友谊商店购物。因此，汇丰的停业问题成为两国外交交涉的事件。中国方面调查后发现，汇丰上海分行的业务确实明显萎缩、利润很少，因此在允许的范围内放宽其业务，利润有所提高，并允许其纳税后纯利汇出。同时，其外籍人员也可以享受法航和巴航驻上海人员的待遇。这样，汇丰再未要求撤离。