到了弥太郎父亲那一代，岩崎家就开始衰落，土地被变卖，最终他们家光荣地沦为浪人，也就是失去土地的武士，比丐帮强点。
不过，后来很多学者都说，就因为岩崎弥太郎是无产者才促使他发愤图强，最后富可敌国。据说上帝的思路是，先把你剥光再给你财富，那好吧。
岩崎弥太郎的确在小时候就表现了自己的聪明才智。据说他们家乡有个习俗，就是年轻姑娘会一边唱歌一边插秧种水稻，男同学们正值青春期，就会循着歌声挑逗女孩。弥太郎非常喜欢这个游戏，他倒不是对姑娘感兴趣，而是喜欢教唆一些看着很怂的男生去挑逗女孩们，然后看着这些怂孩子被姑娘羞辱，最严重的一次，有个羞涩的男孩被野蛮女友扔进土堆里，弄得浑身都是泥土。
虽然调皮，但岩崎弥太郎却非常聪明，热爱读书，先后跟着几位儒学大师学习诗文，颇有天赋。
不过，生活的压力与生命的尊严相比，还是前者比较重要。岩崎弥太郎为了维持生计，不得不把自己的大部分时间用来种地。春耕秋收、日复一日，弥太郎越来越郁闷。那种流淌在血液里的武士基因时刻激荡着他的内心——不能甘于平凡，不能没有战刀，更不能没有冒险和梦想。
虽然只是个地下浪人，但弥太郎志向远大。
在一个夕阳无限好的黄昏，他敲开了一个叫奥宫慥斋的学者的家门。因为前一天，弥太郎听说这位村里有名的儒学家将奔赴江户。
江户，那该是个繁华热闹、充满激情的地方，那该是个窗口，站在江户就能俯瞰日本甚至全世界。
少年弥太郎渴望奥宫慥斋能带他一起去江户。可是得到回答是NO！
岩崎弥太郎第一次受到人生中的重挫，他有些失望，但决定坚持下去。在接下来的几天里，弥太郎每天都步行三里地到奥宫家请愿，头戴白布条，手拿告示牌，誓把奥宫家门口坐穿。
可惜，奥宫慥斋根本不吃这套。人家是村里的大儒，在城里吃西瓜都不要钱，哪会搭理这个异想天开的小子。
随着时间的推移，弥太郎越来越失望，最后升华为绝望。他痛恨：“为什么改变生活是如此艰难。都说知识改变命运，可知识根本不搭理老子。”
他在奥宫门前缓缓地站起身，准备离开。
就在此时，奥宫慥斋突然发话了：“你等一下！”弥太郎立刻回答：“还没走远呢！”奥宫深深地看了他一眼：“你跟我同去吧，我还需要一个门徒。”
希望的曙光终于展现在弥太郎眼前，走吧，坚持下去就有希望。
当年轻的岩崎弥太郎把自己要旅行的计划告诉他的父亲时，老爹流下了泪水。说实话，岩崎弥太郎的父亲一直都不是一个称职的爸爸，在他的记忆里，这个颓废的中年人终日沉迷在酒精中，神情倨傲，与社会格格不入。
但当他听说自己的儿子为了梦想要离开自己的时候，还是痛不欲生。然后，这个伟大的父亲变卖了硕果仅存的祖业，把沉甸甸的钱袋交给了弥太郎。
离开的前夜，岩崎弥太郎难以入眠，他跑到高山上俯视星星点点的灯火，宇宙之外，巨大的洪流声响似乎冲撞着弥太郎的神经，那是怎样的一个世界呢？
岩崎弥太郎跟随奥宫慥斋到了江户之后，他又一次失望了。在这个日本的政治中心，他看到了幕府的穷奢极欲、国民的苦难生活，加上这爷儿俩还赶上了两次大地震，五脏六腑被折腾得天翻地覆。
不过，在交往的过程中，奥宫慥斋越来越欣赏自己这个小跟班，他推荐弥太郎进入江户一家著名的私塾继续深造。
1855年10月的一天，江户又发生了一次罕见的大地震，弥太郎不顾个人安危冲进私塾救出了被困的老师和同学，给范跑跑同学树立了学习的好榜样。
从那天起，整个私塾的人都对弥太郎肃然起敬，人们知道这个年轻人不仅好学、勤奋，而且心地善良。很多年之后，当他富可敌国之时，这种单纯的善良依然保持了下来，无奸不商，似乎在他身上看不到任何痕迹。
就在弥太郎学业、生活双丰收的时候，一个噩耗再度把他推向了生命的低谷——他的父亲被官府抓了！
事情是这样的，弥太郎的父亲参加村里一个PARTY，同桌一起喝酒的有村长。老爹喝到高兴之后，开始信口开河，大骂村长为富不仁，弄得村领导脸色一阵白一阵青。当天晚上，酒席散后不久，有人发现老爹睡倒在路边，身上有不少伤痕，看样子是被暴打了一顿。
三天后，老头才醒了过来。他跑到奉行所（幕府下属的行政机构）去控诉。估计这个部门早就被买通了，说老头身上的伤痕是喝酒喝多了弄的，不予受理。弥太郎的父亲长叹一声：真是比窦娥还冤啊！
最后，奉行所为了斩草除根，还用一个莫须有的罪名把老头投进了大狱。
弥太郎知道这事之后大怒，迅速赶回老家，跑到奉行所门口大闹，结果，他也身陷囹圄。令人没想到的是，监狱里幽暗的生活，让岩崎弥太郎看到了一个新鲜美丽的