1969年，当巴菲特结束他的合伙公司时，他把2500万美元的财产全部投资到一家叫做伯克希尔·哈撒韦的纺织公司，这是一家他不太熟悉、并且有些靠不住的公司。
伯克希尔·哈撒韦纺织公司对巴菲特的一生来说是个奇迹，当时的杂志评价说，巴菲特刚从苏联回来，他是稀奇古怪的伯克希尔·哈撒韦公司的投资者。每个人都认为这家公司生产的是衬衫，但实际上它是一个生产钱的公司。
1962年，巴菲特第一次以每股7美元的价格开始为巴菲特合伙公司购买伯克希尔公司的股票。几年之后，当时任伯克希尔公司总裁的西伯里·斯坦顿向巴菲特许诺说，他将剩余的伯克希尔·哈撒韦公司的股票的投标价格定为每股17.5美元。但是，三个星期以后，股票的投标价格只有17.125美元。这一次巴菲特式的买卖没有做成。西伯里·斯坦顿的言而无信，让巴菲特很生气，他从哈撒韦公司董事会主席马尔科姆·蔡斯手里把伯克希尔公司的股票全部买进。至1965年，巴菲特所拥有的股份就足够让他获取伯克希尔·哈撒韦公司的控制权了。
伯克希尔有限公司最初由奥利弗·蔡斯创建，他是马尔科姆·蔡斯的祖先，该公司1806年在罗得岛州的普罗维登斯开业，渐渐发展为纺织业的龙头，使伯克希尔公司的纺棉量曾一度占到整个国家棉花总量的四分之一。第二次世界大战后这家公司更是迅速发展，具有非常雄厚的实力，管理层也都是非常有远见的人物。到1948年的时候，伯克希尔公司的十几家大型工厂遍布新英格兰州，共有雇员1万人。
后来，一场强大的飓风毁坏了其中一个工厂，对公司最大的综合建筑也造成了严重的损害。伯克希尔公司不得不和哈撒韦公司合并，合并后公司的名字也改为伯克希尔·哈撒韦公司。马尔科姆·蔡斯成为董事会会员，负责检查罗得岛州和马萨诸塞州西部伯克希尔工厂和新贝德福德市哈撒韦公司的合并情况，他的股东资产净值有5545万美元。
由于纺织生意非常难做，在接下来的9年里，蔡斯的股东资产净值持续下跌至2214万美元。即使这样，伯克希尔·哈撒韦公司仍然是新英格兰州最大的棉花和人造纤维纺织品生产厂家。每年大约有100万个锭子和大约12000台织机在运转，年生产量为2.25亿码。产品主要包括色彩夺目的女性衣料、手绢布、上等细麻布、薄纱、凸花条纹布、各种棉缎、人造纤维织物的衬里、的确良薄纱罗窗帘布和的确良棉混合布。但是到1964年，伯克希尔·哈撒韦公司几乎只剩下一堆瓦砾——2座工厂和大约22万美元的资本净值。
这之后的事情就是巴菲特接管伯克希尔·哈撒韦公司了。那是一个春光明媚的日子，巴菲特和该公司董事会成员马尔科姆·蔡斯一同走进前面的一家小公司，巴菲特买了一些冰淇淋和奶油棒。巴菲特单刀直入地问道：“我想让你当伯克希尔·哈撒韦的总裁，你意下如何？”
蔡斯当时48岁，而这个许诺启动他事业的人却只有34岁。他还没来得及答应下来，巴菲特就补充说他已经掌握了足够的股票，可以在下次董事会上办妥这件事情。他让蔡斯暂时先保持沉默，关于伯克希尔的未来，他说：“想想你都需要些什么，它就是你的孩子了。”巴菲特和蔡斯的谈话前后不到10分钟就结束了，而蔡斯却一直没回过神来。
1965年，在蔡斯和奥蒂斯·斯坦顿的帮助下，巴菲特购买了伯克希尔公司的控制权。公司总裁西伯里·斯坦顿和他的儿子杰克离开了公司。很多传统企业都经历了从生产型企业向投资型公司的转变，随着伯克希尔·哈撒韦公司的股票卖给股票市场的投资者，伯克希尔也走上了这条路。公司的主要产品变成用做投资买卖的资金。在纺织业发展了80年后，纺织业和金融业的分界线不再明显了。
此时生意依旧停留在低迷时期，伯克希尔公司在1964年10月3日的资产负债表显示，它拥有2789万美元的资产，以及股东220万美元的资产净值。伯克希尔公司已发行的股票是1137778股。
巴菲特不断地购进股票，到1965年，他的合伙公司已拥有伯克希尔公司70%的股份。巴菲特在伯克希尔公司的总资产达到了1400万美元。当伯克希尔公司拥有大约1800万美元的市场价值时，巴菲特控制了公司。
1970年，巴菲特当上了公司董事会的主席。但是，20世纪70年代后期，纺织业的一些经济优势已渐渐消失。1980年，公司纺织业务的范围大大削减了，一些纺织厂的业务则被终止。一些设备转移到了新贝德福德的工厂，大部分的设备被卖掉，或是连同房地产所有权一起被卖掉了。事实上，伯克希尔公司的纺织生意由于国外竞争、相对低廉的国外工资和大规模服装生意中所遇到的障碍，终于宣告彻底失败。总而言之，伯克希尔公司没有能够在它的竞争者中脱颖而出。它所生产的产品，在任何一个地方都能很便宜地买到。但是，一只凤凰从灰烬中诞生了。就在那一天，伯克希尔公司股票的股价从每股11美元