幼年时，曾将自己捉到的小火鸡精心喂养，挑好的在集市上出售。12岁时积蓄了50美元，他把钱借
邻居，收取本息。1855年，由于其父的原因不能继续上学，离7月16日高中毕业典礼只差两个月。约翰听从父亲建议，花了40块钱在福尔索姆商业学院克里夫兰分校读了一个为期三个月的课程。随后加入休伊特-塔特尔公司，开始当了一名销售员，起初他没有什么钱，仅有七美元只够吃二十四个面包，于是他想到了自已赚钱，于是他开始倒卖货物，在年底时，他已赚了800美元。在休、伊特，塔特尔公司，他学到了很多的知识最终为他经营石油打下了基础。
1858年以800美元的积蓄加上从父亲那里以一分利借来的1000美元同克拉克合伙成立了克拉克-洛克菲勒公司，主要经营农产品。他未参加南北战争，却在战争期间赚取丰厚利润，1862年公司利润达到17000美元。
1863年，炼油专家安德鲁斯劝说洛克菲勒投资炼油厂，安德鲁斯-克拉克公司成立。1865年，因合伙人意见分歧，公司拆伙拍卖，洛克菲勒以7.25万美元的报价竞拍成功，改名洛克菲勒-安德鲁斯公司。同年开办第二家炼油厂，成为克里夫兰第一大炼油企业。1866年，组建纽约洛克菲勒公司，负责出口业务。1867年，亨利莫里斯费拉格勒入伙，公司改名洛克菲勒-安德鲁斯-费拉格勒公司。1870年，公司内部合并，标准石油公司成立，洛克菲勒任总裁，资产100万美元，洛克菲勒放言：“总有一天，所有的炼油制桶业务都要归标准石油公司。”此后不到两年的时间，他就吞并了该地区20多家炼油厂，控制该州90％炼油业、全部主要输油管及宾夕法尼亚铁路的全部油车。又接管新泽西一铁路公司的终点设施，迫使纽约、匹兹堡、费城的石油资本家纷纷拜倒在其脚下。接着，为控制全国石油工业，他操纵纽约中央铁路公司和伊利公司同宾夕法尼亚公司开展铁路运费方面的竞争。结果，在8年内，美孚石油公司炼油能力从占全美4％猛增到95％。美孚公司几乎控制了美国全部工业和几条大铁路干线。1882年，它成为美国历史上第一个托拉斯。
后来，洛克菲勒财团又形成由花旗银行、大通—曼哈顿银行等四家大银行和三家保险公司组成的金融核心机构，这七大企业控制全国银行资产的12％和全国保险业资产的26％，洛氏家族通过它们影响工业企业决策。洛克菲勒财团创办基金会，向教育（现在的芝加哥大学、洛克菲勒大学）文化、医疗卫生和其他社会团体赠款，扩大影响和势力。洛克菲勒财团还支持亲信人物担任政府要职，如曾任国务卿的杜勒斯、腊斯克都担任过洛氏基金会董事长的职务；基辛格出任国务卿之前，曾担任纳尔逊·洛克菲勒（老洛克菲勒之孙）的外交政策私人顾问。该家族的成员也活跃于政治舞台，左右内政和外交政策，如纳尔逊·洛克菲勒就曾担任1974—1977年美国副总统。