1905年11月出生于东莞石龙镇，幼时其母过世，父亲严格教授国学。1922年毕业于广东省立第二中学。张荫麟十七岁时发表《老子生后孔子百余年之说质疑》，指出梁启超的考证错误，梁启超称之为“天才”。毕业于清华大学，1929年清华大学毕业后赴美，在斯坦福大学学哲学。历任清华大学、浙江大学、西南联合大学教授。1937年，受中研院史语所所长傅斯年之托，撰成《中国史纲》。钱穆评价张荫麟：“天才英发，年力方富，又博通中西文哲诸科，学既博洽，而复关怀时事，不甘仅仅为记注考订而已。”，陈寅恪誉他为“清华近年学生品学俱佳者中之第一人”。