1924年出生于群马县一个警察家庭，中学毕业前，父亲病逝，遂迁往千叶县的叔父家。后入日本大学专门部艺术科学习，因无力交付学费而辍学。
小林桂树饰演东条英机
1942年进入日活株式会社，同年初次参演古河圣人导演的电影《微笑之国》，次年因日活重组而转入大映公司，随即被征兵来到中国东北，战后复原。1952年转入东宝株式会社，演出了《一等社员》、《三等重任》、《小孩社员》等喜剧片。在这些影片基础上，东宝公司从50年代后期开始，拍摄了反映工薪阶层生活的长篇系列片《社长》，不断推出续集，直到70年代，均由其与森繁久弥等主演。
1955年因在今井正导演的《这里有泉水》（与岸惠子合演）中的演技获得当年《每日电影》最佳男配角奖。
1958年主演堀川弘通导演的《赤手空拳的大将》，因在片中出色的扮演了天才画家山下清一角，获得当年《每日电影》最佳男主角奖。两年后，又以堀川导演的《黑色画集》夺得当年《电影旬报》、《每日电影》最佳男主角奖。
1963年，主演冈本喜八导演的《江分利满的优雅生活》，再度获得《每日电影》最佳男主角奖 。
此后他出演过《日本沉没》、《八甲田山》和《新撰组》等很多优秀影视剧作品，在他近70年的演员生涯中，共接演了近260部影片。据所属事务所透露，小林桂树从2010年七月初身体就不行了，到医院检查患了轻微肺炎，随后住院治疗，尽管他一直努力想恢复健康，但无奈没能出院，最终在医院走完了最后一段人生。 2010年8月小林桂树本打算出演TBS电视台的特别日剧《归国》，无奈身体不适，最终放弃了演出。生前他曾说过自己长寿的秘诀就是没有鲜明的个性，他说：“演员需要强烈的个性，但那会局限他可以扮演的角色，我很平凡，所以我什么角色都可以演。”1946年：《修道院的新娘》
1947年：《初恋物语》、《护士日记》
1948年：《命运之历》、《山猫姑娘》
1949年：《毒蔷薇》、《花的日月》
1950年：《密林的女豹》、《20岁前后》
1951年：《虚伪的盛装》、《饭》
1952年：《三等重任》、《恐妻时代》
1953年：《一等社员》、《夫妇》、《母亲与女儿》、《续·思春期》、《工薪生活着之歌》、《纯情社员》、《太平洋之岚》
1954年：《年轻的眼睛》、《小孩社员》、《礼拜六的天使》
1955年：《这里有泉水》、《目白三平》、《青色的果实》
1956年：《新娘会议》、《攒私房钱的社长》、《新婚第一课》、《妻之心》、《紧张的社长》、《殉爱》
1957年：《工薪生活着出世太阁记》
小林桂树 三益爱子 裸の大将
1958年：《社长三代记》、《东京的假日》、《杏子》、《卷积云》、《赤手空拳的大将》、1959年：《社长太平记》、《日本诞生》、
1960年：《黑色画集，某工薪生活着证言》、《工薪生活着忠臣蔵》
1961年：《无名·贫困·美丽》、《小早川家之秋》；
1962年：《椿三十郎》、《工薪生活着清水港》；
1963年：《女人之座》、《山河具在》、《早已女家的女儿们》、《放浪记》；
1963年：《社长漫游记》、《江分利满的优雅生活》、《我们是工薪生活者》；
1964年：《社长绅士录》、《我虽是一粒麦子》；
1965年：《社长忍法帖》；
1966年：《社长形状录》、《瑞香》、《女人中的陌生人》
1967年：《续·无名·贫困·美丽·父与子》、《社长一千零一夜》、《日本最长的一天》；
1968年：《社长繁盛记》
1969年：《社长生死簿》、《新选组》（饰土方岁三）；
1970年：《动荡的昭和史·军阀》、《社长学ABC》，
1971年：《幻想的杀意》、《动荡的昭和史·血战冲绳岛》1973年：《日本沉没》；
1975年：《当我青春时》、《男人辛苦·葛饰立志篇》
1976年：《斯里兰卡的爱与离别》、《喜剧·满一百分》；
1977年：《八甲田山》；
1978年：《残照》；
1979年：《纯洁的爱情》；
1981年：《联合舰队》（饰演山本五十六）
1983年：《父与子》、《冲绳的少年》；
1986年：《绅士同盟》、《落叶树》。
小林桂树徒然去世让日本演艺圈痛心，很多业内人士纷纷为他感到惋惜，大林宣彦导演说：“他是日本黄金时代最有一名演员，是他教给我电影是拍摄记录演员的戏剧，我们本来约定要一起拍老年人的爱情，他走了给我打击很大。”
曾与小林桂树合作过《冬桃》等作品女星三田佳子也称赞他对待工作认真努力，非常尊敬他的为人。