Studirao je povijest azijske umjetnosti, no napustio je studij da bi se zaposlio u japanskoj filmskoj kompaniji Shochiku. Tamo je radio svega osam mjeseci prije negoli je unovačen i poslan na bojište. Tijekom rata snage SAD-a ga zarobljavaju na cijelu godinu. Na jesen 1946. vraća se u Shochiku gdje je asistent redatelja Keisuke Kinoshita, koji je napisao i scenarij za Kobayashin drugi film
Magokoro (1953). Uslijedili su
Kabe atsuki heya (Soba debelih zidova, 1953),
Anata kaimasu (Kupit ću te, 1956) i
Ningen no joken (Ljudsko stanje, 1959.-1961.), ratna trilogija čiji mu je prvi dio donio međunarodnu slavu. Snimio je i
Seppuku (Harakiri, 1962),
Strašne priče (Kwaidan, 1965), ujedno i njegov prvi film u boji, te filmove
Pobuna (Joi-uchi, 1967),
Inochi bonifuro (Krčma zla, 1971),
Moeru aki (Glowing Autumn, 1979) i
Shokutaku no nai ie (The Empty Table, 1985).