Родился в 1926 в семье Павла Васильевича и Анны Ильиничны Леоновых.В 1947 году окончил Московскую драматическую студию и с 1948 года играл в Московском драматическом театре им. К. С. Станиславского.
С 1968 года актёр Театра им. Вл. Маяковского. С 1972 года в Московском театре Ленинского комсомола (с 1990 года — театр «Ленком»).
Стал популярен после фильма «Полосатый рейс».
Яркий и мягкий комедийный, характерный актёр большого обаяния, Леонов отличался непосредственностью и простодушной открытостью, был наделён и самобытным драматическим дарованием. Леонов очень органично перевоплощался в своих многочисленных добродушных, приятных, положительных героев, простоватых, с небольшой обаятельной хитрецой. В своих фильмах Леонов практически не гримировался, даруя героям свою внешность — небольшой рост, полную мешковатую сутулую фигуру, круглое лицо с большим круглым носом и толстыми губами, голову со значительной проплешиной. Глуховатый хриплый голос Леонова моментально узнаваем. Особой любовью многих поколений зрителей до сих пор продолжает пользоваться и его работа по озвучиванию анимационных фильмов (прежде всего блистательно выполненная за кадром роль Винни-Пуха в серии лент 1969—72 годов).
Скончался на 68-м году жизни, 29 января 1994 года, после отрыва тромба, собираясь на спектакль «Поминальная молитва». Похоронен в Москве на Новодевичьем кладбище, участок № 10.