В 1961 году, когда Алексей Смирнов стал актёром киностудии «Ленфильм», на экраны страны вышли сразу два фильма с его участием. И комедия Владимира Фетина «Полосатый рейс», где Смирнов сыграл матроса Кныша, и «Вечера на хуторе близ Диканьки» Александра Роу, где Смирнов перевоплотился в посла, были хорошо приняты публикой.

Всесоюзную известность Алексею Смирнову принесли роли в картинах Леонида Гайдая. В новелле «Вождь краснокожих» из фильма «Деловые люди» Смирнов сыграл роль Билла Дрисколла — добродушного увальня, решившего заработать себе на жизнь похищением детей. Фильм, состоящий из трёх отдельных новелл, был прекрасно воспринят зрителем, причём во многом благодаря «Вождю краснокожих», где помимо Смирнова участвовали ещё Георгий Вицин и Серёжа Тихонов. После этой роли Смирнов оказался широко востребован режиссёрами, которые помимо таланта перевоплощения ценили цепкий ум и покладистость актёра: Смирнов не только понимал все режиссёрские задания с полуслова, но и безоговорочно выполнял любые трюки, будь то падения, купание в ледяной воде или непосредственный контакт с дикими животными.

В 1964 году Смирнов снялся в «Зайчике» у Леонида Быкова, который впоследствии стал его близким другом, и у Элема Климова в комедии «Добро пожаловать, или Посторонним вход воспрещён».

Наиболее известной ролью Алексея Смирнова стал великовозрастный хулиган и тунеядец Федя из комедии Леонида Гайдая «Операция «Ы» и другие приключения Шурика». Уже в первый год проката фильм посмотрела треть страны, и в последующие годы он многократно демонстрировался по телевидению. Реплики Феди «Влип, очкарик!», «А компот?!», «Кто не работает, тот ест. Учись, студент!» и многие другие стали частью советского и российского фольклора.

Затем Смирнов снялся у Ролана Быкова в «Айболите-66» (1966), у Андрея Тутышкина в «Свадьбе в Малиновке» (1967), у Виктора Садовского в «Удар! Ещё удар!», у Евгения Карелова в «Семь стариков и одна девушка» (оба — 1968).

» Алексей Смирнов был открыт зрителю как незаурядный драматический актё Во всех этих фильмах он выступал в комедийных ролях, но, как и в театре, актёр мечтал играть драматические роли. Долгое время ему отказывали, и лишь в 1967 году Смирнова пригласили на Белорусскую киностудию для участия в фильме «Житие и вознесение Юрася Братчика». Работа над этим фильмом была сопряжена с массой трудностей цензурного характера, и в итоге массовый зритель этот фильм так и не увидел.

В 1968 году режиссёры Алексей Швачко и Игорь Самборский, зная о фронтовых заслугах актёра, пригласили его в свой фильм «Разведчики», где Смирнов сыграл роль увальня-повара, который упрашивает взять его в разведку и жертвует жизнью, прикрывая отход товарищей. В том же фильме снялся и Леонид Быков, которого Смирнов считал одним из своих преданных друзей и с которым ранее работал на съёмках фильма «Зайчик». В 1974 году на экраны страны вышел фильм «В бой идут одни „старики“», где Быков сыграл роль командира эскадрильи Титаренко, а Смирнов — его механика. Леонид Быков сам выступил режиссёром и настоял на утверждении Смирнова на роль Макарыча. Фильм был восторженно принят зрителями, а образ Макарыча впервые по-настоящему высветил способность Смирнова играть драматические роли, но, как с горечью замечал сам актёр: