Проведя в Лос-Анджелесе бесплодный месяц, группа вернулась в Англию и расквартировалась в селении Лес Дина. Только здесь, в мрачных подвалах замка Клиарвелл, где начались репетиции, у Black Sabbath под влиянием жутковатой атмосферы начали появляться соответствующие идеи. Здесь-то и посетил Айомми «спасительный рифф», положивший начало песне «Sabbath Bloody Sabbath (song)» (в честь которой и был впоследствии озаглавлен альбом): с этого момента работа только и началась. Она была продолжена в лондонской Morgan Studios при участии продюсера Майка Бутчера, взявшегося за оформление экспериментов, начатых в Volume 4; звучание группы обогатилось синтезаторным звучанием и струнными аранжировками. В записи композиции «Sabbra Cadabra» принял участие приглашённый в качестве сессионного музыканта Рик Уэйкман, клавишник Yes.

Вышедший в декабре 1973 года Sabbath Bloody Sabbath стал первым альбомом группы, получившим положительные рецензии, в том числе и в Rolling Stone, рецензент которого Гордон Флетчер назвал пластинку «необычайно захватывающей» и «несомненно удачной». Альбом, названный рецензентом Allmusic «шедевром» и «неотъемлемой частью любой хэви метал-коллекции», стал пятым релизом Black Sabbath, получившим в США статус платинового, поднявшись здесь до 11 строчки (и до 4 в Британии).

В январе 1974 года Black Sabbath начали всемирное турне, завершив его на фестивале California Jam в Онтарио, Калифорния, 6 апреля перед 200 тысячами зрителей выступив на одной сцене с Deep Purple, Eagles, Emerson, Lake & Palmer, Rare Earth, Seals and Crofts, Black Oak Arkansas и Earth, Wind & Fire. Частично концерт транслировался телекомпанией ABC, для широкой телеаудитории, которой Black Sabbath были представлены впервые. В том же году подписав контракт с Don Arden, группа оказалась вовлечена в судебную тяжбу с прежними менеджерами, которая длилась около двух лет.

Работа над альбомом началась в феврале 1975 года, вновь в Morgan Studios в Уиллесдене. Музыканты решили сознательно изменить направление, заданное предыдущей пластинкой. Айомми говорил: «Мы могли бы продолжать и далее, совершенствуясь технически, используя оркестры и прочее, но именно этого нам вовсе и не хотелось. Мы взглянули друг другу в глаза и решили, что хотим сделать рок-альбом, а Sabbath, Bloody Sabbath рок-альбомом по своей сути не являлся».

Альбом Sabotage, записанный с Майком Бутчером, вышел в июле 1975 и был высоко оценен критикой: Rolling Stone, в частности, назвал его лучшим в карьере группы, хотя рецензент Allmusic счел, что «особые связи, предопределившие уникальность звучания таких альбомов, как Paranoid и Volume 4, начали здесь распадаться». Sabotage, хоть и вошёл в первые альбомные «двадцатки» США и Великобритании, в целом продавался хуже (в частности, в Америке стал первым, не получившим статус платинового). Единственный сингл из него, «Am I Going Insane (Radio)» в чарты не попал, но как минимум две вещи отсюда — «Hole in the Sky» и «Symptom of the Universe» — прочно вошли в концертный репертуар Black Sabbath. Группа вышла в турне, пригласив Kiss в качестве разогревщиков, но вынуждена были прервать выступления в ноябре 1975 года после того, как в мотоциклетной аварии Осборн порвал мышцу спины. В декабре без участия группы оба лейбла выпустили сборник We Sold Our Soul for Rock 'n' Roll, который в конечном итоге разошёлся в США двухмиллионным тиражом и стал международным хитом.

Technical Ecstasy и Never Say Die! (1976—1979)