6 февраля 2002 года эксклюзивно для Японии Garbage выпускают сборник Special Collection, в который вошли би-сайды, ремиксы и концертные записи группы. 8 апреля в качестве сингла выходит выходит песня «Breaking Up the Girl», которая прозвучала в мультфильме А скоро колледж?, завершающем мультипликационный сериал Дарья. По результатам европейских чартов лучшим синглом с альбома стала композиция «Shut Your Mouth», релиз которой состоялся 24 июня 2002. Во время турне Garbage сыграли два концерта в России, 2 июля в Санкт-Петербурге (Ледовый дворец) и 3 июля в Москве (Лужники). Турне завершилось 10 декабря 2002 года, после чего группа взяла отпуск. Beautiful Garbage World Tour стал одним из самых коммерчески успешных туров в истории группы.

Bleed Like Me и перерыв (2003—2006)

В марте 2003 года Garbage начали запись четвёртого студийного альбома. Рабочим названием пластинки было Hands on a Hard Body. За первый день в студии была записана композиция «Right Between the Eyes». В течение следующих сессий были готовы песни «Hangin' With The Bitches» и «Never Be Free», записанная совместно с John 5. Но работа над альбомом была приостановлена уже ​​летом, когда Ширли Мэнсон была сделана тяжёлая операция по удалению кисты на голосовых связках. Запись альбома продолжилась только в августе. Вскоре у Дюка Эриксона умер отец, а Стив Маркер потерял мать, из-за чего оба музыканта некоторое время отсутствовали в студии. Работа над материалом шла очень плохо и отношения между музыкантами становились всё более напряжёнными. «Мы сидели друг напротив друга и молчали, потому что даже не знали, будем ли мы вообще работать вместе дальше». — вспоминает Ширли Мэнсон. 10 сентября 2003 года произошёл инцидент: экскаватор, находившийся неподалёку от Smart Studios, накренился и пробил стену студии, в результате чего запись новой пластинки снова была отложена. В октябре, в связи с напряжёнными отношениями между участниками группы, Бутч Виг перезжает в Лос-Анджелес, в то время как Ширли Мэнсон вернулась в Эдинбург. Во время рождественских праздников Виг случайно повстречался с поклонниками группы, которые начали распрашивать его о новом альбоме. Он задумался об уже записанных треках и стал заново их переслушивать. Через некоторое время Виг встретился с фронтменом группы Foo Fighters Дэйвом Гролом, который по просьбе Вига сыграл на ударных в песне «Bad Boyfriend».

В январе 2004 года Garbage вновь собрались в студии The Boat в Лос-Анджелесе. К записи альбома группа пригласила несколько сторонних музыкантов. Первым был John King (producer) из The Dust Brothers, с которым группа работала над песнями «Bad Boyfriend», «Space Can Come Through Anyone» и «It’s All Over But The Crying». Ширли Мэнсон призналась, что именно с появлением этого человека она наконец-то успокоилась и поняла, что альбом будет доведён до конца. Позже к группе присоединяются барабанщик Matt Chamberlain и басист Джастин Мелдал-Джонсен. На следующих сессиях Garbage записали ещё две композиции, «Metal Heart» и «Boys Wanna Fight», имеющие откровенно политический характер и отсылки к вторжению коалиционных сил в Ирак. В октябре 2004 года группа начала процесс микширования альбома. В ноябре стало известно официальное название новой пластинки — Bleed Like Me, а 15 декабря участники группы объявили о том, что запись альбома окончена.

Первым синглом с нового альбома стал «Why Do You Love Me», дебютировавший на 39-м месте Modern Rock Tracks, на 97-м месте в Billboard Hot 100 и на 81-м месте Pop 100, тем самым став наиболее успешным синглом Garbage с 1999 года. 11 апреля 2005 года состоялся выход четвёртого студийного альбома Bleed Like Me. Диск ознаменовал новый взлёт популярности группы. Bleed Like Me дебютировал на 4-м месте в чарте Великобритании; на 4-м же месте он дебютировал и в Billboard Comprehensive Albums. Также диск дебютировал в 10-ке лучших альбомов в Австралии, Греции, Франции, Швеции, Японии, Гонконге, Бельгии и Канаде. В Австралии Bleed Like Me получил статус золотого за 35 тысяч экземпляров, проданных за первые три недели.