Вернувшись в Белоруссию, группа «Новый Иерусалим» приняла участие в музыкальном проекте Белорусского телевидения «Рок Айленд», и с песней «Бог Святой» получила гран-при проекта. После этого успеха коллектив начал получать приглашения в различные города России и СНГ.

В 1994 году группа была приглашена на фестиваль еврейской музыки в Минске, организованный Джонатаном Бернисом и являющийся одним из крупнейших фестивалей еврейской культуры, проходивших в Белоруссии. Исполнение данной музыки, по мнению самих музыкантов, серьёзно повлияло на их творчество того периода. По этой причине через пять месяцев вышел второй альбом группы — альбом мессианской музыки «Возвращайся домой». Он был записан в США, в студии исполнителя и продюсера  — Bill Gaither Studio — и микширован в студии Стива Миликана, который стал продюсером альбома. С этого времени группа активно выступает не только в Белоруссии, но и в других странах Европы, а также в США.

Хотя музыкантам нравилось играть на концертах еврейскую музыку, у них появлялось всё большее желание направить тематику своих песен к молодёжи. В 1996 году музыканты во время гастролей по Америке посетили концерт группы , который произвёл на «Новый Иерусалим» значительное впечатление. Вернувшись в Белоруссию, артисты начали подготовку материала для третьего альбома, очень серьёзно подойдя к написанию музыки и текстов и решив писать для этого альбома только о том, что сами пережили. Весной 1997 года группа закончила эту подготовку и отправилась в очередной, четвёртый концертный тур по Америке. Во время гастролей был сделан перерыв, в течение которого в Bill Gaither Studio группа записала третий альбом «Ну что ты думаешь об этом?». В то же время музыканты сняли свой первый профессиональный музыкальный видеоклип — на песню «Я знаю любовь». Данный клип занимал первое место на хит-параде Белорусского телевидения восемь недель. Началась активная ротация песен группы на радио и телевидении. Хитами стали песни «Я знаю любовь», «Божий дизайн», «День как день», «Ну что ты думаешь об этом?», которые впоследствии занимали верхние строчки всех хит-парадов Белоруссии. Через пять месяцев, на белорусской «Рок-коронации» песня «Я знаю любовь» была признана лучшей песней года Белоруссии. В это же время в Минске было записано первое профессиональное концертное видео коллектива. Продолжались активные выступления и за рубежом — за 1997 год группа «Новый Иерусалим» сыграла более 100 концертов в различных странах Европы и в США. В 1998 году, во время очередного концертного тура группы по США, в городе Атланта был снят второй клип — на песню «День как день».

В 1999 году в собственной минской студии группа записала альбом еврейской музыки «Новый Иерусалим» — четвёртый альбом коллектива. Вместе с тем музыканты продолжали концертную деятельность в СНГ и США, исполняя на концертах песни с третьего и четвёртого альбомов. В 2000 году появились четыре песни для нового альбома: «Глаза цвета неба», «Великий Бог», «Неба осколки» и «По воде пойдём». Группа выпустила аудиокассету с этими песнями под названием «версия 01». Также в 2000 году впервые появился официальный сайт группы.

В 2001 году специально для очередного американского концертного тура группа выпускает сборник на английском языке «The Best», в который входят лучшие песни из предыдущих альбомов. 28 марта 2002 года в минском Дворце Республики прошёл концерт коллектива, где впервые был представлен очередной альбом группы — «Неба осколки». В этом же году в Минске был снят видеоклип для двух версий заглавной песни альбома — русской («Неба осколки») и английской («The Fragments of Heaven»). В январе 2003 года песня «Глаза цвета неба» побеждает в телевизионном конкурсе «Хит-Момент». В 2003 году выходит англоязычная версия альбома «Неба осколки» — «The Fragments of Heaven». В этом же году был снят видеоклип на песню «Любовь в ладонях». В 2004 году данный клип занимал первые места белорусского национального хит-парада «Перекрёстки Европы» в течение 33 недель, и трек получил статус лучшей песни 2004 года в Белоруссии. Альбом «Неба осколки» в 2004 году был переиздан лейблом West Records, что повысило его популярность: песни из альбома начали активно ротироваться по радио.