28 ноября 1966 года стал по мнению многих в окружении группы чёрным днём для альбома — моментом, когда стали очевидными признаки паранойи Брайана Уилсона, которые теперь тормозили работу над альбомом. В тот день в студии записывалась композиция «Fire» («Mrs O’Leary’s Cow») — один из элементов сюиты о четырёх стихиях; были также сделаны записи огня, а чтобы создать соответствующее настроние при записи Уилсон потребовал от музыкантов играть в пожарных касках. Спустя несколько дней в доме напротив студии случился пожар, здание выгорело дотла. Уилсон же решил, что это его песня каким-то образом повлияла на возникновение пожара, и что в этом инциденте было задействовано колдовство; в пожарной части он сверился со статистикой пожаров и когда увидел, что процент возгораний действительно был необычно высоким в то время, он прекратил всякую работу над этой композицией, веря в её мистическую связь с пожарами. В результате, всё более увеличающаяся творческая непредсказуемость и психическое состояние Уилсона, как и неприятие новой музыки членами группы и лейбла, в том числе, стали приводить к общему расшатыванию проекта. Позже Уилсон в интервью журналу «Роллинг Стоун» обрисовал картину того времени: «Я слишком увлекался наркотиками и стал создавать совершенно бредовые вещи. Слишком заумные для слушателей. Я стал слишком заумным, слишком претензиозным и стал делать вещи, которые в общем были далеки от духа The Beach Boys — это были вещи сугубо мои».

Из-за давления лейбла, требовавшего новый сингл от группы, Уилсон в конце декабря 1966 года прервал общую работу над альбомом и сосредоточился на песне «Heroes and Villains», задействовав такой же скрупулёзный метод монтажа как и в «Good Vibrations». «Heroes and Villains» была, наконец, закончена 2 марта 1967 года, после чего Уилсон обратился к более развёрнутой работе над песней «Vega-Tables». К этому времени стали разрастаться разногласия между Уилсоном и Ван Дайком Парксом по поводу текстов песен; кроме того, Паркса не удовлетворяло отсутствие прогресса в работе. В итоге 14 апреля он порвал отношения с Уилсоном и всем проектом «Smile».

При постоянном давлении Capitol Records (на которых 28 февраля The Beach Boys подали в суд за недоплату гонораров), раздражении остальных участников группы и уходе Паркса, Брайан Уилсон стал терять уверенность в альбоме. К тому времени, стало очевидно, что Уилсон не в состоянии закончить работу. В итоге 6 мая 1967 года Дерек Тейлор сделал заявление в британской прессе, что материал со «Smile» запечатан, и что альбома не будет, несмотря на то, что Брайан Уилсон на самом деле продолжал работать в студии вплоть до 18 мая. Лидер The Beach Boys погрузился в глубокую депрессию и отчуждённость, отдавая себе отчёт, что самый золотой момент группы, особенно на фоне выхода «Sgt. Pepper's Lonely Hearts Club Band» The Beatles, им был упущен.

Падение популярности и новые поиски (1967—1970)

В это время у группы начались проблемы одна за другой. 26 апреля 1967 года перед самым концертом в Коммаке, шт. Нью-Йорк, Карл Уилсон был арестован за уклонение от призыва в армию. 1 мая он был освобождён под залог в 40 000 долларов; в это время группа уже гастролировала в Европе, и он был вынужден присоединиться к ансамблю позже; однако постоянные вопросы об армии на пресс-конференциях не способствовали снижению стресса. По приезде в Ирландию, музыканты обнаружили, что из-за отсутствия рабочих виз им нельзя будет выступать во Франции и Нидерландах. Гастроли по Ирландии и Великобритании сопровождались уничтожающими отзывами в музыкальной прессе. Репортёрам впервые бросился резкий контраст между совершенством аранжировок на пластинках группы и, по их мнению, примитивно-любительским исполнением на сцене (при этом стоит отметить, что британский профсоюз не разрешил использование американского камерного квартета, что ещё более обеднило звучание коллектива). «Мелоди Мейкер» отметил, что «The Beach Boys — это вокальная группа по большому счёту, однако то, как они играют, в конце концов, их погубит… Пришло время посвятить свою жизнь работе в студиях, а не концертным выступлениям». Приговор «Нью Мюзикл Экспресс» был ещё более бескомпромисным: «The Beach Boys кончены». При этом, британских критиков в недоумение привело и то, что новый сингл ансамбля «Then I Kissed Her», вышедший в Великобритании как раз накануне турне, был выпущен ещё в 1965 году. Таким образом, вкупе с объявлением о прекращении работы над «Smile», в музыкальных кругах стало превалировать мнение, что группа выдохлась. И вскоре этому было дано ещё более яркое подтверждение.