В 1964 году была создана группа The Jackson Brothers, участниками которой стали трое старших братьев Джеки, Тито и Джермейн, а также Рейнолд Джоунс и Милфорд Хайт, игравшие на гитаре и барабанах соответственно. К концу следующего года младшие братья Марлон (тамбурин) и Майкл (конгас) присоединились к группе. Каждый день после работы отец репетировал с сыновьями, исполнение каждой песни доводилось до совершенства, оттачивались танцевальные движения, до мелочей продумывались детали сценического образа.

В 1966 году The Jackson 5 одержали победу в конкурсе талантов школы Roosevelt High School в Гэри, где тогда учился Джеки. Ребята выступили с песней «My Girl». В дальнейшем они побеждали в каждом конкурсе талантов города Гэри, в котором принимали участие. Джозеф начинает инвестировать больше денег в группу, покупает новое музыкальное оборудование — микрофоны, усилители, гитары. После этого события Ширли Картмэн, руководитель оркестра средней школы, стала наставником группы и предложила изменить название на The Jackson 5. Она также предложила заменить Джоунса и Хайта талантливыми музыкантами Джонни Джэксоном (однофамилец) — барабаны и Ронни Рэнсифером — клавишные. Тито стал ведущим гитаристом, а Джермейн, несколько лет игравший на ритм-гитаре, стал бас-гитаристом.

После победы на конкурсе группа начала выступать на профессиональных концертах в Индиане, Чикаго и по всем Соединенным Штатам. Многие из этих выступлений проводились в так называемом «chitlin' circuit». Такое общее название получили клубы, расположенные на востоке и юге Соединенных Штатов, которые были безопасны и приемлемы для музыкантов, комедиантов, и других артистов афроамериканского происхождения во времена расовой сегрегации.

Чтобы заработать денег группе также приходилось выступать в низкосортных клубах, чередуясь со скверными комедиантами, таперами, стриптизершами.

В октябре 1967 году группа сделала свою первую запись на местном лейбле Steeltown. Их первый сингл «Big Boy», релиз которого состоялся в январе 1968 года, стал местным хитом. Затем последовал второй сингл «We Don’t Have to Be Over 21 (To Fall in Love)». Третий, «Let Me Carry Your School Books».

У The Jackson 5 было немало почитателей, включая Sam & Dave, которые обеспечили группе место в знаменитом Amateur Night competition — конкурсе непрофессиональных исполнителей в концертном зале Аполло в Харлеме. Победа группы в шоу 13 августа 1967 года и произвела впечатление на Мотаун Рекордз и Глэдис Найт, которая порекомендовала группу шефу Мотауна Берри Горди. Однако Горди, который уже работал в то время с молодым Стиви Уандером, в связи с существующим законодательством о детском труде, сомневался, стоит ли связывать себя с ещё одним «детским» проектом.

Работа с Motown

В 1968 году The Jackson 5 были ведущими исполнителями шоу All Star Floor Show в чикагском заведении Chicago’s The Guys' and Gals' Cocktail Lounge and Restaurant. С 12 по 27 августа 1968 года The Jackson 5 открывали шоу, организованные Мотаун Gladys Knight & The Pips and Bobby Taylor & the Vancouvers в чикагском Регале. Братья завладели вниманием Глэдис Найт, которая попыталась убедить руководство Мотауна приехать в Чикаго и посмотреть на группу. Тейлор был также под впечатлением от выступления Джексонов и дал обещание продвинуть их в Детройт и в Мотаун. Джозеф с сыновьями остановились в квартире Тейлора в Детройте, пока он сам и Сюзанна де Пасс — ассистент Берри Горди старались организовать встречу руководства лейбла с группой.

23 июля состоялось прослушивание The Jackson 5 в Мотаун, где они исполнили хит Джеймса Брауна «I Got the Feelin». Берри Горди при этом не присутствовал, но была сделана видеозапись, которую направили ему в Лос-Анджелес. Его сомнения по поводу заключения контракта с ребятами отпали, как только он просмотрел эту запись. Горди принял решение заключить с группой контракт и 25 ноября 1968 года устроил прием в своем особняке в Детройте, где Джексоны познакомились со служащими и со звездами Мотаун.