Приход Олдхэма также ознаменовал начало постепенного отчуждения Брайана от группы и снижения его значимости, вызванной усилиями Олдхэма перенести лидерство с Джонса на Джаггера и Ричардса.

На протяжении этого времени авторство многих композиции в репертуаре группы приписывалось Nanker Phelge — что означало, что она является плодом совместных усилий Джаггера-Джонса-Ричардса-Уоттса-Уаймана.

Олдхэм, как и музыканты, понимал финансовую выгоду написания собственных песен (как это делали Джон Леннон и Пол Маккартни, к тому же было ясно, что кавер-версии чужих песен не позволят группе находиться долго в центре внимания. Кроме того, на концертах Олдхэм пытался сфокусировать внимание публики на натуре Джаггера. Джонс видел, как меняется политика группы: из репертуара уходили поддерживаемые им блюзовые каверы, уступая совместным творениям Джаггера-Ричардса. Тем самым контроль Олдхэма стал менять роли музыкантов.

23 июля 1964 года Джонс стал отцом в третий раз, и опять вне брака: матерью стала его очередная подружка Линда Лоуренс (Linda Lawrence). Джонс назвал сына Джулиан Брайан Лоуренс (Julian Brian Lawrence). (Позже к имени могло добавиться ещё и Leitch, после того как Линда Лоуренс вышла замуж за певца Донована (Donovan) 2 октября 1970 года.). По словам Джонса, он называл обоих сыновей Джулианами в честь джазового саксофониста Джулиана Эддерли (Julian "Cannonball" Adderley).

На протяжении всей своей карьеры Брайан Джонс, основываясь на своем умении игры на фортепиано и кларнете, показывал выдающиеся музыкальные способности, легко играя на множестве других инструментов. Когда позже у The Rolling Stones появилась финансовая возможность записываться на профессиональных, хорошо оборудованных студиях грамзаписи (таких как Olympic Studio, RCA и Sunset Sound Recorders в Лос-Анджелесе), музыкант, находясь под влиянием альбома 1965 года «Pet Sounds» группы The Beach Boys и экспериментами The Beatles в области индийской музыки (в основном игрой Джорджа Харрисона на ситаре и тамбурине), попытался внести в музыку новые духовые и струнные инструменты, играя с более повышенным темпом.

В группе Брайан Джонс играл на струнных (гитара, ситар), клавишных (орган, меллотрон), духовых (флейта, губная гармоника) и некоторых других инструментах, таких как тамбурин, ксилофон и маримба. Несмотря на умение музыканта играть на кларнете, фортепиано и медных инструментах, в архиве The Rolling Stones нет таких записей.

Основная гитара музыканта в ранние годы — Gretsch Double Anniversary, но больше известна его Vox Phantom Mark III. Позже Джонс использовал различные модели Gibson (Firebird, ES-330, Les Paul), а также 12-ти струнную Rickenbacker, прославленную Джорджем Харрисоном.

Игра Брайана внесла значительный вклад в звучание The Rolling Stones в шестидесятых. Его партии на слайд-гитаре можно услышать в «I Wanna Be Your Man», «Little Red Rooster», «No Expectations»; тамбурине — в «Street Fighting Man», маримбе — в «Under My Thumb», флейте — в «Ruby Tuesday», дульцимере — в «Lady Jane» и «I Am Waiting», меллотроне — в «2000 Light Years from Home» и «We Love You», губной гармошке — в «You Got the Silver». Вообще, основные партии губной гармошки в записях The Rolling Stones в 60-ых сделаны Брайаном Джонсом.

На ранних этапах творчества группы (особенно в 1962—1964 гг.) он также зачастую выступал как бэк-вокалист: например, в песнях «I Wanna Be Your Man» и «Walking The Dog». Грубоватый вокал Джонса можно также услышать в песнях «Come On», «Bye Bye Johnny», «Money» и «Empty Heart» (последняя — параллельно вокалам Джаггера и Ричардса).