Живя в Москве, Долгоруков выдавал себя за весьма богатого человека, а также за племянника московского генерал-губернатора Владимира Андреевича Долгорукова. Он заключал займы, выдавая векселя, по которым платить был не в состоянии, а также выманивал под видом покупки в кредит разное движимое имущество. 5 марта 1877 года Всеволод Алексеевич был приговорён к заключению в рабочий дом на 8 месяцев с последующей ссылкой, позднее приговор был смягчён — Долгоруков ссылался в Томскую губернию.

В Томске

В 1898 году В. А. Долгоруков сдал экзамены и стал частным поверенным при Томском окружном суде. В его доме проводились литературные и музыкальные вечера. Летом 1899 года в селе Заварзино на даче был открыт летний театр. Долгоруков покровительствовал различным обществам, в том числе церковно-приходской школе при Никольской церкви.

Умер Всеволод Алексеевич Долгоруков в 1912 году, оставив единственного сына Фёдора (1901—?).

Брак

В донесении агента Третьего отделения Его Императорского Величества канцелярии от 18 октября 1869 года сообщалось о некой госпоже Амелии, которая значилась в паспорте «из благородных» и проживала на Екатерининском канале. Её основным доходом стало устройство браков «покаявшихся распутниц, желающих получить почётную в их кругу позицию, титулованных мужей, или правильнее титла, которые покупают у разных промотавшихся господ за очень дешёвую цену». При этом «графские и княжеские титла, составляя товар более редкий, ценятся довольно дорого; генеральские же чины идут почти что ни по чём». В этом же донесении отмечалось:Известный, содержащийся в долговом отделении, отст<авной> юнкер князь Всеволод Долгорукий точно так же женился на какой-то публичной женщине за 5000 рублей.

Литературная и издательская деятельность

Заниматься литературой Долгоруков начал ещё в Морском корпусе. В 1861 году он был одним из авторов сборника литературных и графических опытов морских кадетов — «Литературный сборник произведений русского юношества с карикатурами 1860—61 года»/сост. и изд. —кн. Долгорукой Всев. (лит. часть) и Куприянов Мих. (худ. часть).[СПб, 1861]. По распоряжению корпусного начальства весь тираж был уничтожен.

В 1862 году в Новгороде открывался памятник «Тысячелетие России». По этому случаю в городе вышли два путеводителя. Первый был выпущен митрополитом Макарием и содержал информацию о церковных памятниках и реликвиях Новгорода. Второй — «Путеводитель по Новгороду: Справочная книга для едущих на открытие памятника тысячелетию России[СПб, 1862, 27 с.]» — вышел анонимно и в нём были описаны и светские достопримечательности, и даже краткая история Новгорода. Автором его был князь Долгоруков. В том же году под псевдонимом был опубликован памфлет на литератора и журналиста В. И. Аскоченского — Крестовский 3-й Вс. А. «Аскоченский новый оракул, или Советы красным девицам» [СПб,1862]. Кроме того, был опубликован сборник молодых авторов — «Заря для всех»/Сост. В. Пропащий. [СПб, 1862].

В 1870-е годы князь Долгоруков планировал выпустить серию путеводителей по России. В 1872 году вышел путеводитель по Москве — Долг-ой В. Путеводитель по Москве и её окресностям:Первый выпуск «Путеводителя по России». [М, 1872, 506 с.]. В предисловии было указано, что этот путеводитель уже издаётся на немецком языке, а к печати готовятся путеводители по Киеву и Одессе, но ни один из них не был напечатан.

К литературной деятельности Всеволод Долгоруков вернулся в ссылке в Томске. Он начал печататься в томской, а также московской и петербургской периодике. В 1899—1910 годах он был редактором ряда газет и журналов: «Дорожник по Сибири и Азиатской России», «Сибирский наблюдатель», «Сибирский отголоски», "Бубенцы:Сатирический и карикатурный отдел «Сибирских отголосков», также Долгоруков являлся корреспондентом газеты «Енисей». Всеволод Алексеевич выпустил пьесу «В водовороте» и фотоальбом

Писал Долгоруков и стихи. При жизни вышли 3 сборника:

• Сибирский Всеволод. Не от скуки: Стихотворения [Томск, 1890] и [1894]
• Северянин. Восточные сказания [Томск, 1909]

Четвёртый сборник «Стихотворения» был выпущен уже после смерти Долгорукова в 1912 году при участии М. П. Долгоруковой.

И. Я. Шмидт в своих воспоминаниях «Из далёкого прошлого (Поездка с А. П. Чеховым по Сибири)» писал о Долгоруком:Пришёл к Чехову также некий Долгоруков, плотный мужчина большого роста с густыми волосами до плеч и протодиаконским басом. Он поднёс А.П., а заодно и мне по тому своих стихотворений и пригласил нас к обеду. …Долгоруков жил в большом, богато обставленном особняке. Сервировка стола и обед были изысканны. Но место хозяйки оставалось почему-то не занятым. О семейной жизни Долгорукова и о его прошлом говорили разное. Сам он называл себя политическим, но злые языки утверждали, что он попал в ссылку за то, что в своё время ухитрился запродать дворец московского генерал-губернатора

Долгоруков подарил Чехову сборник своих стихотворений «Не от скуки. Стихотворения Всеволода Сибирского». 28 мая 1890 Чехов писал Долгорукову из Красноярска: Почитываю Ваши стихи. У Вас хорошая душа и стихом владеете, но язык недостаточно прост; надо воли себе давать больше .

Но самым успешным его произведением стал путеводитель по Сибири, впервые опубликованный в 1895 году:

• Гурьев Н.А, Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России с подробным дорожником [с картой]. спутник по минеральным водам азиатской России с приложением/ Изд. — Долгоруков В. А. под ред. — Долгоруков В. А. Томск, 1895;
• Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России:Год второй.Томск, 1897;
• Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России:Год третий [На русск. и фр. яз.]. Томск, 1898;
• Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России:Год четвёртый [На русск. и фр. яз.]. Томск, 1899;
• Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России:Год пятый [На русск., фр., нем, англ, и ит. яз.]. Томск, 1900—1901;
• Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России:Год шестой [Только на русск. яз.]. Томск, 1901—1902;
• Долгоруков В. А. Путеводитель по всей Сибири и Средне-Азиатским владениям России:Год седьмой. С.142 фототипогравюрами и картой Империи [Только на русск. яз.]. Томск, 1903—1904.