В мае 1884 г. А.К. Кривошеин по личной просьбе увольняется с поста предводителя дворянства и переезжает в столицу, где начинает работать в Министерстве внутренних дел. Через три года его назначают представителем Министерства внутренних дел во Временном управлении казенных железных дорог Министерства путей сообщения, в мае 1889 г. он член Совета по тарифным делам Министерства финансов, а в ноябре 1891 г. – директор хозяйственного департамента Министерства внутренних дел. В августе 1892 г. Аполлон Константинович становится управляющим Министерства путей сообщения, а 1 января – министром. До этого в течение года он был членом Особого совещания, цель которого – ускорение продвижения вагонов с хлебными грузами по железным дорогам.

Поначалу Аполлона Кривошеина готовили к военной карьере. После учёбы в Ришельевском лицее он поступил в Михайловское артиллерийское училище и в 1855 году получил чин прапорщика. 

Затем Аполлон Кривошеин недолгое время служил в армейских частях, был прикомандирован к Михайловской артиллерийской академии. После взятого длительного отпуска в 1859 году вышел в отставку и возобновил службу только три года спустя, но уже по гражданской линии. 

В 1862 году Аполлон Кривошеин определился на службу в Министерство народного просвещения, получив к своему тридцатилетию чин титулярного советника (соответствующий IX классу или общевойсковому званию капитана).

В 1866 году Аполлон Кривошеин вновь покидает государственную службу, на сей раз уже на пять лет.

В 1871 году он возвращается к службе, но уже на поприще местного самоуправления в Екатеринославской губернии. Его послужной список на этот раз выглядит так: уездный предводитель дворянства, затем заместитель городского головы Ростова, гласный Ростовского уездного земского собрания, гласный Ростовской городской думы, гласный Екатеринославского губернского земского собрания, ростовский городской голова, почётный мировой судья. 

Спустя 10 лет, в 1881 году Аполлон Кривошеин получил чин действительного статского советника, а в 1884 году «причисляется» по службе к Министерству внутренних дел.

После своей отставки Аполлон Кривошеин удалился из Петербурга и остаток своей жизни посвятил эффективному управлению своими имениями на Могилевщине. До сих пор в городе Шклове помнят немалый вклад бывшего министра путей сообщения России в развитие Шкловщины. По инициативе Аполлона Кривошеина в 1898 году была построена картонная фабрика, которая выпускала картон и обёрточную бумагу. Также в 1902-1903 годах стараниями Аполлона Кривошеина был посажен шкловский городской парк.

Умер Аполлон Кривошеин почти восемь лет спустя после своей отставки, 12 ноября 1902 года.

Шкловский парк является памятником садово-паркового искусства, пейзажного типа. Заложен он был по инициативе последнего владельца Шкловского имения А.П.Кривошеина.

По инициативе А.К. Кривошеина строительство парка началось в 1902 г. в предместье Забрамном. Усадьба формировалась около Днепра на месте былой лесной рощи. Она включала в себя парк, большой сад, производственную и хозяйственную зоны (всего площадью 25 – 30 га, сейчас сохранилось 5 – 6 га парка). Длинными аллеями парк, образуя единый комплекс, соединялся с садом и бумажной фабрикой. Особенностью парка было большое количество аллей: дубовые, каштановые, тополиные, кленовые, которые и определяли композиционное построение. Древесные группы и клумбы сочетались небольшими полянами. Вблизи усадьбы Кривошеина были высажены композиции из кустов сирени разных сортов, цветов и оттенков. В оранжереях выращивались экзотические растения, завозимые из разных европейских стран и Турции. Парк  был спланирован и создан местным садовником, жителем  д. Уланово Шкловского уезда С. Малиновским,  который ранее в течение двух лет обучался садоводству в Варшаве.

Небольшой пруд (25Х10м) в глубоких берегах был расположен около хозяйственной зоны. Пруд был обсажен березой. Рядом располагались 2 оранжереи, огород, парниковое хозяйство с погребом для хранения овощей и фруктов.

Со стороны сада был огород (теперь стадион), где выращивалась спаржа и обычные овощи.

Насаждения парка в основном составляют местные виды: ель колючая, сосна кедровая европейская, сосна чёрная, клён полевой и др.

Парк сравнительно хорошо сохранился, четко выражены основные композиционные элементы. Используется в качестве городского парка культуры и отдыха. На его территории расположены детсады, танцплощадка, эстрадная площадка, аттракционы, стадион на 2,5 тыс. мест.

В 1898 году  А.П.Кривошеин построил в г.Шклове картонную фабрику, которая на долгие годы стала главным предприятием в городе. Начав с производства картона и оберточной бумаги, фабрика в 1910 годы занимала уже одно из первых мест среди писчебумажных предприятий России и выпускала разные сорта бумаги – от папиросной до газетной. Ее корпуса размещались в фольварке Забрамном на берегу Днепра. Механическая сила до 1912 года на предприятии была паровой. Позже здесь установили два новых дизель-мотора общей мощностью в 1200 л.с. На площади в 20 десятин размещались: большой фабричный корпус, 5 деревянных и 1 каменный дом, кооперативная лавка, другие хозяйственные постройки.

Вся продукция фабрики сбывалась внутри Российской империи из Киевского, Московского, Петербургского и Варшавского складов, а также через разных торговцев и сахарозаводчиков, покупавших бумагу для упаковки сахара.

Сохранилось старое здание фабрики, которое является памятником  гражданской архитектуры 19 в., (ныне здесь размещается администрация ОАО «Бумажная фабрика «Спартак»), которое представляет собой 2-этажное кирпичное здание, построенное в стиле модерн. Главный северный фасад имеет 3-х этажную башню, которая завершается высоким шатром, заломы шатра поддерживаются фигурными кронштейнами.