Им стал памятник архитектуры 17 века. Это церковь Сошествия Святого Духа на апостолов. До недавнего времени там находилась научная библиотека музея-заповедника.
За воротами Кремля, в уединенном месте, на самом краю холма расположился небольшой белокаменный храм Сошествия Святого Духа. Особую красоту создают золотые звезды на гранях и грушевидные главы, увенчанные крестами. Есть и редкий архитектурный элемент - храм имеет только две апсиды, примыкающие к зданию алтарные выступы. Церковь - часть располагавшегося здесь когда-то монастыря, построенного в 1505 году при последней рязанской княгине Агриппине. Первые столетия своего существования монастырь был деревянным и не раз горел. В 1783 году при очередном пожаре огонь полностью уничтожил обитель. Сохранилась только эта церковь Святого Духа,потому что была построена из камня.
Духовская церковь после пожара 1783 года простояла в забвении почти 15 лет. В конце 18 века княжна Александра Козловская вложила все имевшиеся у нее средства не только в восстановление церкви, но и на сооружение нового предела в честь святой мученицы Александры Римской. Церковь небольшая по размеру, но очень изящная и узнаваемая благодаря двум шатрам.
Храм действовал почти три столетия, а вот после революции с 1929 года в здании находился клуб работников водного транспорта Рязани. Но богослужения здесь прекратили раньше - здание отдали под хранение зерна. Речники в первый же год обратились за разрешением сломать колокольню и купол. А для выступлений на месте алтаря соорудили сцену. С 1964 года в храме находилась библиотека Рязанского краеведческого музея. Недавно здесь впервые за десятки лет прозвучала молитва. А вскоре планируется проведение выставки.
Чтобы вернуть храму прежний облик, потребуется немало усилий. Церковь стала последней на территории Кремля, которую передали в ведение епархии. Всего же более 20 объектов этой жемчужины Рязанской области вернули Русской православной церкви.