Ним став пам'ятник архітектури 17 століття. Це церква Зішестя Святого Духа на апостолів. До недавнього часу там знаходилася Наукова Бібліотека музею-заповідника.
За воротами Кремля, у відокремленому місці, на самому краю пагорба розташувався невеликий білокам'яний храм Зішестя Святого Духа. Особливу красу створюють золоті зірки на гранях і грушоподібні глави, увінчані хрестами. Є і рідкісний архітектурний елемент-храм має тільки дві апсиди, що примикають до будівлі вівтарні виступи. Церква-частина розташовувався тут колись монастиря, побудованого в 1505 році при останній Рязанської княгині Агрипині. Перші століття свого існування монастир був дерев'яним і не раз горів. У 1783 році при черговій пожежі вогонь повністю знищив обитель. Збереглася тільки ця церква Святого Духа, тому що була побудована з каменю.
"Був виявлений над західним порталом кам'яний блок — заставний камінь. Цей закладний камінь розкрив нам ім'я тієї людини, яка була зодчим цього храму — ВАСИЛЬ Харитонович зубів. Цей камінь зараз знаходиться у фондах Рязанського історико-архітектурного музею заповідника», - розповідає черниця Мелетія (Панкова), головний хранитель церковних цінностей Рязанського Кремля, заступник директора церковного музею «Древлехранилище».
ДУХІВСЬКА церква після пожежі 1783 року простояла в забутті майже 15 років. В кінці 18 століття княжна Олександра Козловська вклала всі наявні у неї кошти не тільки у відновлення церкви, а й на спорудження нової межі на честь святої мучениці Олександри Римської. Церква невелика за розміром, але дуже витончена і впізнавана завдяки двом шатрам.
Храм діяв майже три століття, а ось після революції з 1929 року в будівлі знаходився клуб працівників водного транспорту Рязані. Але богослужіння тут припинили раніше-будівлю віддали під зберігання зерна. Річковики в перший же рік звернулися за дозволом зламати дзвіницю і купол. А для виступів на місці вівтаря спорудили сцену. З 1964 року в храмі знаходилася бібліотека Рязанського краєзнавчого музею. Нещодавно тут вперше за десятки років прозвучала молитва. А незабаром планується проведення виставки, присвяченої періоду гонінь на церкву і пам'яті Сповідника патріарха Тихона (Белавіна) 
Щоб повернути храму колишній вигляд, буде потрібно чимало зусиль. Церква стала останньою на території Кремля, яку передали у відання єпархії. Всього ж більше 20 об'єктів цієї перлини Рязанської області повернули Російської Православної церкви.