Mahalleye adını veren Küçük Ayasofya Camii, mütevazı görüntüsünün aksine mimarisi ile yeni bir çağ açan, ilginçhikayeler barındıran bir yapıdır.  Kilise olarak inşa edilen yapının asıl ismi Sergios ve Bakhos Kilisesi idi. Doğu Roma İmparatoru I. Jüstinyen ve karısı Theodora tarafından 527 senesinde yapımına başlanan kilisenin inşaatı 532 yılındaki Nika Ayaklanması sırasında zarar görünce ancak 536 yılında tamamlanabilmiştir. Kilise ismini Hristiyanlığa geçtikleri için işkence ile öldürülen ve daha sonra azizlik mertebesine getirilen Sergios ve Bakhos isimli iki askerden almıştır. Efsaneye göre İmparator I. Anastasios`a karşı bir komploya karıştıkları iddiasıyla idama mahkum edilen Jüstinyen ve amcası Justin sabah gerçekleşecek olan idamlarını beklerken, o gece Aziz Sergios ve Aziz Bakhos İmparator Anastasios`un rüyasına girmiş ve onların suçsuz olduklarını söylemişlerdir. Bundan etkilenen imparator da Jüstinyen ve amcasını affetmiştir. Jüstinyen tahta geçtiğinde ise bu iki azize olan minnetini göstermek için bu kiliseyi inşa ederek kiliseye Aziz Sergios ve Aziz Bakhos`un adlarını vermiştir.
Bir başka efsaneye göre ise İmparator I. Anastasios`tan sonra tahta geçmesi için ordu tarafından, saray muhafızlarının komutanlığını yapmış ancak okuma yazması dahi olmayan köy kökenli Justin seçilmiştir. I. Justin ise hükümdarlığının sonunda varis olarak yeğeni Jüstinyen`i bırakmıştır. Tahta geçen Jüstinyen`in eşi Theodora cambazhane dansçısı olması sebebiyle Roma aristokrasisinin tepkisini çeken ve hafifmeşrep olarak görülen bir kadındır. Theodora`ya tepki gösterenler arasında Roma aristokrasisinin güçlü kadınlarından ve sanatın koruyucusu olarak ünlenmiş olan Anikia Juliana da vardır. Juliana tepkisini göstermek için farklı bir yol seçer Roma aristokrasisinin gücünü ve dindarlığını göstermesi amacıyla 251 yılında öldürülen Melitene (Malatya)`li Aziz Polyeuktos adına görkemli bir kilise inşa ettirir: Ayios Polyeuktos. Bugün İstanbul Belediyesi`nin bulunduğu civarda inşa edilen bu kilise günümüze ulaşamamıştır 1010 depreminde hasar görmüş, 91204`te şehre giren Latinler tarafından yağmalanarak kutsal emanetleriyle birlikte sütunları ve bazı mimari parçaları Venedik`e taşınmıştır. Venedik`e getirilen bu parçalar San Marco Bazilikası`nda kullanılmıştır. San Marco`nun ünlü Akka Sütunları, adının düşündürdüğü gibi Filistin`deki Akka şehrinden değil İstanbul`daki Polyeuktos Kilisesi`nden gitmiştir. Anikia Juliana`nın bu görkemli tepkisine Theodora`nın yanıtı ise Sergios ve Bakhos Kilisesi ile olmuştur. Theodora`nın monofizit eğilimlerinin, kiliseye Refesa kentinin koruyucu azizleri olan Sergios ve Bakhos`un isimlerini vermesinde etkili olduğu sanılır.
Küçük Ayasofya ile ilgili anlatılan olaylardan bir diğeri ise şöyledir 551 yılında Papa Virjil dini bir sorunu halletmek için İmparator Jüstinyen`le görüşmek üzere İstanbul`a gelir. Görüşmeler neticesinde sorun çözülemediği gibi Papa`nın sorun karşısındaki tavrı İmparator`un hoşuna gitmez, bir yandan da Papa`nın sahip olduğu hakimiyet ve nüfuz imparatoru rahatsız eder. İmparator`un niyetini fark eden Papa hayatını emniyete almak amacıyla İstanbul`da ikamet ettiği saraydan ayrılarak Sergios ve Bakhos Kilisesi`ne sığınır. Buna rağmen İmparator Papa`nın tutuklaması emrini verir. Emri yerine getirmek için kiliseye giren askerleri gören Papa apsisteki mihraba sarılır, askerler kendisini ayaklarından saçlarından sakalından çekmeye başlarlar fakat Papa direnerek tutunduğu yeri bırakmaz. En sonunda mihrap yerinden kopar ve askerlerin üzerine yıkılır. Askerler bunu ilahi bir işaret olarak görmüş olacak ki Papa`yı bırakarak oradan uzaklaşırlar. Sergios ve Bakhos Kilisesi, ilerleyen tarihlerde de şehrin en önemli kiliselerinden biri olarak kabul edilmiştir. Sarayın ileri gelenlerinin senede bir defa buraya gelerek büyük bir anma töreni düzenlemesi gelenek halini almıştır. 9. yüzyılda kilise Latin rahiplere terk edilir. O dönemin en ileri gelen baş rahiplerinden 'Havuzlu Falcı' namıyla anılan rahibin parlak tunçtan bir havuzun içine bakarak gelecekten haberler verdiğine inanılırdı.
I. Jüstinyen dönemi Doğu Roma için adeta bir rönesans niteliği taşımaktadır. Bir çok alanda görülen yenileşme ve ilerleme kendini mimaride de göstermiş, çeştli deneysel eserler verilmiş, İstanbul farklı ve iddialı bir çok yapı ile donatılmıştır. Sergios ve Bakhos Kilisesi de bu eserlerden biridir. Yapı kareye yakın asimetrik bir dikdörtgen formundadır. Bu asimetrik şeklin sebebi tam olarak bilinmemektedir. Ancak bazı kaynaklarda bu çevrede Büyük Saray`ın bir pavyonu olan Hormisdas Sarayı`nın ve Aziz Petrus ile Aziz Pavlus adlarına yapılmış bir kilisesinin bulunduğundan bahsedilir. Bu yapıların tam yerleri bugün bilinmese de Sergios ve Bakhos Kilisesi`nin bu yapıların arasına sıkıştırılmış olması sebebiyle asimetrik bir dörtgen olarak inşa edilmiş olabileceği düşünülmektedir.
Dikdörtgen yapının içine sekizgen oluşturacak şekilde yerleştirilmiş sütunların üstünü kaplayan dalgalı ana kubbe, dört yarım kemer ve dört yarım kubbe ile desteklenmiş böylece yapının içmekanının genişlemesi sağlanmıştır. İlk defa kullanılan bu yarım kubbe modeli sayesinde hem içmekanlarda ekstra bir genişlik sağlanmış hem de büyük kubbelerin ağırlığının yandaki yarım kubbelere aktarılması sayesinde daha büyük ana kubbeler yapılmasının yolu açılmıştır. Bu açıdan Küçük Ayasofya kendinden birkaçyıl sonra inşa edilecek olan 'Büyük' Ayasofya`nın küçük ölçekli bir denemesi olmuştur. Ayasofya gibi anıtsal bir yapı ile başarısını kanıtlayan yarım kubbeli model İstanbul`un fethinden sonra Türk mimarisini de etkileyerek bugünkü camilerimizin alameti farikası olan kubbeli görüntünün de temelini oluşturmuştur. İstanbul`un fethinden önce Türk cami mimarisi kare yapı üzerine yerleştirilen görece küçük çaplı kubbelere dayanmaktaydı. Büyük bir cami yapılmak istendiğinde ise bu yapılardan bir kaçı yan yana getirilir yani yapı birbirinden bağımsız yan yana dizilmiş bir çok kubbe ile örtülmüş olurdu. Ayasofya`nın dolayısıyla Küçük Ayasofya`nın etkisinden sonra ise yarım yan kubbeleri kullanmaya başlayan Türk mimarlar Süleymaniye`deki gibi devasa ana kubbeler ve birbirlerini destekleyerek aşağı doğru inen yarım kubbelerden oluşan kubbe şelaleleri inşa etmişlerdir. Aynı şekilde Küçük Ayasofya`nın kubbesinin oturtulduğu sekizgen yapı şekli de Türk mimarlar, özellikle Mimar Sinan tarafından bir çok eserde kullanılmıştır. Örneğin Rüstem Paşa ve Selimiye camilerinde kubbenin sekizgen yapı üzerine oturtulmuş olduğunu görmekteyiz.
Jüstinyen, İtalya seferinin kısmi başarısından sonra tekrar Roma topraklarına katılan Ravenna kentinde San Vitale adında bir kilise daha inşa ettirmiştir. 547 yılında tamamlanan bu kilisenin planı Sergios ve Bakhos Kilisesi`nin planının aynısıdır. Daha ilginçolanı ise Kutsal Roma German İmparatorluğu`nun kurucusu olan Şarlman imparatorluğunun başkenti olarak ihya ettiği Aachen şehrine büyük ve görkemli bir katedral inşa ettirmiştir. Aachen Katedrali veya İmparatorluk Katedrali olarak adlandırılan bu yapının planları da San Vitale Kilisesi`nin planlarının örnek alınması sebebyle Sergios ve Bakhos Kilisesi ile aynıdır. Yani bir yanda Süleymaniye ve Selimiye camileri diğer yanda Aachen Katedrali. İki farklı medeniyetin geliştirdiği iki farklı mimari ve bu iki farklı mimarinin vermiş olduğu birbirlerine hiçbenzemeyen bu anıtsal eserler, aslında hepsi İstanbul`daki mütevazı Küçük Ayasofya`dan türemiştir.
İstanbul`un Roma döneminden kalan en eski ibadethanesi olan Küçük Ayasofya henüz daha inşaat halindeyken 532 yılında çıkan Nika İsyanı sırasında zarar görmüştür. Ardından 9. yüzyıldaki ikonoklazm döneminde bazı içsüslemeleri zarar görmüş ama aynı yüzyıl içinde onarılmıştır. En büyük zararı ise 1204 yılındaki Latin İstilası döneminde görmüştür. İstanbul`un fethinin ardından kilise hemen camiye çevrilmemiştir. Fatih Sultan Mehmet döneminde kilise olarak kullanılmaya devam edilen yapı II. Bayezid döneminde kimilerine göre 1497 kimilerine göre ise 1504 yılında sarayın Bâbüssaâde Ağası (Kapı Ağası) Hüseyin Ağa tarafından camiye çevrilmiştir. Küçük Ayasofya adı yapının camiye çevrilmesinden önce asıl Ayasofya ile olan benzerliği sebebiyle mahalle halkı tarafından verilmiştir. Camiye çevrildikten sonra da Hüseyin Ağa`nın adı yerine bu isimle anılmaya devam etmiştir.
Camiye çevrilmesi sırasında tüm içsüslemeleri değiştirilmiştir. Yapıldığı dönemde tamamen mermer ve mozaiklerle kaplı olduğu düşünülen içmekan bugün sıva ile kaplı haldedir. Ancak dantel gibi işlemeli sütun başlarında Jüstinyen ve Theodora`nın monogramları ile üst galeri zemini hizasından tüm içmekanı çevreleyen akantus yapraklarıyla süslü friz üzerindeki Yunanca yazılar görülebilmektedir. Bu yazılarda 'Dindarlığı teşvik eden Aziz Iustinianus`umuz ve Tanrı`nın taçlandırdığı Theodora; ' gibi ifadeler ile İmparator ve eşi övülmüştür. Aziz Sergios hakkında da övgüler bulunan yazılarda Aziz Bakhos`tan söz edilmez. Frizdeki yazının tam metni şöyledir 'Başka hükümdarlar, eserleri hiçbir fayda temin etmeyen fânilerin namını yücelttikleri halde, hükümdarımız Jüstinyen, bütün mahlukatın yaratıcısı Mesih`in kulu olan ve imanı da ne alev, ne kılıçve ne sair işkencelerle sarsılmayan ve Mesih`in aşkına ölümü hoş görüp kanını dökerek ebedi hayata liyakat kazanan Sergios`u Küçük yüceltmek ve saygı göstermek ve halkın da dindarlığa rağbetini temin etmek için bu yüce binayı yaptırdı. Müteyakkız hükümdarımızın devletini Sergios daima muhafaza ve himaye etsin ve şefkati büyük olan ve fukarayı beslemekteki mesaisinde yorulmak bilmeyen ve Tanrı tarafından taçlandırılmış olan Theodora`nın kudretini arttırsın.'

Kubbeyi taşıyan sekiz ana kolonun friz ile birleştiği yerlerde bulunan arşitravlardaki üzüm salkımı ve yaprağı kabartmaları yapının putpereslik devrinde şarap tanrısı Bakus adına yapılmış olan bir tapınağın yerine inşa edildiği ve adındaki Bakhos`un da buradan geldiği iddialarına sebep olmaktadır. Yine camiye çevirme sırasında Osmanlı mimari özelliklerine uygun olarak büyüklü küçüklü pek çok pencere açılmış, bazı pencereler ise duvar örülerek kapatılmış içmekana mihrap, minber ve müezzin mahfili eklenmiştir. Yakın zaman kadar caminin bir köşesinde Osmanlı dönemi itfaiyecilerinin meşhur aleti olan 'tulumba' bulunurdu. Bu yangın söndürme aracı her ne kadar Türk işi olarak görülse de aletin asıl mucidi Müslüman olarak Davud Gerçek adını alan bir Fransızdır. Tulumbanın bulunduğu yerdeki küçük havuz kilise döneminde vaftiz için kullanılırdı, camiye çevrildikten sonra ise abdest alma yeri olarak kullanılmış ancak bugün içi beton ile doldurulmuş vaziyettedir.
Camiye çevirme ile birlikte yapının batı cephesine 5 küçük kubbe ile örtülü son cemaat yeri eklenmiş, avlunun etrafına da daha sonra medrese olarak kullanılacak olan zaviye odaları inşa edilmiştir. Balkan Savaşları esnasında İstanbul`a kaçanların yerleştirildiği bu odalar günümüzde geleneksel el sanatı eserlerinin üretilip satıldığı atölye/dükkanlar olarak kullanılmaktadır. Yapının güneybatı köşesine ana binadan bağımsız bir minare eklenmiştir. Eklenen ilk minarenin nasıl olduğu bugün bilinmemektedir. Ancak bu minarenin yerine 18. yüzyılda Sadrazam Mustafa Paşa tarafından barok üslubunda yeni bir minare inşa edilmiştir. Sekizgen bir kaide üzerine inşa edilen bu minarenin düz levha şeklinde korkuluklara ve barok süslemelere sahip bir şerefesi ile kurşun kaplı klasik bir külahı vardı. Ancak bu minare 1936 yılında bilinmeyen bir sebepten dolayı kaidesine kadar yıkılmış, bir süre minaresiz kalan yapıya 1955 yılında bugünkü minaresi eklenmiştir. Caminin avlusunda bulunan, 1740 yılında Sadrazam Ahmed Paşa tarafından inşa ettirilmiş, sekizgen şeklindeki havuzlu mermer şadırvan da 1938 senesinde yıkılmıştır. Caminin bahçesinde girişe göre sol tarafta bulunan türbe Sultan II. Bayezid`in Kapı Ağası olan Hüseyin Ağa`ya aittir. Camiye çevirttiği Küçük Ayasofya ve hemen yakınındaki Çardaklı Hamamı, Amasya`daki Kapı Ağası Medresesi ve bedesteni, Amasya`nın kuzeydoğusunda Sonisa (Uluköy)`daki cami ile medrese, Çarşıkapı`daki mescid ve Edirne`deki hanlar gibi yaptırdığı bir çok yapıdan Hüseyin Ağa`nın son derecede zengin biri olduğu anlaşılmaktadır. Lakin bu zenginlik başına iş açar, vergi kaçırmak suçundan Padişah`ın emriyle idama mahkum edilir. Bostancıbaşılar Hüseyin Ağa`yı camiye çevirttiği Küçük Ayasofya`nın bahçesinde yakalarlar ve hemencecik burada kellesini vururlar. Halk arasında anlatıla gelen bir hikayeye göre Hüseyin Ağa kellesi vurulduktan sonra ayağa kalkarak kesik başını kolunun altına alır, bir süre bu vaziyette yürür ve yığıldığı yere türbesi yapılır. Hüseyin Ağa`ya idamından sonra 'kesikbaş' lakabı takılır. Türbenin içinde Mehmet Kamil Efendi (1911) ile kimliği bilinmeyen bir kişi daha yatmaktadır. Sultanahmet Cezaevi`nin koğuş kapılarından biri de Cami`nin bahçesinde bir ağaca dayalı şekilde durmaktadır. Hüseyin Ağa`nın vakıflarından, 1648 yılındaki depremde yapının sıvalarının döküldüğü ve camlarının kırıldığını, 1763 yılındaki depremde ise yapının büyük hasar gördüğünü ve restorasyon için Mimar Ahmet Ağa`nın görevlendirilmiştir. 1870-1871 yıllarında yapının 5 metre yanından geçecek şekilde inşa edilen demiryolu yapıya büyük zararlar vermiştir. Kaynaklarda belirtildiğine göre her tren geçişinde güney duvarlarının taşları dökülürmüş. Bu sebeple bu duvar 1877 yılında Osmanlı örgü sistemi ile baştan yapılmıştır. İlk başta zemin seviyesinden 1 metre yüksekte bulunan demiryolu 1950`lerde zemin seviyesinden 3 metre yukarı çıkarılmış böylece yapıya verdiği zarar azaltılmıştır.
1937 ve 1955`te iki büyük restorasyon gören yapının cephesi daha önceleri sıvalı ve badanalı iken 1955`teki restorasyonda kubbe kasnağı dışındaki tüm duvarların sıvası kazınmış, tuğla ve taş örgüler görünür hale getirilmiştir. 2002 yılında başlayan son restorasyon çalışması tartışmalı bir sürecin sonunda 2006 yılında sona ermiştir.