Bizans imparatorlarının kraliyet yerleşimi olarak 330 yılından 1081 yılına kadar hizmet etmiştir. 800 yıldan fazla imparatorluk yönetiminin merkezinde yer almıştır. Günümüze çok az kalıntısı kalmıştır.

I. Konstantin, Roma başkentini, 330 yılında Konstantinopolis'e taşıdığında, kendisi ve kendisinden sonra gelenler için bir saray planladı. Saray, Hipodrom ile Aya Sofya arasında konumlandırıldı. Saray, özellikle I. Justinianos ve Theofilos dönemlerinde birçok kez yeniden yapılmış ya da genişletilmiştir.

Komnenos hanedanı tarafından Blakernai Sarayı'nın tercih edilmesi dışında, erken 13. yüzyıl'a kadar, Büyük Saray, Şehrin ana yönetim ve tören merkezi olarak hizmet etti. Dördüncü Haçlı seferi sırasında, Saray, Montferratlı Boniface'in askerleri tarafından yağmalanmıştır. Latin İmparatorluğu sırasında, Saray kullanılmaya devam edilsede, para yokluğundan tamir ettirilememiştir. Son Latin İmparatoru II. Baodouin sarayın kurşun çatısını söktürüp, satmıştır.

Daha sonra, 1261 yılında VIII. Mikhail Palaiologos, Şehri tekrar geri aldığında, Saray çok kötü durumdaydı. Palaiologus hanedanı, Saray terk edip, Blakernai Sarayı'nı kullanmışlardır. Sonuçta, Fatih Sultan Mehmed, 1453 yılında Şehri feth ettiğinde, Saray terk edilmiş ve harabe halindeydi. Sarayın boş salon ve bölümlerini gezinirken, Persli şair Firdevsî'nin aşağıdaki mısralarını okuduğu rivayet edilir. "Sezarların Sarayına, örümcekler ağlarını örmüşler, Efrasiyab'ın kulelerinde bir baykuş ötüyor.

Osmanlı İmparatorluğu'nun erken yıllarında, Konstantinopolis'in yeniden inşası sırasında sarayın çoğu ortadan kalkmış olmasına rağmen, 20. yüzyıl'ın başlarında Büyük Saray'ın bir kısmı gün yüzüne çıkmıştır. Ortaya çıkan bu kısımda, hapishane hücreleri, birçok büyük oda, büyük bir ihtimal türbe bulunmuştur. Günümüzde, İstanbul'da Büyük Saray'da üzerinde kazılar devam etmektedir. Toplam alanın bir çeyreği kazılmıştır. Ancak toplam alanın kazılması alanın bir kısmının Sultan Ahmet Camii ve onun etrafındaki binaların altında kalması nedeniyle mümkün değildir. Bulunan mozaiklerin çoğu Büyük Saray Mozaikleri Müzesi'nde sergilenmektedir.

Saray, yarımadasının güney doğu ucunda kurulmuş, Hipodrom ile Aya Sofya arkasındadır. Âlimler için ayrılmış bir seri oda vardır, bu gelenek, sarayın halefi Topkapı Sarayı'nda da devam etmiştir. Sarayın toplam alanı 19,000 m²(200,000 feet kare)'den fazladır.

Saray'a ana giriş, "Augustaion" adı verilen tören alanında Halki Kapısı'ndandı. Augustaion, Aya Sofya'nın güneyinde yer alıyordu, burada şehrin ana caddesi Mese Caddesi başlıyordu. Alanın doğusunda önce Senato binası olarak sonra Üniversite olarak hizmet gören Magnaura bulunuyordu, batısında ise Milyon taşı ve Zeuksippos Banyoları bulunuyordu. Halki Kapısından hemen sonra güneye doğru, saray muhafızlarının barakaları bulunuyordu (Scholae Palatinae). Bu binalardan sonra kabül salonu, ondan sonra erken Bizans döneminde kraliyet yerleşimi olarak kullanılan Daphne Sarayı yer almaktaydı. İmparator'un yatak odası Octagon'u içermekteydi. Bir koridor, Daphne'den başlıyor Hipodrom'da bulunan İmparator Locası (kathisma) ile sonlanıyordu. Ana taç odası Hrisotriklinos, İmparatorların özel saray şapeli ile birlikte II. Justin tarafından yapılmış, I. Basileios tarafından genişletilmiş ve yenilenmiştir. Onun kuzeyinde İmparator Theofilos tarafından yaptırılmış Trikonhos (Triconchos) Sarayı yer alırdı, buradan yarım daire şeklinde "Sigma" adı verilen geçis veren odaya açılırdı. Trikonhos'un doğusunda I. Basileios tarafından inşa edilmiş ve bolca süslenmiş 5 yaldızlı kubbesi ile Nea Ekklesia ("Yeni Kilise") bulunuyordu. Kilise İstanbul'un fethinden sonra da ayaktaydı, Osmanlı İmparatorluğu döneminde cephanelik olarak kullanılmış, 1490 yılında yıldırım düşmesi sonrası patlamıştır. Kilise ile deniz tarafındaki duvarlar arasında "Tzykanisterion" isimli polo sahası vardı.

Daha güneyde, ana komplekse ekli deniz kenarında Bukoleon Sarayı bulunuyordu. deniz tarafındaki duvarlara dahil olacak şekilde, İmparator Theofilos tarafından yaptırılmıştı. 13. yüzyıla kadar saray geniş şekilde kullanılmıştır. Özellikle 1204–1261 yılları arasında Latin İmparatorluğu döneminde Batı Avrupa'nın katolik imparatorları tarafından deniz kıyısındaki bu saray tercih edilmiştir. Deniz tarafındaki kapı olan Bukoleon, İmparatorluk limanına doğrudan giriş verirdi.