Kilisenin MS 365-395 tarihleri arasında inşa edildiği sanılmaktadır. Anadolu'da sıkça rastlanılan Kapadokya kiliseleri tarzında yapılmış, hatta Trabzon'da Maşatlık mevkiinde benzeri bir mağara kilisesi daha vardır.
Kilisenin ilk kuruluşu ile manastır haline dönüşümü arasındaki bin yıllık dönem hakkında fazla bir şey bilinmemektedir. Karadeniz Rumları arasında anlatılan bir efsaneye göre Atina'lı Barnabas ile Sophronios adlı iki keşiş aynı rüyayı görmüşler; rüyalarında, İsa’nın öğrencilerinden Aziz Luka’ın yaptığı üç Panagia ikonundan, Meryem'in bebek İsa’yı kollarında tuttuğu ikonun bulunduğu yer olarak Sümela'nın yerini görmüşler. Bunun üzerine birbirlerinden habersiz olarak deniz yoluyla Trabzon'a gelmiş, orada karşılaşıp gördükleri rüyaları birbirlerine anlatmış ve ilk kilisenin temelini atmışlardır. Bununla birlikte manastırdaki fresklerde sıkça yer alıp, özel bir önem verilen Trabzon İmparatoru III. Aleksios'un (1349-1390) manastırın gerçek kurucusu olduğu sanılmaktadır.
14. yüzyılda Türkmen akınlarına maruz kalan kentin savunmasında ileri karakol görevi üstlenen manastırın statüsünde Osmanlı fethinden sonra bir değişiklik olmamıştır. Yavuz Sultan Selim'in Trabzon’da ki şehzadeliği sırasında iki büyük şamdan buraya hediye ettiği, Fatih Sultan Mehmed, II. Murat, I. Selim, II. Selim, III. Murad, İbrahim, IV. Mehmed, II. Süleyman ve III. Ahmed'in de manastırla ilgili birer fermanları bulunmaktadır. Osmanlı döneminde manastıra sağlanan imtiyazlar, Trabzon ve Gümüşhane bölgesinin İslamlaşması sırasında özellikle Maçka ve kuzey Gümüşhane'de Hıristiyan ve gizli Hristiyan köyleri ile çevrili bir alan oluşturmuştur.
18 Nisan 1916’dan 24 Şubat 1918’e kadar süren Rus işgali sırasında Maçka civarındaki diğer manastırlar gibi bağımsız bir Pontus devleti kurmak isteyen Rum milislerin karargahı olmuş, nüfus mübadelesi ile bölgedeki Hristiyanların Yunanistan'a gönderilmesinin ardından önemini yitirerek T.C. Kültür Bakanlığıtarafından yakın zamanda onarılana dek kaderine terk edilmiştir.
Yunanistan'a mübadele ile göçen Karadenizli Rumlar Veria kentinde Sümela adını verdikleri yeni bir kilise inşa etmişlerdir. Her yıl Ağustos ayında tıpkı geçmişte Trabzon Sümela'da yaptıkları gibi yeni manastırın çevresinde geniş katılımlı şenlikler düzenlemektedirler.
2010 yılında Türkiye Cumhuriyeti Hükûmeti'nin izni ile Hıristiyanlarca Meryem Ana'nın göğe yükseliş günü olarak kabul edilen ve kutsal sayılan 15 Ağustos günü 88 yıl aradan sonra ilk ayin düzenlenmiş, ayini Fener Rum Patriği Dimitri Bartholomeos yönetmiştir.
Kilisenin içi fresklerle kaplıdır:
•Kilise içinde Meryem figürleri Gürcülerin kullandıkları Gürcü madonna şeklinde resmedilmiştir.
•Asıl kilisenin absid kısmında, güney duvarında yukarıda Meryem'in doğuşu ve mabede sunuluşu, tebliğ, İsa'nın doğuşu, mabede sunuluşu ve hayatı, altta İncilden resimler.
•Güney kapısında Meryem'in ölümü ve havariler.
•Kilisenin doğuya bakan yukarı kısmında 2. sırada Genesis, Ademin yaratılışı, Havva'nın yaratılışı, Tanrı'ın tembihi, İsyan (Adem ile Havvanın yasak meyveyi yemeleri), Cennetten kovulma. 3. sırada: Yeniden dirilme, Thomas'ın şüphesi, Kabirde bir melek, Nikaia konsülü.
•Absid kısmının dışında, yukarıda Mikail, Cebrail bulunmaktadır.