Cumhuriyet'in ilk yıllarında, Türkiye'nin farklı bölgelerini temsilen üniversiteler kurulması fikri yaygınlaşmıştı. Batı Anadolu'yu İstanbul Üniversitesi ve İstanbul Teknik Üniversitesi, Orta Anadolu'yu Ankara Üniversitesi temsil ederken, Doğu Anadolu'yu temsil edecek bir üniversitenin açılması düşünülmekteydi. Mustafa Kemal Atatürk, 1 Kasım 1937 tarihinde Türkiye Büyük Millet Meclisi'nde yaptığı konuşmada bu fikri dile getirmiş; ancak II. Dünya Savaşı'nın etkileri nedeniyle bu plan ertelenmiştir. 1950 yılında bu konu tekrar gündeme gelmiş ve Ankara, İstanbul ve İstanbul Teknik Üniversitelerinden seçilen 15 üyeli bir "Doğu Üniversitesi Teknik Komisyonu", merkezi Van'da, fakülteleri farklı illerde olacak bir Doğu Üniversitesi önerisinde bulunmuştur.
1954 yılında çıkarılan 6373 Sayılı Kanun ile bu üniversitenin adı Atatürk Üniversitesi olarak belirlenmiş ve merkezi Erzurum olarak kararlaştırılmıştır. Amerika Birleşik Devletleri'nin yardımı ile Nebraska Üniversitesi ile iş birliği yapılmış ve hazırlık çalışmaları hızlandırılmıştır. 7 Haziran 1957 tarihinde 6990 Sayılı Atatürk Üniversitesi Kanunu'nun yürürlüğe girmesi ile üniversitenin kuruluş çalışmaları tamamlanmış ve üniversite, Türkiye'nin en eski yedinci üniversitesi olarak eğitim hayatına başlamıştır. Kuruluş Kanunu'nun Resmî Gazete'de yayımlanma tarihine göre altıncı üniversite olarak da anılmaktadır. Erzurum kent merkezine 1,5-2 kilometre mesafede bulunan Atatürk Üniversitesi, 6,5 milyon m²'lik açık alan ve 1 milyon m²'lik kapalı alan ile Türkiye'nin en büyük ikinci kampüsüne sahip olup, Türkiye'nin ilk planlı kurulan kampüsü olma özelliğini taşımaktadır. Erzurum ovasının büyük bir kısmını kaplayan üniversite arazisi, genişliği ve planlı yapısıyla dikkat çekmektedir.
Atatürk Üniversitesi'nin kampüsü, Amerika Birleşik Devletleri'nden davet edilen heyetin önerileri doğrultusunda, 'land-grant' tipi bir bölge üniversitesi modeli ile tasarlanmıştır. 1955 yılında düzenlenen uluslararası proje yarışması sonucunda, Hayati Tabanlıoğlu, Enver Tokay, Ayhan Tayman ve Behruz Çinici'nin yer aldığı proje ekibi birinci seçilmiştir. Üniversitenin temeli, 23 Temmuz 1957 tarihinde, Erzurum Kongresi'nin 38. yıldönümünde, Cumhurbaşkanı ve Başbakan tarafından atılmıştır. Yerleşke inşaatı 1955-1970 yılları arasında sürmüştür.
17 Kasım 1958 tarihinde, Şair Nef'i Ortaokulu binasında Ziraat ve Fen - Edebiyat Fakülteleri ile eğitime başlayan Atatürk Üniversitesi, ilk yılında 135 öğrenciye eğitim vermiştir. Üniversitenin kütüphanesi, büyük ölçüde Seyfettin Özege'nin bağışladığı kitaplardan oluşmakta ve bu koleksiyonun nadide eserler salonu, onun adını taşımaktadır.