Kars geniş bir çevreye sahip olmanın yanında M.Ö. 25 bin yılından bu yana çeşitli millet ve medeniyetlerin kurulup yaşamasına ve gelişmesine sahip olmuş bir yer olması bakımından bir müzeye olan ihtiyacı gün geçtikçe daha da artmış bulunduğundan Cumhuriyet Dönemi ile birlikte bazı taş eserler bir kısım yerlerden toplanmaya başlanmış ve bunun neticesi olarak ilk defa bir müze Kars’ın eski vilayet konağının bir odasında zamanın halkevi Başkanı Dr. Budak Demiral ve Halk Eğitim Müdürü Hasan Kartari tarafından “Eski Eserleri Koruma ve Müze Memurluğu” adı altında 1959 yılında Kars Müzesi'nin çekirdeği oluşturularak kurulmuştur. Bu oldukça anlamlı teşebbüsle eski eser toplama çalışmaları giderek artmış ve toplanan eserler başlangıç olarak eldeki imkanlar dahilinde kayıtları yapılmaya başlanmıştır.1959 yılında kurulan müzeye gerek toplama gerekse satın alma yoluyla birçok eser kazandırılmış olup, bu işin sonucunda birçok eserler ortaya konulunca 20 Aralık 1964 tarihinde Kümbet Camii (Havariler Kilisesi) olarak bilinen yerde gerekli çalışmalar yapıldıktan sonra nihayet teşhir tanzim yapılarak sergileme yapan bir müze hüviyetine kavuşmuştur.Kars Müzesi yüklendiği bu görevi 24 Haziran 1969 yılından itibaren Müze Müdürlüğüne dönüştürülerek faaliyetlerini artırarak devam etmiştir.Kars’ın turizm potansiyeli müzemize bağlı Ani ören yerinin turizm potansiyeli ile başbaşa ve hatta kendisidir. Bunların yanında müzenin inkişafi 1965-1971 yıllarında Kağızman Camuşlu Yazılıkaya ve Kurban Ağa Mağarası'nda kazı ve araştırmayı yapan Prof. Dr. İ. Kılıç KÖKTEN’i müzemize kazandırmış olduğu eserlerle kendini tamamlamıştır. Gerek kazılar ve gerekse diğer yollar müzeye eser kazandırılması sonucunda Kümbet Cami'de faaliyetini sürdüren müzenin yeri kendisine yetmemeye başlamıştır.Bu dar imkanlarıyla kazılardan ve diğer yollardan müzeye gelen eserlerini halkımızın hizmetine sunan müzemiz, çevresine bir okul kadar her kademeden topluma hitap eden bir eğitimle kültür kuruluşu olmuştur. Müze binası olarak kullanılan ve Abbasi halifelerine tabi Bağaratlı Kralı 1. Abbas Takvar tarafından M.S 932-937 yıllarında 12 Havari adına yaptırılan ve zamanımızda Kümbet Camii olarak bilinen dört yapraklı yonca planında uzun kasnaklı ve külah biçiminde sona eren kubbe ile örtülü mekan, zamanla müzeye yetmediğinden bugünkü modern binanın yapılması planlanmıştır. 1971 yılında İstasyon Mahallesi, Cumhuriyet Caddesi, Taşlı Harman Mevkii ve gaz ambarının caddeye göre önde bulunan yerde, asıl imar planında Kaleiçi Mahallesi Müstakem Mevki'de Kars Çayı'nın kenarına kendine tahsis edilen 3200 m2 lik yerle takas edilen 4500 m2lik bu yerin mevcut işgal ettiği alan ancak 3100 m2 kadarlık bir alana temele atılarak 1978 yılında tamamlanmıştır. Bu zaman aralığında müze görevini, büro olarak 1877-78 Osmanlı – Rus Harbinin (93 Harbi) Komutanı Gazi Ahmet Muhtar Paşa’nın karargah binası olarak kullanıldığı binada, teşhir olarak da yine Kümbet Camideki yerde devam ettirmiştir.1978 yılında yeni Müze Binasına taşınma işlemleri başlanmış olup, 1979 yılından itibaren teşhir ve tanzim çalışmalarına da başlanarak 22 Nisan 1981 tarihinde yeni müze ziyaretçilerin hizmetine sunulmuştur. Bodrum katla beraber 3 (üç) kat ve 7 (yedi) ana bölümden meydana gelen Müze binasının hizmette kullanma açısından; Bodrum katta: a) Kalorifer Dairesi b) Depolar Zemin katta: a) Eski Eser Deposu b) Bürolar c) Arkeolojik Eser Salonu I. katta: a) Etnografik Sergi Salonu b) Lojman bölümlerinden oluşmaktadır Bunların dışında ana caddeye bakan tarafta bahçe teşhir ve tanzimi ile giriş bölümleri, kuzey tarafta bina duvarına bitişik vaziyette kendine ayrılmış özel ray sisteminin üzerinde; Doğunun Kurtarıcısı Büyük Asker Kazım Karabekir Paşa’ya 1921 Kars Antlaşması sırasında bir iyi niyet jesti olarak Ruslar tarafından hediye edilen tarihi "Beyaz Vagon" bulunmaktadır. Kars Müzesin'nde arkeolojik ve etnografik olmak üzere iki grup eser sergilenmektedir. Bölgemizde bol olan tarihi zenginliklerin ürünlerini sergilemiş olduğumuz arkeolojik eser salonunda 12 adeti büyük olmak kaydıyla duvar vitrinleri, 4 adeti orta vitrinleri ve 2 adeti de masa tipi vitrin diye adlandırdığımız toplam 18 adet vitrin bulunmaktadır. Arkeoloji bölümünde bulunan eserlerde genellikle Prehistorik Çağdan sırasıyla Kalkolitik, Eski Tunç, Urartular, Roma Çağı, Bizans Çağı, Selçuklular ve Osmanlılara aittir. Bunlar arasında; taştan tahıl öğütme değirmenleri, Opsidien kesici aletler, pişmiş toprak kap-kacaklar, kemik-cam, boncuk ve bronz olmak üzere çeşitli süs takıları, cam gözyaşı şişeleri, dinsel aletler, baltalar, mızraklar, ok uçları, mühürler, yün eğirme aletleri, kandiller, bronz iğneler, bronz makyaj aletleri ve geçmişten günümüze değin çeşitli cins ve devirlere ait para ve madalyonlar bulunmaktadır. Vitrinlerin dışında iki adet dört kanatlı ve kemer altı bölümünü meydana getiren yarım dairevi kısım mevcut olan Geç Hristiyanlık örneği ahşap kapı, Selçuklu ve Osmanlı dönemlerine ait çoğunluğu mimari yapıları olduğu sanılan yazılı kitabeler ile iki aslanı kollarının arasına almış vaziyette canlandırılmış Selçuklu Devrine ait taştan mitolojik tasvir bulunmaktadır. Arkeoloji salonu içerisinden bir merdivenle çıkılan Etnoğrafik eser salonunda 8 adeti büyük olmak üzere 16 adet duvar vitrini ve 2 adeti de masa vitrini olmak üzere 18 adet vitrin bulunmaktadır. Etnoğrafya bölümünde bulunan eserler genellikle; Kars ve çevresinden derlenmiş olan dokuma örneklerinden halı, kilim, heybe, at çulu, farma halı ve kilim yastık yüzleri, seccadeler ile bakır ve tunçtan mamül kazanlar, siniler, tepsiler, taslar, ibrikler, yamaklar, (küçük kazan veya yardımcı kap) debbeler (kavurma kabı), kevgir leğen, sahan, havan ve kaşıklar gibi mutfak eşyaları, altın ve gümüş işlemeli hançer, kama ve kılıç filintalar, çakmaklı ve toplu tabancalar, demir ve tunç baltalar ile barutluklar gibi silahlar, el ve matbu baskılı eski kitap fermanlar (vesika) gazeteler, çanta ve yazı takımı gibi yazılı basılı eserler, çadırların içinde bölmeler oluşturmak için çubuklar üzerine değişik renklerde iplikler sarılarak kilim gibi desenlendirilmiş çadır çıtı, yöreye ait kaftan, cepken, üç etek, bel kuşağı, baş örtüsü, göğüslük (tor) duluk ipi, saç bağı, şal kuşak ve çoraplar gibi günlük giysiler sanat tekniğinde gümüş işlemeli eyer takımı, deve çakları, ahşap baston, sopa ve gümüş kırbaç, fayton fenerleri, gümüş işlemeli saatler ve gümüş köstekleri, gümüş muskalıklar, gümüş tabakalar, gümüş kehrubar, oltu taşı, koka mercan, sedef olmak üzere tesbih ve ağızlıklar, nargile, şamdanlar, lambalar, semaverler, süt takımı, şekerlik, maşa, gümüş kemerler, gümüş bilezikler, tepelikler gerdanlıklar ve başlıklardan (Kofik) oluşmaktadır. Ayrıca vitrinlerin dışında üç yastık ve divan halısı ile hazırlanmış bir divan üzerinde dokuma aletlerinden terşi, kirman, ve çıkrık ile yarım dokunulmuş bir yöresel halı tezgahta takılı vaziyette ve halı dokumada kullanılan aletleri ile beraberinde etnografya salonumuzu süslemektedir. Bunların dışında müze bahçesindeki teşhirde çeşitli Türk boylarının Kars ve çevresinde kullanmış oldukları koç, koyun, kuzu ve at mezar taşları, ile Selçuklu ve Osmanlılara ait yazılı kitabeler ve mimari parçalar bulunmaktadır.