Şehrin adı ile ilgili iki rivayet vardır. Birincisi;M.ö.700'lü yıllarda Merzifon'un 4 km. doğusunda bugün Marınca diye anılan köyün bulunduğu yerde bölge valisi Barsevinç, kendi ismini taşıyan bir kasaba inşa ettirmiştir. Bu kasabanın adı zamanla Marsevinç, Mersuvan ve Merzifon şeklini almıştır.

    İkinci rivayete göre; M.ö.222'de bölge valisi 5. Mihridat tarafından bugünkü Merzifon'un yerinde Merzpond adında bir kale inşa ettirilmiş ve adı Merzban, Merzifon şeklinde değişmiştir. "Merz" kelimesi Farsça'da "sınır" mahalsükun, "fon" kelimesinin de Pont'un arapçalaştırılmış hali olduğu, dolayısıyla "Merzifon" kelimesinin "Pond karargahı" anlamına geldiği açıklanmıştır.

    Bu verimli topraklar kimleri ağırlamamışkimlere yurt olmamış ki... Kalkalotik çağdan başlayan höyükler (yerleşmeler) bunun en önemli kanıtıdır.

    Yediler namı ile anılan gölleri bereketli toprakları ile avcılık ve tarıma uygun bu ova yaklaşık 7 bin sene önce de insanlara yurt olmuştur. Karadeniz sahiline ve orta Anadolu'ya giden yollar Merzifon'da kesişmektedir. Bu nedenle coğrafyacı ve tarihçi Strabon bu bölgeyi "Bin köy"; bölgesi olarak tanımlamıştır.

    Strabon'un "Bin köy"; olarak belittiği bölgede yapılan arkeolojik araştırmalarda yüzlerce höyük ve yerleşim yerinin varlığı saptanmıştırr. Bu höyüklerden elde edilen seramik ve buluntulara göre Merzifon tarihinin M.Ö. 5500'lere kadar uzandığı anlaşılmıştır.

    

    Bu höyüklerde ilçemiz Ortaova köyü Onhoroz Büyük Küçük Küllük höyükleri (tepeleri) ve Hayrettin köyü höyükleri en önemli Kalkolotik Esli tunç yerleşmeleridir. Merzifon bölgresinin Hitit döneminde de başkent Hattusaş'a sınır olması nedeni ile önemli bir merkez ve yerleşim yeri olduğu görülmektedir. Bu dönemde (M.Ö. 1700-700) bölgeden iki adet tabii yol geçmektedir. Bunlar:

1- Çorum-Merzifon-Havza-Kavak-samsun yolu (bugünkü kara yolunu izlemektedir.)

2- Çorum-Merzifon-Havza-Vezirköprü-Oymaağaç güzergahıdır.

Yine bu dönemde Merzifon'a bağlı Oymaağaç köyü önemli bir Hitit yerleşim birimidir.

    Hitit'ler çağında Hitit ticaret yolunun güvenliği ve Kaşka saldırılarına karşı sınır karakolu niteliğinde bugünkü Merzifon şehrinin ilk çekirdeği olan bir kale inşa edilmiştir. Anadolu'da görülen Karanlık Dönemde (M.Ö.1200-700) deniz kavimlerinin göçü ile Hititler'in bu bölgede hakimiyetleri son bulmuştur.

    Karanlık çağ sonrası M.Ö. 8. yüzyılda bölgedeki Hitit kentleri üzerine yerleşen Frigler başta Merzifon kalesi (şehir merkezi) olmak üzere çevredeki diğer Hitit yerleşim yerlerini de onarımdan geçirerek kullanmışlardır. Ayrıca Oymaağaç Onhoroz Büyük ve Küçük Küllük höyükleri de Frig yerleşim izleri taşımayan höyüklerdir.

    M.Ö. 600'lerde Anadolu'ya Kafkaslardan gelen Kimmer ve İskit akınlarıyla birlikte Anadolu'da Frig siyasi egemenliği son bulmuştur. Merzifon ve Gümüşhacıköy civarında İskit hakimiyetinin çok kısa süreli de olsa varlığı bulunmaktadır. Bu döneme ait buluntular Gümüşhacıköy - İmirler köyündeki bir mezardan çıkarılmış olup Amasya müzesinde sergilenmektedir.

    Frig döneminden sonra Anadolu'da ve Merzifon civarında (M.Ö .6 ve 4. Yüzyıllarda) Pers hakimiyeti görülmektedir. Anadoludaki Pers hakimiyetine M.Ö. 333 Yılında yapılan İssos Savaşı ile son verilmiştir.

    Egemen olan Amasya'yı kendilerine başkent yapan Pontos devleti kurulmuştur. Başkentin Amasya olması ile birlikte Merzifon'da önemli ticaret merkezi olmuştur. Merzifon askeri savunma ve ticaret yolu güvenliği açısından önemli bir yer tutmuştur. Yaklaşık 200 Yıllık Pontos (Mitridatlar) dönemi M.Ö. 47'de Roma Generali Sezar ile Pontos devlet kralı II.Pharnakes arasında antik Zile (Zela) ile Amasya arasındaki Bacul köyünde yapılan savaşta Pontos askerleri yenilmiş ve Pontos devleti hakimiyeti zayıflamıştır. Bu tarihten itibaren bölgede Roma hakimiyet dönemi başlamıştır. 

    Roma döneminde Pompeius ve Lukullus savaşları esnasında Pontos şehirleri tahrip olmuştur. Anadoluyu 131 yılının sonbaharında ziyaret eden imparator Hadrianus Amasya şehri ve cevresinin harap halini görmüşkentlerin imar emrini vermiştir. Özellikle anik çağda yoğun iskan görmüş Merzifon ve civarındaki Roma köylerini de ziyaret ederek bölgede eski tapınakların onarımını ayrıca yeni tapınakların da yapımı emrini vermiştir.

    Bugünkü Karşıyaka (Neopolis) köyünde Zeus Stratios adına bir tapınak inşa ettirmiştir. Bu tapınağa ait sütun başlıkları ve sunak yazıtı Amasya Müzesi bahçesinde teşhir edilmektedir.

    Bölgede huzur ve sükunetin sağlanması ile ekonomik hayat yeniden canlanmış Merzifon şehrini çevreleyen şehir surları ve kalesi yeniden tamir edilmiş şehir nüfusunun artmasıyla yeni mahalleler eklenmiştir.

    Yine bu dönemde Merzifona bağlı olan Aktarla (Nureni) Köyü de önemli bir Roma yerleşmesi olup 1994 Yılında Müze müdürlüğünce yapılan arkeolojik kazıda M.S. 3.yüzyıla ait Akroterli Bezemeli bir lahit çıkarılmıştır. Lahit müze müdürlüğünde teşhir edilmektedir.

    Roma İmparatorluğu 395'te Doğu ve Batı olmak üzere ikiye ayrılmış Merzifon ve civarı Doğu Roma İmparatorluğu (Bizans) sınırları içerisinde kalmıştır.

    Romanın bir devamı olan Bizans İmparatorluğunda eski yerleşmeler aynen devam etmiş Merzifon şehri de bu dönemde önemli bir kültür merkezi olmuştur. Bununla birlikte 8. yüzyılın başlarında Merzifon ve civarı Arab akınlarına (Emevi ) maruz kalmış şehir kısa bir süre Arab hakimiyetinde kaldıktan sonra tekrar Bizans hakimiyetine girmiştir.

    Merzifon ovasına hakim olan ve bu bölgedeki ticaret yolu üzerinde yer alan Bulak Kalesi yol güvenliğinş sağlamak için konulmuştur.

11. yüzyılda bölge ile birlikte Merzifon da Danişmentlerin hakimiyetine girmiştir. Şehrin İslam hakimiyetine girmesiyle şehirdeki Bizans eserlerinin bir kısmının cami ve medreseye dönüştürüldüğü bilinmektedir.

    12. yüzyılda Selçuklu egemenliğine (II. Kılıç Arslan zamanı) giren Merzifon şehri Anadolu'nun İlhanlılar hakimiyetine girmesiyle birlikte 14. Yüzyılda İlhanlı hakimiyetine girmiştir. Bu dönemde Merzifon ve havalisine yönetici olarak Moğol kökenli valiler tayin edilmiştir. İlhanlı Hükümdarı Ebu Sait Bahadırhan bu bölgenin idaresini Moğol Beyi Emir Çobanoğlu Demirtaş'a vermiştir. İlhanlı yönetiminden sonra bölge Eratna Beyliği hakimiyetime girmiştir (1335 - 1341). Eratna Beyi Şadgeldi Paşa Amasya ve Merzifon civarını da idaresi altına almışdaha sonra Şadgeldi Paşa'nın oğlu Emir Ahmet ile Kadı Burhaneddin arsında bir dizi savaşlarda sürekli el değişmiştir.

    1353-1396 tarihleri arsında Merzifon ve civarı Türkmen Beylerinden Taşanoğullarının hakimiyetinde kalmıştır. Taşanoğulları Hasan ve Ali Bey zamanında 1393 yılında Yıldırım Beyazid'in Amasya'yı işgal etmesiyle birlikte yaklaşık 3 yıl süren mücadele sonucunda Merzifon bölgesi de Osmanlı hakimiyetine girmiştir.

    Osmanlı döneminde Sivas eyaletine bağlı Amasya Sancağının kazası olan Merzifon önemli bir kültür merkezi olmaya devam etmiştir. 1402 yılında Yıldırım Beyazid ile Timur arasındaki savaşta dağılan Osmanlı birliğini Amasya şehzadesi çelebi Sultan Mehmet yeniden sağlayarak Osmanlı tahtına çıkmıştır.Bölgede sükunetin sağlanması ile Merzifon şehri de eski önemine kavuşmuştur. Osmanlı hakimiyetine giren şehir Kurtuluş Savaşına kadar Osmanlı hakimiyetinde kalmıştır.

    I.Dünya savaşı'ndan sonra Merzifon. 15 Mart 1919'da İngilizler tarafından işgal edildi. İşgal altındaki Merzifon'da 16 Haziran 1919'da büyük bir miting düzenleyerek İzmir'in işgali protesto edildi. O sırada Amasya'da bulunan Mustafa Kemal Paşa mitingi bir telgrafla İstanbul'daki Harbiye Nezareti'ne bildirdi. Merzifonluların işgal boyunca sürdürdükleri şuurlu tepki sonucu İngilizler 27 Eylül 1919'da Merzifonu terkettiler.