In seguito agli eventi di Heroes Chronicles: The Sword of Frost, Gelu, il leader della AvLee's Forest Guard e detentore della Armageddon's Blade, attacca Kilgor, il Barbarian King di Krewlod, nel tentativo di reclamare e distruggere Sword of Frost. Come predetto da una profezia, quando Armageddon's Blade e Sword of Frost si scontrano in battaglia, il risultato è un'esplosione gigantesca (conosciuta come Reckoning), che distrugge il mondo di Enroth. Molti degli abitanti del pianeta, tuttavia, riescono a fuggire attraverso misteriosi portali che appaiono durante la Reckoning, i quali li conducono in un altro mondo, chiamato Axeoth - anch'esso ambientazione di Might and Magic IX. Tra i rifugiati figurano molti degli eroi dei precedenti capitoli della serie, e molti tornano alle loro vecchie abitudini poco dopo l'arrivo nel loro nuovo mondo.
La storia di Heroes of Might and Magic IV si sviluppa principalmente attraverso le sei campagne del gioco, ognuna delle quali stabilisce come i principali regni di uno dei continenti di Axeoth siano stati forgiati nell'ombra della Reckoning e l'arrivo dei rifugiati enrothiani su Axeoth. Ognuna delle campagne si concentra su un capo fazione e racconta la storia di come quel leader sia giunto alla ribalta. A differenza di Heroes of Might and Magic III, tutte e sei le campagne sono accessibili dall'inizio, e ciascuna si sviluppa come una storia autonoma.
Nella campagna Haven, The True Blade, Lysander, cavaliere leale precedentemente al servizio della regina Catherine Ironfist, regna sul nascente regno di Palaedra, abitato principalmente dai rifugiati dal regno di Erathia. Il suo comando, tuttavia, è sfidato da un usurpatore di nome Sir Worton, che sostiene di essere l'unico erede sopravvissuto della dinastia Gryphonheart. Molti dei generali di Lysander si lasciano attrarre da Worton, costringendo il signore a smascherare Worton come un impostore o a perdere il controllo del suo regno.
All'inizio della campagna Stronghold, Glory of Days Past, Waerjak, un capo barbarico, dispera per i cambiamenti che hanno colpito la comunità barbarica. A seguito della morte di Kilgor, il suo popolo è precipitato in conflitti tra fazioni e rischia di estinguersi. Determinato a riportare il regno barbaro al suo stato più pacifico prima dell'ascesa di Kilgor, Waerjak parte per dimostrare la sua forza e sottomettere i suoi rivali, guidato dal suo mentore Tarnum (precedentemente il protagonista della serie Heroes Chronicles).
La campagna Academy del gioco, The Price of Peace, racconta la storia di Emilia Nighthaven, la figlia contadina di un vetraio enrothiano. Su Axeoth, tuttavia, si ritrova a prendere il comando di una comunità di rifugiati spaventati e a plasmarli nel regno di Great Arcan. Il successo della regina Emilia, tuttavia, attira l'attenzione di Gavin Magnus, il Re Immortale di Bracada proveniente da Heroes of Might and Magic III e Might and Magic VII, e del suo servitore genio, Solmyr, che cercano di impedire ad Axeoth di incorrere nello stesso destino di Enroth (cioè essere distrutto) privando magicamente l'intera popolazione del proprio libero arbitrio.
Nella campagna Preserve, Elwin e Shaera, Elwin, un semplice elfo del regno degli Elfi di Aranorn (principalmente popolato da sopravvissuti di AvLee), sono innamorati di Shaera, ma la loro storia d'amore è minacciata dal Lord Harke, un potente rivale per l'affetto di Shaera. La continua ricerca di Elwin per la sua amata trascina la regione in una guerra interna tra fazioni, e chiunque esca vincitore non solo otterrà la mano di Shaera in matrimonio, ma anche il trono di Aranorn.
Half-Dead, la campagna Necropolis, racconta la storia di Gauldoth Half-Dead, metà umano, metà lich, vittima di un incantesimo necromantico che aveva lanciato per salvare la propria vita, ma che andò terribilmente storto. Stanco di vivere sugli avanzi di cibo che ruba agli abitanti spaventati, Gauldoth unisce le forze dei Necromanti sopravvissuti e dei demoni Kreegans provenienti dai vecchi regni di Enroth, Deyja ed Eeofol in Nekross, un regno potente e temuto, ma è costretto ad agire come protettore sia dei vivi sia dei morti quando arriva una potente entità proveniente da un'altra dimensione con piani per porre fine a tutta la vita nell'universo.
A Pirate's Daughter, la campagna Asylum del gioco, introduce l'unica figlia di un famoso pirata, Tawni Balfour. Tawni eredita la nave e l'equipaggio di suo padre a seguito della sua sfortunata morte. Navigando lungo le coste del Gold Sea, affrontando temuti buccanieri, mostri marini e sirene, Tawni intende reclamare il mantello di suo padre come il capitano pirata più temuto di Axeoth, tutto mentre deve fare i conti con il proprio passato torbido.