Historické prameny uvádějí, že kořeny naší školy se dotýkají Dvořákova okruhu. Konkrétně budov dnešní Základní umělecké školy a Charity, kteroužto jako školu základní navštěvovali mnozí pamětníci. V roce 1976 se žáci a zaměstnanci mohli přestěhovat do školy nové. Výstavba budov dnešní školy, tak jak ji známe nyní, se započala v roce 1973.
Po třech letech se pak na zelené louce v blízkosti sídliště objevují dvě školy, mezi veřejností známé jako 4. a 6. ZŠ. Spolu s novou školní jídelnou, družinou a zdravotním střediskem tak byl připraven ideální výchovně-vzdělávací areál.
K další významné změně došlo v roce 1998. Obě sousední základní školy byly sloučeny v jednu, tak jak ji známe nyní, ZŠ Žižkova 3. V rámci optimalizace městských škol vznikla škola s největší kapacitou v okrese. Může pojmout téměř 800 žáků. I když číselné označení škol zaniklo, mnozí Krnované stále vědí, že se jedná o čtyřku.
K poslední významné změně došlo teprve nedávno. Všechny budovy školy prošly významnou vnější rekonstrukcí. Nová fasáda, zateplení a výměna oken již byla skutečně potřeba a nutno dodat, že to naší škole nyní náramně sluší.
