A község már a honfoglalás korában is lakott volt, majd később a Myskoucz (Miskóc) nemzetség birtokába került. A Mályi név először egy 1233-ban kiadott oklevélben fordul elő Maly alakban. Az okiratokban nevével többféleképpen írott változatával is találkozhatunk, csak 1783-tól szerepel Mályi néven.
A név feltehetően a mál (szegély, hegyoldal, oldal) kifejezésből származik. A régi falu, Ó-Mályi valóban az enyhén lejtős, napsütötte hegyoldalon, a Vakarácsi-hegy délkeleti oldalán kezdett kialakulni.

A XIV. században a Széchyek birtokába került, majd a diósgyőri vár tartozéka lett. Ebben az időben vált híresé bortermeléséről. A borászat mellett a méhészet és a fakitermelés biztosította a helyiek megélhetését. A fejlődést a tatárdúlás veti vissza. A következő évszázadokban számos birtokosa volt a községnek, és meglehetős jólétben éltek lakosai. A török megszállás súlyos adóterhei, pestisjárvány és a Thököly, majd Rákóczi szabadásgharc harci eseményei miatt azonban többször elnéptelenedett. A XVIII. században rutén telepesek érkeznek a faluba. Ebben az időben újra gyarapodni kezd a község, ekkor épül fel a ma is álló temploma. A XIX. század második felében a község lakossága 700 fő körül van. Megkezdik a mocsaras részek lecsapolását. A falusiaknak a szőlő és nagyon kevés szántó áll rendelkezésükre. A lakosság zöme a jobb boldogulás reményében a vasútépítkezésen, majd Diósgyőrben kezd el dolgozni. A gyorsan fejlődő ipar hamar felszívja a mezőgazdaságból megélni nehezen tudó parasztságot. Ennek következtében végképp eltünnek a régi foglalkozások (méhészet, faszénégetés) a településről.

Az itt található sóder kitermelésére megalakult Mezőnyékládházi Kavicsbánya Részvénytársaság 1940-ben már 60 főt foglalkoztatott, a falu határában található bányató ma is népszerű pihenőhely. 1950-ben indult el a téglagyár építése. Ekkor jelentősen nőtt a lakosság létszáma és az új házak száma. Hamarosan bevezetésre került a villany és 1957-től megindul a tömegközlekedés is. A 60-as években épült ki a tópart Miskolc “ kis Balatonjává “. Az 1970-es években újabb építkezési hullám következtében a lakosság száma már elérte a 3000 főt, ez köszönhető volt a jelentős könnyűipari üzemek idetelepülésének is.