Olomoučtí biskupové neměli Hukvaldy ve svém přímém držení příliš dlouho. Jejich špatná finanční situace na počátku 14. století je přiměla zastavit některé své statky. Někdy v letech 1311 – 1316 se Hukvaldy dostaly do rukou olomouckým kanovníkům Dětřichovi a Jindřichovi z Fulštejna, v roce 1327 je zmiňován jako pán na Hukvaldech Jindřich z Kytlice. O dvacet let později byly Hukvaldy vyplaceny ze zástavy a změnily se v mensální statek biskupství.
Po smrti Karla IV. v roce 1378 vypukl mocenský střet markraběte Jošta a jeho bratra Prokopa s olomouckým biskupstvím. Spor vyvrcholil v roce 1379 uvržením Jošta do klatby a v roce 1380 exkomunikací všech, kteří stáli proti biskupství. Boje ukončil v roce 1388 zemský mír, který uzavřeli Jošt a Prokop s olomouckým biskupem Mikulášem proti všem nepřátelům země.
Brzy nato, na přelomu 14. a 15. století, došlo ale k markraběcím válkám mezi Joštem a Prokopem, do nichž se zapojil i olomoucký biskup na straně Jošta. Nové zadlužení, způsobené spory a boji, přimělo biskupa v roce 1396 zastavit hukvaldské panství biskupskému maršálkovi Joštovi z Wolfsbergu.
V roce 1399 se biskup Jan Mráz pokusil panství získat do přímé držby a půjčil si na to 30 hřiven stříbra od kroměřížského žida Nazona. V roce 1400 ale markrabě Prokop požadoval na úhradu dluhů biskupské statky a biskup se svěřil do ochrany králi Zikmundovi. Ten hned Hukvaldy zastavil oravskému kastelánovi Jurovi z Messenpeku, posléze hrad ochraňoval Jakub Ščeně z Bělin.
Za husitských válek držel panství od roku 1426 opolský kníže Bolek, který ho získal do zástavy od krále Zikmunda. V roce 1428 získali Hukvaldy husité, část panství ale zůstala v Bolkových rukou až do roku 1434. Před rokem 1435 se Hukvald zmocnil Jan Tovačovský z Cimburka. V letech 1435 a 1437 potvrdil král Zikmund stoupenci sirotků Mikuláši Sokolovi z Lamberka držení Hukvald. V roce 1438 se panství zmocnil Jan Čapek ze Sán.
Od počátku 50. let do poloviny 60. let 15. století držel panství Jan Talafús z Ostrova, manžel Čapkovy dcery Žofie. Mezi lety 1465 – 1466 hrad s panstvím, vykoupený ze zástavy, postoupil král Jiří z Poděbrad olomouckému biskupovi Tasu z Černé Hory a Boskovic. Když biskup pod hrozbou papežské klatby vypověděl Jiřímu poslušnost a přidal se k radikální katolické straně, obsadil hrad vůdce kališnické strany Ctibor Tovačovský z Cimburka.
Poté, co panská jednota zvolila v roce 1469 českým králem Matyáše Korvína, získal hrad opět biskup. Jelikož tyto boje poznamenaly výši biskupských příjmů, byl biskup Tas přinucen dát panství do zástavy svým bratrům Dobešovi a Benešovi z Boskovic. V roce 1511 bylo panství od pánů z Boskovic vyplaceno a dostalo se opět do přímé držby biskupství.