Me thyerjen përfundimtare të ushtrive anzhuine në Berat më 1281, Perandoria Bizantine e rivendosi edhe një herë autoritetin e vet në Shqipëri, por kontrolli i saj kufizohej tani në një zonë më të ngushtë në krahasim me fundin e shek. XII. Në krahun verior bizantinët morën Durrësin dhe Krujën, por nuk arritën të shtriheshin më tutje. Atë kohë mbreti serb Stefan Uroshi II Milutin (1282-1321) kishte nisur një mësymje në front të gjerë në gjithë vijën Mat-Ohër. Madje, më 1296 ai mundi të pushtonte përkohësisht edhe Durrësin, ndërkohë që në krahun lindor ushtritë serbe nuk mundën t’i afrohen Ohrit, të mbrojtur nga fisniku shqiptar, Progon Skurra. Një mbishkrim mbi murin e kishës së Shën Klementit në Ohër, rindërtuar prej tij në vitin 1295, kujton se Progoni mbante titullin e lartë bizantin të heteriarkut të madh dhe se gruaja e tij, Eudokia, ishte mbesë e perandorit Androniku II Paleolog.Gjithsesi paqja e arritur më 1299 midis perandorit Androniku II të Bizantit dhe mbretit serb Uroshi II ua njohu serbëve territoret e pushtuara në veri të Durrësit e të Ohrit. Megjithatë, ato vazhduan të jenë një zonë jo e qetë. Nga njëra anë, inkursionet serbe vazhduan edhe paskëtaj në jug të Matit, por, nga ana tjetër, në vitet e para të shek. XIV vihet re një riaktivizim i anzhuinëve të Napolit në Shqipëri. Vërshimi i serbëve në trevën e Durrësit dhe të Arbrit të hershëm prekte edhe interesat e anzhuinëve e të Papatit, të cilët vazhdonin ta konsideronin veten si titullarë të pushtetit laik e fetar në ato treva. Rikthimi i anzhuinëve në Shqipëri u mirëprit edhe nga vetë fisnikëria shqiptare, e cila shpresat e një ndalimi të mësymjes serbe i varte tashmë te bashkëpunimi me botën perëndimore katolike. Në shtator 1304 bashkësia qytetare e Durrësit dhe krerët shqiptarë nga familjet Matrënga, Arianiti, Skurra, Blinishti, Zenebishi, Shpata etj., njohën për kryezot princin Filip të Tarentit, djalin e mbretit Karli II Anzhu. Nga ai çast trashëgimtari i fronit të Napolit mori dhe titujt zot i Mbretërisë së Arbrit dhe despot i Romanisë (Epirit). Në pranverë të vitit 1305 princi Filip i Tarentit zbarkoi me një ushtri në Durrës dhe me ndihmën e vendasve e mori qytetin. Megjithatë, ofensiva e re anzhuine u shua shumë shpejt. Marrëdhëniet e princit të Tarentit me fisnikët shqiptarë u prishën dhe po atë vit ky u kthye në Itali me synim që të vinte përsëri në pranverën e ardhshme me një ushtri më të madhe.
Megjithatë, edhe paskëtaj anzhuinët nuk mundën ta shtrijnë kontrollin e tyre përtej Durrësit. “Vasalët” e tyre shqiptarë nuk mungonin të ngrinin krye dhe të këputnin çdo lidhje me kryezotin e përtejdetit, sa herë që ky kërkonte ta ndërtonte një pushtet real në Durrës dhe në “Mbretërinë e Arbrit”. Në pamundësi të realizonin synimet e tyre në Shqipëri, në vitin 1311 anzhuinët e Napolit menduan për një çast t’i ndërronin zotërimet e tyre me Sicilinë. Por titullari i kësaj të fundit, Frederiku i Aragonës, i informuar se anzhuinët nuk zotëronin një pushtet real në Durrës dhe në trevën e Arbrit, nuk e pranoi ofertën, megjithëse këto territore, siç shprehej ai, “ishin shumë të pasura dhe bujare” (que es molt noble e rich).
Në këtë mënyrë, në Durrës dhe në prapashpinën e tij vazhdoi të ruhej edhe paskëtaj një sovranitet gjithnjë e më formal i anzhuinëve. Për bashkësinë qytetare të Durrësit dhe për fisnikërinë feudale të Arbrit, mbajtja e lidhjeve me anzhuinët konsiderohej e dobishme, sidomos tani kur serbët po mësynin gjithnjë e më fort drejt jugut. Midis anzhuinëve dhe serbëve vazhdonin të ekzistonin marrëdhënie aleance, që këta të fundit hë për hë nuk donin t’i prishnin. Në fakt marrëveshja e arritur më 1308 kishte rikonfirmuar zonat e ndikimit anzhuin e serb në Shqipëri edhe për vitet e ardhshme.
Anzhuinët dhe Papati filluan t’u përgjigjen realisht ftesave të aristokracisë shqiptare për t’iu kundërvënë ofensivës serbe në dhjetëvjeçarin e dytë të shek. XIV, kur plasën hapur kundërshtitë serbo-anzhuine mbi sundimin në Shqipëri e në Dalmaci dhe kur u fik çdo shpresë e Romës lidhur me një kthim të mbretërve serbë në fenë katolike.
Aty nga viti 1318 serbët shpërthyen një ofensivë të re në Shqipëri, duke pushtuar Durrësin dhe Arbrin bashkë me Krujën. Atë kohë u krijua një koalicion antiserb i fuqive katolike, të bashkërenduara nga papati, në të cilin kishin një rol të rëndësishëm edhe shqiptarët. Në pranverën e vitit 1319 një numër fisnikësh shqiptarë nga dyert Blinishti, Jonima, Arianiti, Matrënga, Muzaka etj., nëpërmjet peshkopit të Krujës, Andreas, i bënin të ditur papa Johanit XXII se ishin gati “të ngrinin krye dhe të hidhnin tej zgjedhën e mbretit të Rashës (Serbisë)”. Ata premtonin gjithashtu të braktisnin ritin ortodoks dhe të përqafonin katolicizmin, duke u ndarë edhe kishtarisht nga pushtuesit serbë.
Si rezultat i kësaj qëndrese të organizuar dhe të bashkërenduar me Papatin dhe me fuqi katolike të Evropës, si Napoli, Hungaria, Kroacia etj., serbët u bllokuan edhe për disa vjet përtej Durrësit dhe krahinës së tij, ku anzhuinët vazhduan të ushtronin një sovranitet përherë e më të vakët.
