Also ich kann garantieren, dass man bei gemeinsamer Reise - und selbst ohne Aufenthaltstitel - als EU-Bürger mit seiner non-EEA Ehefrau keinerlei Visum braucht für den Besuch des UK oder andersherum der EU. Voraussetzung ist, dass man den Familienstand verheiratet gegenüber dem Grenzbeamten glaubhaft machen kann...
Aber, wenn's sich vermeiden lässt, würde ich das nicht versuchen. Da ist der Ärger vorprogrammiert und kann teils haarsträubend sein, wenn sich der eine oder andere Beamte entweder nicht auskennt oder einen schlechten Tag erwischt bzw. einfach ein Arschloch ist. Außerdem haben die keine Lust auf Personen, die sich mit den EU-Rechten auskennen und einfach nationale Hoheit damit ausschalten wegen übergeordnetem Recht. Das mögen die aber mal so überhaupt nicht.
Im Prinzip wird es nicht an der Immigration scheitern, sondern dass einen die Airlines nicht mitfliegen lassen wollen. Habe aber gehört, dass in Richtung EU gewisse Airlines (glaube es war Easyjet, nicht sicher) von UK aus ausschließlich den Residence Permit mit dem Vermerk "family member of EEA national" akzeptieren.