VNC ist tatsächlich in der Regel wirklich sehr schnell. Da kommt natürlich Komprimierung ins Spiel, was aber auch wichtig ist, da gerade X11 ja von vorne herein als Client/Server entwickelt wurde, hat das natürlich so seine Spielereien. Es wird nicht immer alles übertragen, sondern nur die Änderungen usw. Über Remote wird in aller Regel aber gleich alles übertragen.
Du hast aber auch Recht. Der Server schickt die Daten. Ist der aber gerade noch mit anderen Dingen beschäftigt, geht das natürlich auf die Leistung von Remote. Wenn du gerade noch compilieren und so ansprichst, je nach Einstellung quält das den Rechner ja schon ziemlich heftig. Wenn bei VNC dann eben nur die relevanten Teile übertragen werden, schont das die Leistung deutlich.
Ich wollte mal von VNC auf RDP wechseln, da man da ja auch Sound übertragen können soll. VNC ist ja rein Grafik. Das hab ich aber relativ schnell aufgegeben. Der Gedanke dahinter war, damals hatte ich nur meinen Desktop und den Laptop meiner Frau. Der war aber sehr schwach auf der Brust und mit meiner Tochter zusammen Minetest spielen war ein Krampf für sie. Also wollte ich es so einrichten, dass sie über meinen Computer spielt und den Laptop nur als Terminal verwendet. Mit RDP keine Chance. VNC hat funktioniert, aber eben ohne Sound. Das hat sich dann aber erübrigt, als ich das Thinkpad bekommen hab.
Du könntest vielleicht mal versuchen, AnyDesk auf dem Server mit VirtualGL zu betreiben. Dann müsste er die Grafik über die Grafikkarte, falls da was anständiges verbaut ist, schicken. Theoretisch. Mit VGL hab ich aber auch hin und wieder meine Probleme. Einmal funktioniert es super, dann wieder nicht. Wenn es aber funktioniert schauen die Leute super blöd, wenn du Ark in der Kneipe über ein NetBook mit Singlecore Atom CPU spielst. Aber kleiner Tipp. Das frisst Datenvolumen wie nicht gescheit.