Beiträge von o-mobil

    Ich habe mal einen Großteil davon probiert. Mit einer VM (25.10). Funktioniert und macht Bock auf Ubuntu irgendwie...

    Ja, bis auf snap, was in manchen Settings durchaus auch nerven kann, ist Ubuntu ganz brauchbar. 25.10 läuft auf 2 Servern, bei mir,und 24.04 Server auf einem VPS, da musste mir allerdings eine KI eine Menge helfen, damit das System mit 512 MB stabil läuft, da doch eine Menge Zeug mit installiert wird, die man auf einem Mini VPS nicht braucht.

    LG Olav

    Moin,

    in meinen Augen werden die Modelle nicht schlechter, und das Haluzinieren also das zusammen würfeln des Programmcodes kann manchmal schon nerven Aber: Die Stärke einer KI hängt oft davon ab an wekches Model, bzw an welche Exoerten du immer geroutet wirst , ein Stochwort wäre MoE-Architektur (Mixture of Experts). Oft landet man bei den free Accounts, bei Modellen, welche nicht wirklich gut im coden sind, snd aber im Betrieb sehr günstig.

    Moin,

    ich hatte ja versprochen mich zurück zu melden, wenn ich über meine Versuche was zu berichten hätte. Kurz: OpenClaw habe ich vorerst nicht installiert, da ich das Framework nicht wirklich für vertrauenswürdig halte. Stattdessn habe ich ein anderes Setting mit einem Agenten gewählt. ClaudeCode - API Kosten: Die meisten dieser Agenten Tools, wollen Zugang zu einem großen Sprchmodell, da ich aber nicht nur um testen zu können arm werden wollte habe ich mir spontan einen LLM-Proxy codn lassen. um jeweils die API Anfragen an Anthropic's AI Claude, einfach frech umzubiegen, und an mein lokal installiertes Ollama zu leiten. Ollama kann inzwischen auch selbst einen solchen proxy bereit stellen. Meine Lösung ist aber ein wenig flexibler. Ich brauche auf dem Client Rrechner kein Ollama zu installieren, sondern nur den Poxy, und nutze dann Netzwerk weit meine Ollama Instanzen. Am testen binich derzeit mit dem neuesten qwen3.5-9B Modell, welches zumindest schon einmal einfache Coding aufgaben erledigt., Sprich ich schreibe ihm, das ich haben will, und der Agent baut danach selbständig eine App :smiling_face: Prinzip ist da alles Möglich was man sich automatisieren möchte, allerdings könnte das Setting ein wenig wegen der Größe eines Modelles eingeschränkt sein, aber daran arbeite ich auch :smiling_face: Wer möchte kann sich ja mal den proxy anschauen. Olav https://github.com/o-valo/ant-hill-ollama

    Boah, ich sitz hier und krieg "Geierpelle", wenn ich sowas lese LOL ... und das liegt nicht daran, dass es hier kalt wäre hahahaha

    Mir raucht nach wenigen Minuten der Kopf, wenn ich über das Potential nachdenke ...

    und du brauchst nicht mal die großen LLM's, sondern da reicht dein Gamer PC mit einer GPU mit viel vRAM, und viel normales RAM kann natürlich auch nicht schaden :smiling_face:

    LG Olav

    Wenn Du dann noch (bitte) ausführlich hier berichten würdest, fände ich das echt toll. :winking_face:

    Ja, sobald ich das Setting dafür steht, werde ich wieder Rückmeldung geben. Einen ersten Eindruck habe ich von Agenten schon mal über BrowserUse bekommen können. Da habe ich auf einem Uptime Kuma Monitor 2 Dienste abgeschaltet, und den Agenten instruiert mir zu sagen welche Dienste gerade außer Betrieb sind. Und der dann zugesehen wie der Agent einen Browser geöffnet hat, um dann auf Die Webseite zu laden, Bildschirmfotos anfertigte, und mir dann nach 5 Minuten die richtigen Dienste aufgeschrieben hat. Das hat echt gut funktioniert. :smiling_face: Ein wenig gruselig war das aber schon. Das Potenzial ist unglaublich groß.

    LG Olav

    Moin,

    also ich spiele auch mit dem Gedanken dass selber mal mit reinen lokalen Agenten auszuprobieren,aber dann in einer entsprechenden isolierten gehärteten Umgebung, Gastnetz, hinter einer Firewall, als Fernwartung einen VPN Tunnel , und mich nur bei Bedarf aufzuschalten kann. Keinen Zugriff auf meine echten Daten sondern da werde ich mir "Labor" Daten generieren, eine unverfängliche Datenbank meiner CD Sammlung z.B. und eine eigene extra dafür erstellte email Adresse, die ich entsprechend überwachen kann. Also erst einmal viel Aufwand für die Sicherheit reiben, bevor ich das Experiment starte.

    LG Olav

    heute ein Problem mit Gemini angehe, dann erinnert es sich an

    Leider vergisst dss Modell auch wichtige Details, oder wiederholt Sachen ständig an manchen Stellen, oder dichtet spontan mal was hinzu. Das ist zumindest in der Free Variante regelmässig der Fall.

    Vorgestern erst schreibt es mir brav einen "Spickzettel", als Dokumentation für eine KI Software Installation, wo die wichtigste Info einfach mal nicht mit dabei ist. Darauf angesprochen . Ohh jaa und korregiert das dann mit der "finalen" Version. Darauf verlassen kann man sich nicht, man muss alles gegen checken, aber das Ergebniss nach 10 oder 20 mal überprüfen, funktioniert dann doch erstaunlich gut :smiling_face:

    LG Olav

    Moin,

    X11 in neu, ja das find ich gut. Zumal ich wayland gegenüber eher Skeptisch bin. Ob sich Phoenix durchsetzen kann, steht auf einem anderen Blatt, aber ich würde es gut finden. Ich hab z.B. eine KI Kiste welche normalerweise überhaupt nicht an die Conole gehe, und da läuft auch kein X-Server. Deshalb liebe ich X11, wenn ich mal eine Programm starten möchte / muss , dass eben kurzfristig eine GUI haben will, bevor es sich Headless konfigurieren lässt. Das war z.B. in den ersten Versionen von Pinokio Einer Sammlung von KI Frameworks so. Das Ding wollte ganz am Anfang einen X-Server zum starten, und kackte einfach so ab, wenn ich es starten wollte. Und zu Glück kann man ja mit ssh -X einfach ein X umleiten, und so lies sich das ganze einfach auf meinem Leptop anzeigen, dorrt die GUI auf "web" umgeschaltet und schon hat es mit den vielen Tolls und deren Verwaltung über ein Webinterface funktioniert :smiling_face:

    LG

    Olav

    Moin,

    ein Terminal ist mir zu 80 % lieber, weil ich eben dann die Kontrolle über das System habe, und es so konfigurieren kann wie ich will. Das gilt insbesondere wenn ich remote auf ein System zugreife. Dabei spielen tools, wie screen und Temux eine wichtige rolle. Und was super ist, wenn ich wirklich mal Probleme mit einem System habe, kann man inzwischen eine KI hinzuziehen, und sich gut bei debiggen helfen lassen. Mit einer Gui würde das zwar auch gehen, aber da ist der Aufwand viel viel größer. Und da wo es zu umstädlich wird wiederholende Kommandos zu tippen, baue ich mir den passenden alias, oder gleich ein passendes Script.

    LG Olav

    PS: Eine Gui ist da praktisch wenn ich z.B. nur ein wenig Filmchen gucken will, Netflix und co lassen sich nunmal über die GUI gut benutzen :smiling_face:

    IInsbesondere das Thema Datenschutz, da bleibe ich sensibel.

    Ich nutze Perplexity oder Gemini. Privat wenn Probleme

    Das ist dann aber genau nicht für den Datenschutz optimal. Dann würde sich ja eher das selber hosten von den LLM anbieten, sprich locale LLM. Und da gibt es reichtlich Modelle, welche in einigen Bereichen sogar Gemini in der Cloud überlegen sind. Ich hab einen simplen Text als Markdown von Gemini erzeugen wollen, das gab immer wieder Fehler. Zum Schluss habe ich reinen ASCII Text bekommen, und hab dann einfach das lokale gpt-oss:latest damit beauftragt den Markdown Text zu erzeugen, nach dem 2. Versuch hatte ich ein Super Ergebnis. Fazit es kommt nicht immer auf die Größe vom Modell an :smiling_face:

    LG Olav

    Trotzem würde ich es probieren. Bin gerade an KI Agenten dran. Möchte vieles automatisieren. Ich finde es super, wenn du zum Beispiel bei wordpress posten willst und die KI macht es

    Ja, sowas wie Agenten interessieren mich auch. - Und dazu benutzt du dann auch die China Cloud oder hostest du dein deepseek selber ? Das geht ja ja nachdem was man an Speicher hat :smiling_face:

    Ich bin ständig auf der Suche nach guten passenden Modellen, und stelle inzwischen fest, dass es nicht DAS Modell für alles gibt, sondern der Mix aus vielen Modellen eher praktikabler sein könnte. Und es hillft nur selber testen. Als Plattform nutze ich derzeit 2 alte Rechner mit GPU, einmal eine Gforce GPU mit 6GB VRAM nutze ich für Ollama und Vision Modelle, , und ein Rechner mit GPU und 16GB VRAM wo ich auch mal größere Modelle laufen lassen kann, Bilder generieren und den ganzen anderen Spaß :smiling_face: Und als weitres Experiment lasse ich Ollama auch noch auf einem Raspberry PI5 laufen, und da läuft sogar ein Tool welche über das LLM die Temperatur der CPU abfragen kann, nur leider noch sehr langsam, aber da muss ich nur noch ein passendes LLM finden...:-)

    LG OLav

    Moin,

    alte Hardware ist bei mir sehr relativ zu sehen, da ich Retro Computing betreibe, und das echt alte Zeug sammle. Mein ältester Rechner auf dem Linux noch flüssig läuft in ein IBM Thinkpad X41 mit bunsenlabs Linux. Der Laptop läuft aber eher nur bei Retro Veranstaltungen, als im normalen Altag. Als Arbeitstier läuft bei mir ein Lenovo T450. Mit dem bin ich zufrieden. KI (LLM) laufen auf dem nicht mehr lokal, aber das muss auch nicht sein. Für meine ersten Experimente reicht noch ein Raspberry 5 :smiling_face:

    LG Olav