Offline KI – erster Versuch

Als ich meine Idee für KI-Noitzen veröffentlichte kamen einige kritische Kommentare. Die Rechenzentren verbrauchen viel Strom, man gibt Daten preis und für die Sprachmodelle würden Ideen, Gedanken, Texte und Bilder genutzt ohne auf Urheberrechte oder ähnliches Rücksicht zu nehmen.

Daher habe ich mir mal LM Studio heruntergeladen. Dieses ermöglicht mir auf meinem Macbook lokal Sprachmodelle laufen zu lassen. Mein Notebook ist dabei aber mit relativ wenig RAM ausgestattet etc. Daher läuft vieles nicht oder nur eingeschränkt.

Die Frage ist, ob ich damit etwas sinnvolles machen kann.

Natürlich bleibt die Frage, wie diese Modelle trainiert wurden und einiges andere.

Fediverse-Reaktionen

Kommentare

7 Kommentare zu „Offline KI – erster Versuch“

  1. Avatar von danimrich
    1. Avatar von Robert Lender

      AnythingLLM klingt interessant. Schaue ich mir an. Danke.

    2. Avatar von rena2019 ☑️

      @roblen Und? Welches Modell läuft nun bei dir lokal? Ich habe nämlich auch gerade #AnythingLLM ausprobiert, weil ich meine Textdateien via lokalem RAG/LLM-System befragen wollte

    3. Avatar von Robert Lender

      Derzeit ist es Qwen3. AnythingLLM meinte, dass wäre das beste Modell, was bei mir noch lauffähig wäre. Nachdem es lokal läuft, dürfte es wohl nichts „nach Hause“ senden. Aber da muss ich mich nochmals schlau machen, ob „lokal“ wirklich lokal bedeutet.

      Bin noch nicht viel zum Testen gekommen, werde aber sicherlich noch anderes probieren.

    4. Avatar von rena2019 ☑️

      @roblen ja, Qwen3 läuft bei mir auch, da gibt's ja unterschiedliche Quantisierungsvarianten, für unterschiedliche Speichergößen. Aber schon irgendwie witzig, dass mein Mastodon Kommentar in Deinem Blog auftaucht 😉

    5. Avatar von
      Robert Lender

      @rena2019 Das ist das faszinierende an der Verknüpfung WordPress und Fediverse 😊

  2. Avatar von rena2019

    Und? Welches Modell läuft nun bei dir lokal?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Ich bin einverstanden, E-Mails über neue Kommentare zu erhalten. Ich kann sie jederzeit über den Link in jeder Nachricht abbestellen. Details in der Datenschutzerklärung.

Um auf deiner eigenen Website zu antworten, veröffentliche dort einen Beitrag, der einen Link zur Permalink-URL dieses Artikels enthält. Die Antwort erscheint dann (möglicherweise nach einer kurzen Moderation) hier auf dieser Seite. Möchtest du deine Antwort später ändern oder entfernen? Aktualisiere oder lösche einfach deinen Beitrag und sende die URL deines Beitrags erneut. Mehr über Webmentions erfahren