scrobble.life
Deutsch D-A-CH

Die Zeit der kostenlosen AIs nähert sich dem Ende

Jan@jedigeiss (74)376d

ai-6767497_1280.jpg

Hi zusammen,

also zumindest gefühlt geht die Zeit dem Ende entgegen, fast keine "Coding" Ai ist wirklich komplett kostenlos zu haben, fast alle oder alle haben inzwischen ein "Limit" oder "Token" System implementiert das regelt wie viele Anfragen du in einer bestimmten Zeitperiode machen kannst. Manche verlangen auch für diese reglementierten Zugänge schon eine monatliche oder jährliche Gebühr, andere halten diese noch kostenlos aber vergeben nur sehr wenige freie Anfragen.

Aber woher kommt das ?

Naja, zum einen ist das ein Klassiker, man hat was neues, will Leute dazu bringen das zu benutzen und die Vorteile zu sehen also bietet man es billig an und gibt Lockangebote an alle die eins haben wollen, das macht OpenAI ja immoment auch heute noch so obwohl auch da die richtig guten LLMs erst innerhalb eines "bezahlten" Zugangs zu haben sind. Auf der anderen Seite kann kein wirtschaftlich agierendes Unternehmen auf diese Art und Weise ernsthaft Geld verdienen, also muss man früher oder später ran und die Preise anziehen, die freien Zugänge beschränken und den Leuten das Tool an das sie sich gerade gewöhnen zumindest teilweise wieder wegnehmen ;)

Denn, eins ist klar, zum Nulltarif gibt es keine Auskunft von einer KI, es muss sehr viel Rechenpower und Strom ins trainieren der Modelle gesteckt werden und auch die Beantwortung einer jeden Frage kostet. Genaue Zahlen hierzu sind nicht wirklich zu finden, die Unternehmen halten sich da sehr bedeckt, Google sagte mal das es zwischen 23-30 mal mehr kostet eine KI zu Fragen als eine ganz normale Google Suche zu machen, aber auf aktuelle Forschungen zum Thema Stromverbrauch etc gibt derzeit kein Unternehmen ernsthaft Antwort. Aber eins ist auch klar, viele werden sich erinnern das es auch bei Bitcoin die Stromdiskussion gab, ich hab auch vor Ewigkeiten dazu mal einen Artikel geschrieben, bei KI reden wir über einen deutlich höheren Verbrauch.

Was kann man selbst tun ?

Wenn man eine halbwegs potente Grafikkarte oder einen PC hat könnte man selbst eine LLM betreiben, es gibt hierzu mit Ollmana und oder LMStudio Tools die einem das sehr einfach machen und die auch viele Open Source Modelle zum Download anbieten. Hat man diese aufgesetzt kann man das im lokalen Netzwerk oder auch im Internet teilen und nur noch die eigene Instanz einer LLM befragen, was auch zur persönlichen Datensicherheit einen nicht unwesentlichen Teil beitragen kann :)

Ein schönes Wochenende!

Jan

Comments · 7

  • @w74(74)· 375d

    Es ist ein paar Tage her, seit die »Xenien« veröffentlicht wurden. Dient aber hervorragend dazu, den Beweis anzutreten, dass 1797 die Nutzung der KI noch kostenlos und ohne erwähnenswerten Stromverbrauch beste Resultate lieferte. Denn bei der Erstellung jener bissigen und nicht weniger ironischen Verspaare, diente mal Friedrich Schiller einem gewissen Johann Wolfgang von Goethe als Open-Source-KI oder – insbesondere wenn der Aufmarsch der Langeweile drohte –, man drehte den Spieß kurzerhand um. Diese Zusammenarbeit (Arbeitsteilung) zum Vorbild erkoren, umgehe ich die kostenpflichtige OpenAI-Autobahn und vertraue uneingeschränkt meinen Gehirnströmen. Wenn sich noch ein Kollege finden sollte, bei dem es ähnlich turbulent im Hinterstübchen zugeht, wäre ein gemeinsames Bad im Wörtersee nicht auszuschließen. Selbstverständlich eintrittsfrei und ohne die Regularien eines Bademeisters. 😉

  • @detlev(82)· 375d

    Hi Jan, der richtige Mix macht es. Hier mal etwas Online nutzen und anderes dann besser im eigenen Netz. Aber der Zwanni für ChatGPT rechnet sich für mich bereits seit längeren. Der Copilot von MS und Perplexity ergänzen.

    ...und auch das ganze "Security Thema" treibt immer Unternehmen zu dem eigenen Betrieb oder zumindest der Nutzung eines Anbieters in DE. Wir haben Finanzdienstleister die Ihren Kundenservice Bots wirklich lieber auf eigenem Blech betreiben...


    Was ganz anderes

    Falls Du Ende August Zeit hast, schau doch mal in Aachen vorbei https://peakd.com/hive-121566/@detlev/das-hive-summit-in-aachen-ruft-dich

  • @therealwolf(77)· 375d

    https://ollama.com/turbo

    Noch nicht ausprobiert, fand' ich aber recht interessant.

  • @vikisecrets(80)· 375d

    Das befürchte ich auch, bin extrem froh darüber, dass es Open-Source-KIs gibt und dass diese de facto aufgeholt haben, auch dank China, Big-Tech verlangt für die besten Modelle bereits mehrere Hundert Dollar im Monat und zensiert die Modelle auch massiv.

  • @mein-senf-dazu(75)· 375d

    Bisher habe ich es nicht zur Zufriedenheit hin bekommen.

    Aber auch noch nicht viel Zeit aufgewendet.

    Wollte es in Visual Studio direkt drin haben, da geht nicht, nur in Code, das wollte ich aber für das was ich machen wollte nicht nutzen, bzw. War nicht geeignet.

  • @uwelang(79)· 375d

    Ist mir auch aufgefallen aber betriebswirtschaftlich absolut nachvollziehbar.

  • @alucian(73)· 375d

    Ich baue mir eine ganze Intel ARC GPU KI Struktur auf inzwischen. Du hast so Recht.

    Es wird immer härter werden!

    Deswegen auch! Sichern Sichern Sichern, was man bisher an "Wertvollem" erarbeitet hat in den Gesprächen. Das wird auch schon erschwert, das einfach Kopieren!

    Ich wünsche dir das Beste und Reblog ganz Klar alleine wegen der Wichtigkeit deiner Aussage schon.

    Salve

    Sascha

    Edit ach und was die Kosten und so angeht.

    Ich schätze gerne mit anderen zusammen. Eigentlich habe ich noch keine Zahlen, aber sagen wir mal, so ein paar Dollar kosten 1 Mio Promts schon. 6-8 Vermutlich. :-)

    Edit ich werde selber Daten mit der Zeit erheben können durch meine Mining Erfahrung, aber das Dauert alles noch locker ein halbes Jahr bis ich da was Schreiben werde.