other.li Forum

was taugt #protonVPN ?
(ist drum gerade sale)
#followerpower

RE: https://social.pmj.rocks/@pmj/116217103432954864

@monkee

ps: hast du das essay von dave shumer gelesen?

@monkee

ja, aber die entwicklung in den letzten 12 monaten ist abartig
ich habe ja das qwen3.5 9b model getestet und das ist auf dem level von den grossen modellen von vor 2 jahren
ich bräuchte nur mehr vram für den kontext, 12gb echt knapp, aber mit nur einer 16gb karte kannst du zu hause ohne probleme ein agentisches netz bauen

mit "nur" 9 millarden paramteren!

dazu kommt dass die grossen modelle mittlerweile so gut sind, dass sie fast autonom ihre nächste generation programmieren können

bis jetzt war ich auch skeptisch, aber die entwicklung in den letzten 6 monaten ist wirklich crazy

innerhalb von 6 monaten!!
it's insane!!!

prediction: innerhalb der nächsten 2 jahre werden 30-40% der workforce ihren job verlieren ️
das ist wilder als jeder technologiesprung bisher
wir brauchen sofort ein bedingungsloses grundeinkommen! SOFORT!!

https://www.youtube.com/watch?v=kRmZ5zmMS2o
#KI #UBI #BGE #openclaw

break on through to the other side

️

mein bankkonto meldet auch immer ende monat OOM - out of money

ich muss da mal das leak finden

@FlexMorkis

hi flex, willkommen im fediverse

tönt sehr spannend, hab mal ein follow dagelassen

@monkee

mache ich eigentlich nie, nicht mal wenn ich komplett lost bin
ich will jedes mal versuchen das rätsel zu lösen

@monkee

boah, der 2. ist bitter

hui, ein glückstreffer
mein kopf war allerdings nicht ganz bei der sache sonst hätte ich es schon bei 2 gehabt

#pastpuzzle 256
🟩🟨🟨🟥 (+31)
🟩🟩🟨🟨 (-63)
🟩🟩🟩🟩 (0)
️️️️

3/4
https://www.pastpuzzle.de

@silvia

ich glaube eh, dass die web-suchmaschinen in zukunft wieder so werden wie früher, vor google - einfache linklisten

das denke ich auch schon seit etwa 3-4 jahren denn das hat schon mit corona und HO angefangen
das wilde daran ist, dass wir eigentlich endlich die hardware technologie hätten um auch mit consumer hardware leistungsfähige, private server zu betreiben (ich bin von meinem pc jeden tag aus neue überrascht)

und nicht nur wird die hardware immer teurer, ich habe auch das gefühl sie wird quantitativ weniger (weniger anbieter, weniger modelle, weniger legacy kompatibilität)

#hardware #cloud #KI #BigTech

https://www.golem.de/news/verteuerte-hardware-ki-konzerne-versperren-den-weg-aus-der-cloud-2603-206158.html

@puniko

nah, i'm gonna woof the shit out of this place

leute!!
#opencode + #ollama + #qwen 3.5 9b (bisschen an den parametern geschraubt) + rtx 3060 12gb + 64k kontext

=

https://pmj.systems/

"Build · qwen3.5-pmjcoder1:latest · 5m 54s"
innerhalb von 6 minuten erstellt
im nächsten post folgt noch der prompt - das ist alles was ich gemacht habe, nix zusätzliches oder manuelles, nur dieses kleine 9b modell bei mir zuhause

edit: das ist kein konkretes projekt, ich hatte die domain schon und wollte einfach mal gucken wie weit man ohne cloud kommt
#ai #llm #homelab

@monkee @miro

ja, alles bis ca 14b sollte da laufen
allerdings musst du gucken wie gross der kontext ist
bei mir ist ungefähr: qwen3.5 9b nutzt für sich ca 7gb ram, mit 64k kontext kommen nochmal 3-4gb obendrauf
und modelle die von haus aus weniger als 32k kontext haben kann man nicht wirklich für tooling verwenden
selbst wenn man den kontext erhöht, die weights wurden dafür nicht ausgelegt und können bei einem zu hohen kontext auch wieder "dümmer" werden

ist ne lustige aber sehr interessante technologie

@monkee @miro

jap, die schreiben in die files, erstellen files, lesen files, erstellen git commits, das ganze programm
gibt ja diese CLI tools, nanocoder, opencode, claudecode oder auch openclaw - nutze nano am meisten
die kann ich so einrichten dass sie auf meine ollama instanz zugreifen und dann nutze ich die lokalen modelle

wow, #qwen 3.5 echt geil!
hab mal bisschen mit dem 9b modell mit 64k kontext gespielt und bin echt begeistert
1. passt es mit dem kontext in meine 12gb rtx 3060 (10gb)
2. ist es für mich das erste lokale modell das ootb ohne gefummel funktioniert
3. sind die resultate beim agentic coding überzeugend - nicht vergleichbar mit den cloud modellen, aber besser als alles was bisher lokal mit ner mid-range gpu möglich war
#homelab #ki #llm #coding

lebenszeichen ️

ich bin da gerade tief tief im #tempestPHP "rabbithole"
echt, ich bin noch mit keinem framework so schnell und einfach vorwärts gekommen wie mit diesem teil

oke, benutze auch gerade nur die basics - ma kuckn wenns denn ein bisschen komplexer wird
#programming #php

ach, das ist doch alles schon soo lange her

#pastpuzzle 444
🟩🟥🟨🟨 (-39)
🟩🟩🟩🟥 (+4)
🟩🟩🟩🟥 (+6)
🟩🟩🟩🟥 (+2)

x/4 🟥
https://www.pastpuzzle.de

@monkee @kubikpixel

jo, ist auf jeden fall schneller und praktischer als 20 tabs (mindestens 5 sind doppelt) mit unterschiedlichen stackoverflow threads zu switchen bis man alles zusammen hat

für die basics von so klar geregeltem zeugs sind die dingers wirklich super