@pmj@social.pmj.rocks @miro@soc.crw.li Das war auch schon beim runterladen das grösste Model, ca.
-
@pmj@social.pmj.rocks @miro@soc.crw.li Das war auch schon beim runterladen das grösste Model, ca. 50GB :ablobcatsweatsiphard:
GPU hab ich 16GB - reicht für die kleineren optimierten Modelle anscheinend gut aus. -
@pmj@social.pmj.rocks @miro@soc.crw.li Das war auch schon beim runterladen das grösste Model, ca. 50GB :ablobcatsweatsiphard:
GPU hab ich 16GB - reicht für die kleineren optimierten Modelle anscheinend gut aus.ja, alles bis ca 14b sollte da laufen
allerdings musst du gucken wie gross der kontext ist
bei mir ist ungefähr: qwen3.5 9b nutzt für sich ca 7gb ram, mit 64k kontext kommen nochmal 3-4gb obendrauf
und modelle die von haus aus weniger als 32k kontext haben kann man nicht wirklich für tooling verwenden
selbst wenn man den kontext erhöht, die weights wurden dafür nicht ausgelegt und können bei einem zu hohen kontext auch wieder "dümmer" werdenist ne lustige aber sehr interessante technologie
-
ja, alles bis ca 14b sollte da laufen
allerdings musst du gucken wie gross der kontext ist
bei mir ist ungefähr: qwen3.5 9b nutzt für sich ca 7gb ram, mit 64k kontext kommen nochmal 3-4gb obendrauf
und modelle die von haus aus weniger als 32k kontext haben kann man nicht wirklich für tooling verwenden
selbst wenn man den kontext erhöht, die weights wurden dafür nicht ausgelegt und können bei einem zu hohen kontext auch wieder "dümmer" werdenist ne lustige aber sehr interessante technologie
@pmj@social.pmj.rocks @miro@soc.crw.li Definitiv. Ob ichs als Agent cool finde werde ich noch testen - Habe da noch meine Zweifel :ablobcatsweatsiphard:
Als interaktives Code Nachschlagewerk ists allerdings schon mal nützlich.
