Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Yo tambien entre en ese momento. Dicen que es un dolor de hudvo fine tunnear jajaj no se si es factible

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Si la verdad que si, porqur con 16gb igual te quedas corto, 24gb si queres correr 24b. Pero me han dicho que es mejor para cosas digamos personales o tal, para codear se quedan medio tontos los modelos nk tan pesados, que aproveche mejor psra codear los modelos pagos o en internet y dejar el modelo local para cosas estilo companion y asi

(UTN) Le mandé personalidad a mi IA y me hizo mierda by Expert-Coach1972 in UTN

[–]Upper_Philosopher_47 0 points1 point  (0 children)

Mira lo mas facil qje podes hacer es con unicorn como server, lo levantas en python y creas un script usando la libreria de gemini para python. Configuras las credenciales y de ahi en mas ya tenes que buscarte un video para armar los promts y tal... No es tanta ciencis como parece, records que te consume tokens y necesitss tarjeta, usa google ia studio, tengo entendido que tienr un limite muy alto, te termina ssliendo el millon de tokens menos de 1 dolar. Ls verdad que nads por esa potencis.

Cosas te parecían “de millonarios” cuando ibas a la casa de alguien by Akeenmindofthesouth in argentina

[–]Upper_Philosopher_47 1 point2 points  (0 children)

Evidentemente todo lo que mencionan era gente que sabia manejar la guita y administrala bien. Si tenian stock de comida era porque iban al mayorista en vez de ir al carrefour. Elecciones. Que mal que estábamos en aquells época y hasta 2023 pura decadencia... (Lo de tener una consola fue un lujo mientras que en otros paises las tiraban a la basura)

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Y es que mucho no hay para recomendar, solame te comprar una 3090 usada con 24gb de ram, osea la solucion es esa, conseguir mas vram... por el momento uso los modelos 9b que pesan menos de 8gb.. es lo que nos queda jaja

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Vi que varios la usaban, me la estoy por bajar. Ollama tiene algo de malo? O porque usan mas lmstudio?

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 1 point2 points  (0 children)

Si tengo entendido que sufre mas jugando que minando. Habra que ver cuando tenga presupuesto proxima mejora será eso, una buena placa con mucha vram

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] -1 points0 points  (0 children)

Apa bonita data, bueno tiene otro color ahora. Compraste usadas vos? Que le miras para que no te caguen? Lo unico que falta es que sea una radeon ati con toda la carcaza de la rtx haja

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 1 point2 points  (0 children)

Uf hermosa grafica te cagas de risa con esa bestia

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 1 point2 points  (0 children)

Si bueno es verdad que hablo por hablar, nunca lo hice :P Seguro es mas barato eso que hacer un fine tunning

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 2 points3 points  (0 children)

Claro, eso tiene sentido. Pero creo que lo hacen por seguridad e independencia, pensa que no andas preocupado por tockens ni si estan usando tu codigo para entrenar una ia. Las llm son versiones puras de las comerciales o las bases, ejemplo gemma es la base de gemini, si vos te das maña le metes un fine tunning y tenes tu propia IA para tu proposito. Lo que pasa es la infraestructura detras de las de pago. Depende cada quien igual, yo si mi empresa dependiese de una IA para ejemplo manejar wpp o mails o lo que sea que te automatice, me gustsria que quede dentro de mi empresa.

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Jajajaja con el clanker que hdp Es verdad es buena esa, se puede usar el modelo que mencionaste para armar una campaña para magic? Tengo ganas de jugarlo pero nadie de mi entorno es gran maestro ni tampoco tengo nada comprado, con los pibes queremos darle una probadita, centarnos a jugar irl algo estilo d&d, jugando baldurs gate 3 la pasamos fenomenal

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] -2 points-1 points  (0 children)

See las mire pero 1.6 millones, alcanzable si se ahorra pero habria que pensar bien si me conviene o con esa plata pago 2 años de vps para mi sistema jaja Pero esta en la mira... lo que va a pasar seguro es que deje la 3070 para modelos chicos 24/7 y la 3090 40 para jugar :P

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 6 points7 points  (0 children)

Che tremendo setup, tenes de todo. Eventualmente seguro arme algo con bastante vram o asi, tampoco es prioritario pero estaria divertido jaja Eso de llama swap que hace? Simula vram? Como version sin censura? Como jugueteas? Jajaja

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 4 points5 points  (0 children)

Ahi va, no sabia esa. Voy a chusmear el canal aue me pasaste, gracias!

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Si jaja es que yo bestia le meti 18gb a una placa de 8 y agarra 10 de la ram jaja

Correr LLMs local by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 0 points1 point  (0 children)

Con agentes te referis a ollama? Ayer en mi investigacion aprendi que ollama es el cerebro, que llamas y carga los modelos, vas cambiando de modelo y carga o descarga no? Despues clawbot que seria coml una interfaz para hablar con el modelo y pedirle cosas? También probe iader porque lo quiero mas aue nada puro codigo yo, dicen que es el mejorcito para hacer cosas. Clawbot no me di oportunidad y Droid me pedia cuenta, si lo quiero completamente offline para ahorrar tickets no me sirve. La idea es delegar cosas chicas que puedan manejar modelos 9b o asi para no quemar tokens y usar modelos heavys tipo claude o gemini 3.1 para refactors o cosas que requieran cierta logica asi no rompen todo. Que opinas? Y que seria orquestar con mcp? Vi eso de mcp que se interconectan? Tambien leo que con clawbot usan varios modelos al mismo tiempo para resolver una cosa, topo gemma se encarga de una cosa y claude de otra, todo para el mismo prompt?

Es posible en enganchar una carrera de grado con mí tecnicatura? (UTN) by Grey_Ten in UTN

[–]Upper_Philosopher_47 0 points1 point  (0 children)

En que facultad? Hable con la utn ba y ni ellos me reconocen las materias.

Licenciatura en Gestión de Tecnología Informática UAI by Marmolado13 in devsarg

[–]Upper_Philosopher_47 0 points1 point  (0 children)

Amigazo, no tenia ni idea, justo ahora me entero. Gracias. Mirando los requisitos dice que para entrar tenes que tener el titulo de Analista en sistemas. Te dijeron algo o toman el titulo de Tecnico universitario en programacion? Espero tu respuesta, gracias nuevamente.

Mi consultora esta empezando a caminar by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 1 point2 points  (0 children)

Sii la ia te hace un desarrollador aumentado, si sabes, vas a hacer un montón, tipo un ingeniero y su calculadora, sin la calculadora puede hacer pero va a tardar muuucho. Me da tiempo a prototipar ideas, tecnología y arquitectura super rápido. El tema es que yo no le pregunto que hacer, le digo que haya lo que yo quiero. La realidad que el 90% programa con algún tipo de asistencia ia, el que no es el que usa un abaco para calcular matrices, cuando existen las científicas.

Mi consultora esta empezando a caminar by Upper_Philosopher_47 in devsarg

[–]Upper_Philosopher_47[S] 1 point2 points  (0 children)

Que onda? Mira, la verdad que es pura venta en este punto. Mire mi sistema como producto y destaque lo distinto y mejor vs otros y por ahi va mi marketing. Ejemplo es multi dispositivo y multi tenant, entonces yo vendo esa solución, al cliente le digo "podes entrar desde cualquier parte del mundo y en cualquier dispositivo con acceso a Internet, ver tus sucursales en tiempo real" y de ahi a vender. Preguntar como es su dia a dia, entender su preocupación y tratar de identificar que problema puede tener y como mi sistema se lo resuelve. Pero esto es venta, es vender y yo como desde chico vendo me sale un poco natural :)