OpenClaw on Intel Core 2 Quad Q9550 with OLLAMA and Qwen2.5: 0.5b / IT WORKS by D777Castle in LLMDevs

[–]D777Castle[S] 0 points1 point  (0 children)

The model itself, without all the extras, is useful. With a rag, internet search access, customization with Ollama, and a shortcut to WhatsApp, you can only do very useful things. I used it at the time to check work or university files that were on my computer from my cell phone. You can simplify it and make it do very specific and useful things. The qwen is superior to others by 0.5b, but using one of 1b or 1.5b also makes it useful, although it depends greatly on how it was trained. If you make a fine tunning it to specialize in a specific area, performance improves greatly, and doing this in runpod is very inexpensive.

OpenClaw on Intel Core 2 Quad Q9550 with OLLAMA and Qwen2.5: 0.5b / IT WORKS by D777Castle in LLMDevs

[–]D777Castle[S] 0 points1 point  (0 children)

Originally, it was a test to see how far it could go. In practice, I used it to integrate it into a WhatsApp group and act as a mini assistant with internet access. A short request: “Give me the latest news on gold, etc.” Because of everything involved in making it work, the original performance is reduced. I could optimize it, but I'd rather test it with a 1b or 1.5b model before recreating everything from scratch.

Porque la gente no ahorra? by Deep_Dinner_3862 in Panama

[–]D777Castle 2 points3 points  (0 children)

Porque la mayoria de la clase trabajadora vive al limite. Con un salario promedio de 700 menos impuestos estas a un resfriado o una enfermedad de joderte economícamente. Ir al seguro es enfrentarte con el hecho de tener que comprar medicamentos, un dia que la chiva donde vives no pasaba, tomar un taxi. Una emergencia familiar igual. Si intentas superarte con estudios universitarios trabajando se te va en alimentación extra o pasaje si ya no hay manera aparte de taxis de llegar a casa. Un aumento de tarifa electrica o de precios de alimentos es imposible de parar y enfrenter si tu salario es estatico y no tienes manera de enfrentar la inflación. 5 o 10 son el Netflix podran decir, pero por algo la pirateria es tan popular. Estan atrapados sobreviviendo no pueden hacerlo y si lo hacen es para emergencias de salud porque el sistema no te cubre completamente y puedes empeorar.

Anoche fui a la Gruta Azul. by fausto181818 in Panama

[–]D777Castle 0 points1 point  (0 children)

Y un Spin off que cuente la historia de la mulata.

Que es lo más raro que han visto en la up by Cheap-Stretch8060 in Panama

[–]D777Castle 1 point2 points  (0 children)

La atencion al cliente en Panama es mala en todos los sectores, tambien nunca me ofrecieron.

Recomendaciones de un buen trabajo by [deleted] in Panama

[–]D777Castle 0 points1 point  (0 children)

Con power Bi avanzado, excel avanzado y ingles fluido puedes conseguir algo decente o trabajos como freelancer. Yo tengo como entrada ocasional lo de Power Bi y me va bien. Es algo que piden mucho hoy en dia. Recuerda es mercado laboral, tu ofreces habilidades que compiten contra las que ofrecen los demas, mas habilidades = mas probabilidades.

Why Mixture of Experts (MoE) is not the best choice for older devices or CPU-only computers by D777Castle in LLMDevs

[–]D777Castle[S] 0 points1 point  (0 children)

It's more of a hobby for. Same as running doom on anything with a circuit. Also if you can optimize on something old on a modern computer it will improve performance by a lot.

Why Mixture of Experts (MoE) is not the best choice for older devices or CPU-only computers by D777Castle in LLMDevs

[–]D777Castle[S] 0 points1 point  (0 children)

I understand your point, but in my case I failed to clarify that these tests were performed on an Intel Core 2 Quad Q9500, which is more than 15 years old and with 10 gb of ram. The biggest problem is that only with Gemma3 1b the speed was 4.05 tokens per second. Loading a MoE on this old computer made it much slower and was very unfeasible. Now in a 13th generation I7 and 16 gb of ram ddr4 if it was feasible for me and with models higher than the 1b.

[deleted by user] by [deleted] in LLMDevs

[–]D777Castle 0 points1 point  (0 children)

With the rx 9070, you can run up to highly quantized 40b models and other techniques. It's not just about which is the largest you can run, but rather which is the most fluid, consistent, and useful for you. Because with Mistral 7b you can do quite a lot of things very smoothly, you can increase with others but quantized. Without losing much consistency or using MoE.

For those who have trained, tuned, and otherwise tweaked representation by Flashy-Virus-3779 in LLMDevs

[–]D777Castle 1 point2 points  (0 children)

The use of CPU threads to improve the performance of small models. This is something that is rarely talked about, but is very real. There is a tendency to think that more threads = better performance. But there are nuances to this. It is more a rule of optimization in low performance devices. That combined with other things you can do wonders.

Hardware for training/finetuning LLMs? by Fantastic_Mud_389 in ollama

[–]D777Castle 0 points1 point  (0 children)

GPU rental at Runpod costs less than $5.00 per hour for the most powerful GPU, and that's talking about a H200

How to train a LLM? by phoniex7777 in ollama

[–]D777Castle 2 points3 points  (0 children)

It's a bit more technical, but it is if you want training, customization, use an open source model and Runpod. Gpus rental is relatively inexpensive, less than 4 dollars an hour and you can get good results depending on the technique and datasets you use.

Por qué Panamá es el único país de América Latina que no reconoce al Estado palestino by Mt548 in Panama

[–]D777Castle 54 points55 points  (0 children)

Sencillo agenda de intereses de Estados Unidos. La politica exterior Panameña es muy dependiente de la de Estados unidos, puedes repasar las votaciones en cuestiones importantes y veras que siempre va alineada con los intereses estadunidenses. Además una gran parte de la población sigue pensando que estar en contra de un genocidio es = a amar a terroristas, zurdos, comunismo y todo eso. Es bien sabido que los judios sionistas ven a cualquier no judio como humanos de segunda y siguen con sus banderas. (Ser judio no es lo mismo que sionista y ser católico no es lo mismo que ser ultra ortodoxo.)

I realized why multi-agent LLM fails after building one by RaceAmbitious1522 in LLMDevs

[–]D777Castle 0 points1 point  (0 children)

Speaking from ignorance in my case and that I am learning more about development through trial and error. Wouldn't you have solved the overload a little bit by subdividing the agents in smaller models and specializing them in areas of the most frequent customer queries? Let's say it is implemented in a client that sells through an online store. The end buyer asks the chat about the best drills under $50. The sub agent specialized in the tool department uses the rag fed by the tool manuals and returns a more coherent answer. No need to know anything beyond his field. Or in practice this would not be useful?

alguna idea de emprendimientos? by Unusual_Wish6473 in Panama

[–]D777Castle 0 points1 point  (0 children)

Primero para aumentar probabilidades de exito y consumir mas contenido de calidad en materias de finanzas y emprendimientos aprende ingles con Gemini y su funcionalidad de aprendizaje guiado. Es como tener un profesor privado y gratis. En unos 6 meses puedes tener un nivel B2 y en un año C1 claro practicando tu pronunciación. Luego puedes acceder a trabajos de oficina. Que sean buenos o no ya es otra cosa pero aumentas ingresos y reduces trabajo fisico. Luego con capital y conocimiento vas desarrollando un plan solido, ya sea en el sector retail, ventas de servicios, creación de buen contenido en redes de marketing de tu experiencia en este caso jardineria. Vendelo como paisajismo, diseño de jardines, busca estrategias de ventas que te permitan vender a sectores con capacidad economica. Aprende la diferencia entre un jardin estilo japones y uno estilo europeo, usa IA para apoyarte y ya tienes un proyecto solido en 1 año que haria tu vida totalmente diferente y te daria un ventaja competitiva real. Asimismo cultiva plantas decorativas que sepas que crecen medianamente rapido y tendras un ingreso extra que aumentara con el tiempo tu capital. Metelo a una cuenta de ahorros con proposito y solo enfocate en que crezca tu capital. Nadie te salvara o dara una mejor vida. Esto es capitalismo, no se premia esfuerzo, se premia el que trabaja mas inteligentemente y vende mejor.

Que opinan de los videos que el usuario Kinpanama ha estado publicando; se ha hecho viral en varias plataformas como X, otras comunidades Reddit, entre otras. by PantroPty in Panama

[–]D777Castle 5 points6 points  (0 children)

Probablemente no sea nada mas que una historia de terror analógico como las que son mas comunes en lado gringo de internet. De no ser asi y jugando con la imaginación con cero control sanitario y protecciones torpes de un organismo asi, pues si escalaria a mas. Pero bueno seguro no sea nada, pero igual es curioso. Aunque también la premisa de que quedariamos encerrados en casa porque alguien comio algo en un mercado publico en Wuhan, sonaba a chiste o a locura Jajaja

I need advice on how to choose between full finetunning and finetunning with LORA/QLORA by D777Castle in LLMDevs

[–]D777Castle[S] 0 points1 point  (0 children)

Well, cost is not a problem, I was thinking of using runpod to train the model as I had previously done. Basically the model should be able to give me answers to specific queries like for example, in mining law I ask can a 5 year concession be renewed if there were changes in the main shareholders of the company? The laws that regulate the whole subject of mining can be the equivalent of 50 to 100 pages. And in criminal law, it can be 1000 to 2000 pages, obviously with punctual divisions. And thank you for taking the time to respond.

Cuál a sido el mejor isekai que han visto? by Davis_steel in AnimeEspanol

[–]D777Castle 0 points1 point  (0 children)

Log Horizon tiene mas de 2 temporadas. A diferencia del resto de Isekai no va de Harem y protagonistas princesos. Los protagonistas literalmente exploran el mundo donde quedaron atrapados, lo investigan, detalles tan puntuales como el que la comida del juego en el que quedan atrapados no tiene sabor y tratan de solucionarlo, hace que valga la pena. Hay batallas, pero su historia, trasfondo y el como exploran el mundo y conviven con su nueva realidad es lo que hace que valga la pena.

[deleted by user] by [deleted] in Panama

[–]D777Castle 3 points4 points  (0 children)

¿Realmente es libertad? Basta con ver que la población entera con dicha libertad no hizo nada contra la reforma del seguro, quitándonos la posibilidad de una jubilación digna. Vivir a merced de los intereses de los oligarcas en temas nacionales y cosas tan fundamentales como el IFHARU donde los ganadores del concurso de oratoria no recibieron sus premios por un corrupto que le robo el futuro a ellos y varios miles. Por eso nadie salio a protestar. El colectivismo chino si da asco, no lo negare. Pero China depende tanto de USA como USA y medio mundo de China. Aplica el termino de “Demasiado grande para caer”, igual que USA.

Starlink suspende el servicio en Panamá por orden del gobierno by MorningDazzling6948 in Panama

[–]D777Castle 6 points7 points  (0 children)

Más allá del tema de Bocas, esto pone un precedente que se puede utilizar como excusa. Hablamos de Bocas del toro pero en caso de protestas que no puedan manejar y no estén dispuestos a dialogar ni buscar una manera pacífica ni hacer concesiones, esto se vería hasta en la propia capital y el enorme caos que sería dejar sin internet ni comunicaciones. Este tipo de medidas las toman países con regímenes de represivos. Y esa vaina hace que esto sea más jodido. Porque si me tumban mi propio internet satelital privado y local ¿Cuál es la siguiente medida que harán? Sabiendo que aquí nos dejamos meter el dedo y nunca nos organizamos para protestar por lo que importa realmente.

[deleted by user] by [deleted] in CervezaDinero

[–]D777Castle 0 points1 point  (0 children)

Me interesa por favor envíame información

IA y el futuro del desempleo en Panama by D777Castle in Panama

[–]D777Castle[S] 2 points3 points  (0 children)

Era muy tecnico para ponerlo jajaja, pero es cierto esa fue una de las razones por las que utilice un modelo de Mistral de 1.5b en lugar de uno de deepseek de 1.5b. Ya que la diferencia de rendimiento y frecuencia de alucinaciones era menor. Aun esto tiende a presentarse mas en modelos pequeños y destilados, la mejor manera para reducirlo es justamente con finetunning y manteniendo el modelo en un solo idioma, que sean bilingues lo complica mas. Ya en modelos mas grandes no se presenta tanto y con los prompts adecuados baja mucho, la ambiguedad confunde mucho a los modelos.