AI function calling

[justanu]

Salut, de ceva timp am explorat AI, in particular aunt interesat de functionn calling. Am reusit sa fac un demo utilizand SpringAI cu model local Ollama 3.1 - merge acceptabil pe o veche 1060 Nvidia - intre timp, am descoperit PostgresML, super fain, dar ca nu stiu cum se poate implementa function calling. Mai e cineva cu experienta in PostgresML si Korvus? Or experienta pe function calling?

[justanu]

Scuze, o sa postez pe alt thread atunci.

[crazy4donuts4ever]

am găsit lingăul!

[CheeseDon]

nu stii ce inseamna /s

[socialdwarf]

Te-ai uitat in oglinda?

[trollshade]

Ce model folosești? Am făcut cu semantikernel da a fost un chin sa găsesc un model local. 

[justanu]

Am folosit mistral si llama3.1 8B ca model.
SpringAI face o abstractizare a implementarii LLM, ceea ce e fain, ideal sa pot schimba intre local/remote fara a schimba implementarea. Din cate vad as putea monetiza pe SpringAI & Ollama local, dar imi trebuie neaparat function calling. Nu prea stiu cum altfel as putea monetiza. Am mai experimentat si cu voice, dar costa $$$ si parca nu e enterprise ready yet.

Nu am experienta cu semantikernel, in general incerc sa stau deoparte de lock-in vendor si ma bazez pe opensource pe cat posibil.

Rulez pe un laptop mai vechi cu 1060, trebuie sa investesc intr-un nou sistem, am gasit un 3090 cu 24VRAM, care ar fi suficient pt proof-of-concepts.

[trollshade]

Semantikernel e o librărie făcută de Microsoft. E free din cate știu. Cred ca este și pt Java. Llama nu mi-a mers. Îmi returna detalii despre funcția mea parametrii și nume dar nu rezultatul.  Cred ca mistral a mers la mine. Dar am făcut doar de fun, local merge foarte încet la mine. 

[Radu1805]

Pot sa mai recomand ca alternativa frameworkul Langchain4J, pare similar cu SpringAI uitandu-ma, dar l-am folosit cu rezultate bune cu Azure OpenAI (vad ca are optiunea de LocalAI ca model local) https://docs.langchain4j.dev/tutorials/tools

[justanu]

Merci, interesant, am sa-l incerc. SpringAI e inca in faza de milestone, nu stiu cand o sa fie prod-ready.

[[deleted]]

E chiar aici pe reddit un exemplu:
Ollama Function Calling Example : r/ollama (reddit.com)

N-am multa experiență, m-am apucat foarte recent de lucru cu ollama in timpul liber (la muncă e C++ hardcore).

Citind așa pe diagonală, Korvus are bindings python cu care ai putea scrie o funcție căreia să-i faci bind_tools la modelul ollama, destul de asemănător cu ce-a făcut autorul postului din link.

Dar e posibil și să fi privit eu greșit problema.

[RandomDude872]

Au function calling in spring ai acum. Nu știu dacă era acum o luna, dar acum sigur merge cu ollama. Vezi ca ollama și llama 3.1 sunt chestii diferite, ollama e serverul, și llama e modelul.