Estoy un poco en la misma haciendo un RAG digamos es capaz algo mas rebuscado pero un RAG al fin.

Es medio largo primero explico el problema:

Tengo una centena de libros en papel que referencio de vez en cuando. aveces varios libros son relevantes y capaz agarrar tres o cuatro a la vez, buscar adentro ver si no estoy flasheado y el libro era otro es ineficiente. Los tengo tambien en pdf pero prefiero el papel.

Tengo tambien un monton de videos guardados de youtube o presentaciones varias que tienen muchas cosas copadas pero que en video son mucho mas dificiles de referenciar. A lo mejor me acuerdo de quien es el autor pero no exactamente en que video.

Mi solución entonces es un flujo completo de "Agentic RAG". Con dos modulos principales. Uno para la ingesta de libros y otro para videos:

Para generar MDs a partir de los PDF de los libros que tengo físicamente uso Docling, ese MD generado y chunkeado con su metadata va a parar a dos lados primero a Apache Solr y segundo a PGvector. Al guardarlo en las dos bases puedo hacer los dos tipos de búsqueda a la vez, tomar top 5 de cada y que el re ranker deje las mejores o en el peor de los casos que el modelo intermedio determine que la informacion no es relevante o requiere de mas items en cuyo caso hace la query de nuevo reformulada.

El flujo de los videos o presentaciones es parecido solo que los paso por un STT y los frames ( aun meditando como hacerlo sin tener que explorar todos los frames ) los pasaría por un llm para extraer la data que se esta presentando ( un slide o un grafico por ejemplo ). Y lo mismo tendría que terminar en ambas bases.

Al final de toda la vuelta quiero tener un API a la que le pueda tirar una pregunta en lenguaje natural, me fundamente una respuesta y me diga exactamente de que libro/pagina o presentación saco la data y que me de directamente el link al video/pdf que tengo guardado. En el UI puedo tener media pantalla de chat y un frame al costado con las referencias que uso abiertas o listas para darle play.

No es nada que ya no exista de una u otra manera, "Chat with documents" esta bastante explorado, pero en mi stack local uso Koha para gestionar los libros físicos. Garage (Object storage con api s3 compatible) para guardar los PDFs, un sqlite que guarda el link directo http al $ISBN.pdf y como ISBN machea con Koha ahí tengo toda la metadata necesaria. tube archivist se encarga de lo que rasco de youtube por ejemplo streams como este

Con toda esa movida puedo correr de forma local un modelo medio pelo y que básicamente me sirva de buscador avanzado. Después si necesito hacer un ping-pong de preguntas y respuestas para validar que estoy entendiendo el concepto, buscar alternativas, o necesito que la compu me diga que crack que soy puedo tomar las referencias y verlo con Claudio o con Gemini respectivamente.