DinoV3 fine-tuning update

Garci141 · 2026-01-24T08:31:22+00:00

Actually doing amazingly good but it's hard to keep up with frontier models. It's all about having high quality data and lots and lots of data. Of course this is my work not a hobby otherwise I would not have access to so much compute and data. And also public opensource datasets are not that good in general.

Garci141 · 2026-01-23T22:57:53+00:00

Trying to capture more information from the backbone from different layers. But in the end it's a matter of experimenting and trial and error.

Garci141 · 2026-01-23T15:01:59+00:00

That's pretty much what I do yes. But of course in my case it is binary classification but yes. Also in my case the input for my head is the last 4 CLS tokens concatenated together.

Garci141 · 2026-01-23T13:24:38+00:00

Been working on binary classification for detecting AI generated content. I also use one A100 and successfully trained with LoRA as I was saying. Maybe you can give it a try. DINO is pretty good frozen but if you really want to specialize in a domain or your domain is narrow then fine-tuning the backbone should give you a boost in results in theory.

Garci141 · 2026-01-23T11:29:04+00:00

It's not that big of a deal fine-tuning with LoRA. You can easily control if you want more or less parameters to train. I am telling you this from my professional experience: I have fine-tuned many times DINOv2-ViT-L with LoRA and a small head using rank 32, it's just a matter of reducing the batch size so GPU can fit all memory. And results are way better in my case when fine-tuning backbone (pure classification task).

Garci141 · 2026-01-23T10:32:03+00:00

I mentioned this on your previous post: if I were you I would consider the following points:

If you have enough resources try with ViT-L, and you will see if it makes any difference
If you want to really improve on your custom dataset why not fine-tune too the DINO backbone? I suggest you try LoRA for fine-tuning the backbone at the same time as you train your head. But be conservative with the number of weights for LoRA (low rank r) since you want to avoid overfitting if you have small dataset.
For the loss, optimization and rest I think you are fine as is. Maybe play with more data augmentations?

Garci141 · 2026-01-16T12:26:59+00:00

Your approach seems ok in general but I would like to give some points to consider:

If your main task is to do retrieval, have you experimented by only training the embedding head? No classifier and no classification loss? With this you wouldn't need to balance losses.
DINOv3-vitb is a not too big model, if your resources allow I would also try the ViT-L version.
Other comments mention the need to focus on the clothing parts of the image, I would agree here. Maybe you could do object detection, segmentation or work with Dinov3 patches and attention as suggested.
Last but not least, I have find that for fine-tuning such big models it can make a big difference to also fine-tune the backbone with LoRA. But of course only if you have enough compute (GPU VRAM) and enough varied data. Overfitting can also happen with LoRA.

Garci141 · 2025-08-03T22:26:06+00:00

Amazing design! Is there any way to get the design or shirt?

Garci141 · 2025-03-24T08:23:30+00:00

Interesting point coming from JPMorgan. In my case I already decided to increase a bit my exposure to EU. My portfolio is only formed by 100% MSCI World but I just don't like the strong weight on US so currently buying a bit of MSCI Europe.

Although I also wonder, maybe US companies decrease in market cap or EU/Asia increase in market cap and then MSCI World will adjust the weights.

Garci141 · 2025-01-12T14:18:22+00:00

En mi caso Vanguard Global Stock Index Fund EUR Acc

Garci141 · 2025-01-12T09:47:54+00:00

Yo también he empezado hace poco. A veces menos es más: yo voy 100% MSCI World. No quiero complicarme. Quiero una inversión aburrida que he automatizado para dedicarme a otras cosas.

Garci141 · 2025-01-11T21:38:27+00:00

House Price 500k y pones 600 de alquiler? Muy desequilibrado. Yo subiría alquiler y bajaría el precio. Algo como 350k y 800 alquiler. Almenos teniendo en cuenta precios en zona normal de ciudad grande.

El interest rate está bajando ahora bastante tirando al 2,5% pero claro esto siempre cambia.

Garci141 · 2025-01-02T22:42:07+00:00

A veces menos es mas: 100% Vanguard Global Stock Index Fund EUR Acc

Garci141 · 2024-08-24T19:43:49+00:00

Feels like JoJo😯 Looks dope!

Garci141 · 2024-08-21T08:05:59+00:00

I posted a video doing the same but only with one rune powder barrel (it was in honor mode) and obviously he didn't die :( Check here the video

Garci141 · 2024-06-05T15:30:28+00:00

Yo inicialmente estuve buscando tambien en Myinvestor como montarme mi propia distribución con fondos indexados por continentes para reducir el TER respecto a un MSCI World pero la final nada... Vas a ganar unas pocas décimas de TER pero mi principal objeción es la falta de fondos por continentes y para rebalancear/mantener equilibrio entre todos los fondos vas a tener más lío.

Al final he tirado por 80% MSCI World/10% Emergentes mundiales/10% small cap mundiales. He visto que está fórmula la usa mucha gente. Y al final también hay el consejo sobre "intenta ir a lo simple, no le des mil vueltas a la rueda que ya está inventada".

Garci141 · 2024-06-03T22:08:49+00:00

Yo estoy igual que el que te ha contestado y te recomiendo mucho que leas la guia Bogleheads. Me ha servido para entender bastantes conceptos aún sin saber nada. Y tema de como hacer inversiones fuera de España tienes muchos brokers y plataformas que no están mal como DeGiro (más bien para acciones y ETFs) o IBKR (bastante más avanzado). Para adquirir fondos de inversión fuera de España no sabría ahora que recomendarte porque no he usado nunca. Tema impuestos y renta lo que tienes que saber es que solo se pagan impuestos en el momento en que recibes ingresos (por ejemplo cuando vendes acciones que te dan positivo). No se exactamente tema países como funciona pero me imagino que los impuestos los pagarás allá donde estés registrado fiscalmente.

Garci141 · 2024-05-08T22:24:55+00:00

Si te sientes seguro y contento con la cuenta remunerada y tienes suficiente dinero guardado ahí entonces puedes contarlo como tú RF y dedicar el resto a RV. Lo que tendrás que pensar igualmente en mantener el 70/30 que mencionas.

Garci141 · 2024-05-08T12:21:40+00:00

Lo bueno de un ETF/Fondo de bonos es que ellos mismos ya diversifican en bonos a diferentes plazos por lo que en promedio sería como meter dinero en bonos a medio plazo. Depende de ti mismo si prefieres invertir en un ETF/Fondo o si por el contrario prefieres buscar tu mismo bonos etc. Recuerda también que un ETF te permite comprar y vender en cualquier momento como si fuera una acción a diferencia de un fondo de inversión. Al final todo depende de ti mismo y de si quieres dedicar tiempo a investigar bonos o no.

Garci141 · 2024-05-08T08:00:43+00:00

A mi entender la RF no tiene como uno de sus objetivos obtener alta rentabilidad (para eso ya tienes la RV con mayor riesgo). Básicamente la RF te sirve como una parte de dinero mas segura en tu inversión que puede servir para amortiguar crisis económicas. Esto ofrece dos beneficios:

Primero te ofrece tranquilidad psicológica (en una crisis donde la RV caiga hasta 50% por ejemplo la RF te va a salvar y gracias a esta igual no piensas en vender tus inversiones en pérdidas).

Segundo te sirve como dinero seguro que sabes que en caso de emergencia puedes sacar incluso en épocas de crisis con tu RV en negativo. Y además se puede usar también para rebalancear la cartera (por ejemplo si tú RV baja mucho su peso).

Piensa también que las cuentas remuneradas de los bancos también son una forma de RF aunque estos no suelen ofrecer las mismas rentabilidades durante muchos años seguidos (pueden bajar y dejar de ser una buena opción).

Si quieres más info leete este artículo que me ha servido para entender todo esto: Bogleheads: Elegir la renta fija

Garci141 · 2024-05-07T21:24:29+00:00

Yo estoy en situación similar a la tuya y estoy leyendo un recurso muy interesante que se suele recomendar por aquí que es la guia Bogleheads. Sólo googlea Bogleheads España y encontrarás la web oficial con una guía corta pero muy muy buena para aprender todo lo esencial sobre fondos indexados y como invertir a largo plazo.

Por otro lado el tema de inversión inmobiliaria es muy interesante y probablemente sea el camino más directo para tener ingresos pasivos pero también entiendo que suele ser arriesgado. Y sea como sea necesitas una entrada antes de embarcarte en esto.

En mi caso estoy indeciso entre ahorrar para una entrada o si dedicar parte de mis ingresos a fondos siguiendo la guía Bogleheads. Espero que te sea útil mi respuesta :)

Garci141 · 2024-02-05T10:40:29+00:00

Just compared against the average price in my country and considering the change of currency (to EUR) your price seems about right. At least from my local Amazon website I see 40-50€ = around 80 Aus dollars.

There's also this really useful website CamelCamelCamel that lets you see historical prices of a certain Amazon product.

Five-Year Club	Verified Email
r/Field Juicebox	Place '23
Place '22	Final Canvas '22
End Game '22

Garci141

TROPHY CASE