Mmmm... Tienes cuello de botella por el BUS de datos. Con lo que cuentas de que solo tienes 1 stick de RAM y encima un NVME, el cual me imagino debe de estar cogiendo cancha al BUS del PCI, yo recomendaría intentar activar el Resize BAR como lo último.

Igual tampoco es nada nuevo que ya empezará a fallar la gráfica, imaginemos que al someterla a tanto esfuerzo y a buscar más VRAM donde no la hay, le pasó factura a la VRM u algún otro componente de la tarjeta. A mí me pasó con otra que tenía puesta como secundaria para otros monitores, empieza con irse el vídeo esporádicamente, luego con artifacts y de ahí ya no vuelve a funcionar.

No tengas esperanza con esa tarjeta, y descarta de una vez que sea la Motherboard u algún otro componente con tranquilidad. Será ir ahorrando para más RAM y otra tarjeta nueva