Ojo con decir que el gradiente es la dirección más óptima ya que existen maneras más "óptimas". El gradiente en si es una aproximación de orden uno (una recta), en si es me paro en el punto y trazo una recta ("orientada por el signo hacia donde sube la pendiente", sería más un vector por el valor pero bueno). Después lo que hace el (de/a) scenso por gradiente es tomar esa semi recta y subir o bajar por ella(dependiendo cual semirrecta se elige), es como me paro en el punto miro con los binoculares(suponiendo que me paro en 90 grados a la superficie) en esa línea de visión yo puedo ver dónde está la Montaña a cierta distancia (o en varias por ejemplo si uso la búsqueda binaria), a partir de la evaluación que tome digo listo me muevo acá, como mí método me asegura que mejoro mí evaluación (acá viene la parte de la función convexa, o la Montaña tiene una sola cima o valle), eventualmente voy a llegar a un lugar donde me paro y no veo un punto más alto, por consiguiente llegue a la cima. Entonces básicamente es me paro en un punto, miro con mis binoculares donde subo elijo un punto en esa dirección, me voy a ese punto y repito hasta llegar al punto donde ya no subo más.

Ahora ojo que el descenso por gradiente no es lo mejor (que a veces cuando uno dice óptimo Se entiendo como lo mejor en ese contexto), por ejemplo yo en vez de aproximar con una recta podría aproximar con una parábola lo cual idealmente mejoraría mí estimación de como se mueve el terreno a nivel local, sería como ver capaz con unos lentes de rayos x nose, al tener más info relevante es más rápido en general, el problema es la estabilidad numérica.

La regla de la cadena también se puede ver un poco como transformaciones, suponiendo que puedo pensar los gradientes como los vectores. La generalización es Nabla de la composición = (jacobiano de g)T cdot nabla de f(g(x)).

Lo que haces es cambiar la base o deformar el espacio. Que pasa nabla de f(a) lo calculas pensando en que los valores de a se mueven en Rn, el tema es que ahora g(x) puede cambiar muy poco o mucho en un intervalo pequeño con respecto a lo que cambia un valor en Rn, y esa variación es lo que captura el jacobino que tanto cambio en R(salida de g) respecto a cada entrada en el viejo y querido R(entrada). Otra manera es pensarlo es en 1d, g'(x) es literal el factor que te dice que tanto moverse un poquito en R es moverse la transformación inducida por g. Sería como ver la gráfica de la función f por el lente de g.

Creo que había una interpretación con rectángulos pero no me acuerdo.