Hola Cecilia,
Sí, tenés que evaluarla en los puntos hallados.

Te planteo en una dimensión para simplificar la discusión, pero el razonamiento es generalziable a más dimensiones. La idea es así:

Suponete que querés saber el comportamiento de una fuerza $F(x)$ cerca de un punto $x_{desarrollo}$. Es decir, $x=x_{desarrollo}+\Delta x$. Para esto realizás un desarrollo de Taylor en torno a $x_{desarrollo}$. Esto te da:
$F(x)\approx F(x_{desarrollo})+\frac{dF}{dx}\big|_{x=x_{desarrollo}}\Delta x$,
y despreciamos órdenes superiores en $\Delta x$.

Si el valor de $x_{desarrollo}$ es tal que es un punto de equilibrio, entonces es (F(x_{desarrollo})=0\). Esto te dice que:
$F(x)\approx \frac{dF}{dx}\big|_{x=x_{desarrollo}}\Delta x$,
pero si tenés que $F=-\frac{dU}{dx}$ entonces es: $\frac{dF}{dx}=-\frac{d^2 U}{dx^2}$ y con todo te queda que:
$F(x)\approx -\frac{d^2 U}{dx^2}\big|_{x=x_{desarrollo}}\Delta x$.
Entonces, si $\frac{d^2 U}{dx^2}\big|_{x=x_{desarrollo}}\gt 0$ ves que la fuerza es restitutiva dando lugar a un equilibrio estable y si $\frac{d^2 U}{dx^2}\big|_{x=x_{desarrollo}} \lt 0$ ves que la fuerza no es restitutiva y da lugar a un equilibrio inestable.

Espero se entienda, cualquier cosa insistí.

Saludos