Hola

La distancia $\rho$ de m a O no es simplemente $a + R \cos\phi$, esa es la distancia entre O y la proyección de m sobre OO'. La distancia que buscás es el módulo del vector que va desde O hasta m:

$\vec{r} = a \hat{i}' + R \hat{e}_r$

donde $\hat{i}'$ es según OO' y $\hat{e}_r$ el versor radial correspondiente a las coordenadas polares que tomaste. Calculando el módulo queda:

$\rho^2 = a^2 + R^2 + 2aR \hat{i}' \cdot \hat{e}_r = a^2 + R^2 + 2aR \cos\phi$

Para la parte b) podés pensar que para que llegue a B la velocidad allí debe ser mayor o igual a cero (y no anularse en el medio), y tratar de usar la energía.

Saludos