Yo primero planteé como $u$ y $(u-v)$ son perpendiculares entonces $u.(u-v)=0$ esto implica que$||u||ˆ 2 - u.v = 0$ entonces $u.v=9$

Despues planteas que $u.v=||u||.||v||.cos \frac {\pi}{4}$ y despejas $||v||$ que es lo unico que no tenés

Una forma de resolver esa parte es observar que el ángulo entre $v$ y $u+v$ es $\cos (\pi/12)$, luego se pueden plantear las tres ecuaciones que resultan de escribir $u\cdot v$, $u\cdot (u+v)$ y $v\cdot (u+v)$. De aquí se puede despejar $\|v\|$ y $\|u+v\|$.
Una alternativa a esto puede ser suponer que $u$ y $v$ son vectores en el plano y $v$ tiene la dirección del eje horizontal. De aquí se puede escribir $u$ de forma explícita, es decir, dar sus coordenadas en el plano. La dirección del vector $u+v$ es la de una recta que pasa por el origen y tiene una pendiente fácil de calcular. Luego $u+v$ se puede obtener intersectando esta recta con la recta horizontal que corta al eje vertical en la coordenada vertical de $u$. Después de calcular $u+v$ explícitamente se puede hallar $v$ (es mejor hacer un dibujo para seguir esta sugerencia). Esta forma de resolver el ejercicio usa cosas del tema siguiente, pero puede ser interesante para poner esto en práctica.