Del triángulo había una segunda solución, donde el arco con el radio igual a b corta al arco capaz. Pero el enunciado no dice nada de esa segunda solución y además quedaría muy pequeña.
.
Si la razón fuese 5/3, debes dividir la distancia entre el centro de homotecia y cualquiera de los puntos en 3 partes y medir 5 de esas divisiones desde el centro de homotecia, obteniendo el punto homotético.