Если x1 и x2-корни уравнения x^2-bx+2b-3=0, то при каком b величина y1^2+y2^2 будет наименьшой?

Кажется, вы (или учебник) опечатались, и вопрос должен быть таким:

При каком b величина x1^2 + x2^2 будет наименьшей?

По теореме Виета

{ x1 + x2 = b

{ x1*x2 = 2b - 3

Найдем сумму квадратов

x1^2 + x2^2 = x1^2 + 2x1*x2 + x2^2 - 2x1*x2 = (x1 + x2) ^2 - 2x1*x2

Подставляем

x1^2 + x2^2 = b^2 - 2 (2b - 3) = b^2 - 4b + 6 = b^2 - 4b + 4 + 2 = (b - 2) ^2 + 2

Ответ: при b = 2 сумма x1^2 + x2^2 будет минимальной и равна 2.