Сколько существует треугольников у которых вершины являются вершинами данного выпуклого 8 угольника но стороны не совпадают со сторонами этого 8 угольника

Существует только 6 вариантов расположения треугольника по вершинам восьмиугольника с несовпадающими сторонами.

(если бы разрешалось совпадение строн, то тогда было бы 21)

См логику - пусть тругольник уже есть. Без ограничения общности фиксируем какую-нибудь его вершину с вершиной 8-ка. Две другие могут быть в любых других 5-ти несмежных вершинах 8-ка (не 7 - иначе для см. вершин совпадение сторон 3-ка и 8-ка). Рассмотрим вначале максимальный случай - одна из вершин треугольника находится рядом, смежно только через одну по 8-ку. Тогда посл. вершина треугольника мождет занимать любую из оставшихся 3 (не 4 - смежная по 8-ку вершина выпадает) вершин 8-ка.

Аналогично эту вторую вершину треугольника можно разместить уже не смежно через одну, а уже через две от пред. случая. Тогда посл. вершина треугольника уже сможет занять только 2 положения (не 3 - иначе совпадет с одним из треугольников пред. случая).

Аналогично эту вторую вершину треугольника можно разместить уже не смежно через одну, а уже через три от пред. случая. Тогда посл. вершина треугольника уже сможет занять только 1 положения (не или 3 - иначе совпадет с одним из треугольников пред. случаев).

В итоге 3+2+1=6 вариантов расположения треугольника по вершинам 8-ка.

Всего 6, а не 21 (6+5 + ... + 1) - как в случае когда бы разрешалось совпадение сторон 3-ка и 8-ка.