Tensorflow Lite Posenet Demo

Оценка Posenet или Pose в Tensorflow Lite - это задача использования модели машинного обучения для оценки позы человека из изображения или видео путем оценки пространственного расположения ключевых суставов тела (ключевых точек).

Оценка позы относится к методам компьютерного зрения, которые обнаруживают человеческие фигуры на изображениях и видео, чтобы можно было определить, например, где на изображении виден чей-то локоть. Важно помнить о том, что оценка позы просто оценивает ключевые суставы тела и не распознает, кто находится на изображении или видео.

Модель PoseNet принимает обработанное изображение камеры в качестве входных данных и выводит информацию о ключевых точках. Обнаруженные ключевые точки индексируются по идентификатору детали с оценкой достоверности от 0,0 до 1,0. Оценка достоверности указывает вероятность того, что ключевая точка существует в этой позиции.

Тесты производительности

Производительность зависит от вашего устройства и шага вывода (тепловые карты и векторы смещения). Модель PoseNet не зависит от размера изображения, что означает, что она может предсказывать положения позы в том же масштабе, что и исходное изображение, независимо от того, уменьшено ли изображение. Это означает, что вы настраиваете модель на более высокую точность за счет производительности.

Шаг вывода определяет, насколько вывод уменьшается по сравнению с размером входного изображения. Это влияет на размер слоев и выходные данные модели.

Чем выше шаг вывода, тем меньше разрешение слоев в сети и выводах и, соответственно, их точность. В этой реализации выходной шаг может иметь значения 8, 16 или 32. Другими словами, выходной шаг 32 приведет к самой быстрой производительности, но самой низкой точности, тогда как 8 приведет к самой высокой точности, но самой низкой производительности. Рекомендуемое начальное значение - 16.