как камера телефона определяет пульс
Google научила Android новым трюкам с камерой. Можно определить пульс без дополнительного оборудования и датчиков
Сначала новую функцию Google Fit протестируют на смартфонах серии Pixel
Компания Google объявила о запуске новой функции камеры, которая может оказаться очень полезной пользователям смартфонов на основе операционной системы Android.
В приложении Google Fit добавилась возможность определить частоту дыхания, наведя объектив камеры на человека. Пользователю достаточно попасть в объектив селфи-камеры и просто дышать. ПО отслеживает, как поднимается и опускается грудь пользователя, вычисляя частоту дыхания.
Чтобы определить пульс, потребуется приложить палец к объективу тыльной камеры. В этом случае ПО отслеживает изменения цвета кожи на кончике пальца, который меняется с тактом пульса.
Обе эти функции позволяют отслеживать пульс и дыхание с помощью одного только смартфона, без дополнительного оборудования и датчиков. Google подчёркивает, что они не подходят для точной медицинской диагностики, но могут оказаться полезными для ежедневного использования.
Сначала новая функция Google Fit станет доступна смартфонам фирменной линейки Google Pixel. Однако Google подтвердила планы по запуску и на других устройствах с Android.
Google научит Android-смартфоны измерять пульс и дыхание
Немногие знают, что для того, чтобы замерить частоту пульса, совершенно необязательно покупать фитнес-браслет. Нет, я не предлагаю вам считать его самостоятельно, приложив указательный палец к запястью и отсчитав положенное время. Я говорю о способности практически любого современного смартфона производить подобного рода измерения с достаточной точностью, чтобы доверять им и не заниматься расчётом ЧСС по старинке. Достаточно было скачать соответствующее приложение. Поэтому было странно, что Google не предлагает ничего подобного. Видимо, ей просто было нужно время.
Камера, вспышка и приложение — всё, что нужно для замера пульса
Google готовится встроить в фирменное фитнес-приложение Google Fit функцию замена пульса и расчёта дыхания. Но если программный пульсометр – это штука довольно привычная, реализуемая при помощи приложения и камеры со вспышкой, то вот методика расчёта дыхания выглядит довольно необычно.
Как измерить пульс смартфоном
Замерить пульс можно даже с помощью смартфона
Замер пульса при помощи смартфона производится довольно примитивно. Вспышка просвечивает палец, а камера считывает изменения цвета крови, которая темнеет с каждым новым ударом сердца, которое эту самую кровь и перекачивает. Это только звучит очень сложно, а по факту камера просто фиксирует изменения цвета капилляров и всё.
Впрочем, для достижения максимальной точности измерения Google пришлось изрядно потрудиться. Разработчики из команды Google Fit обучили приложение компьютерному зрению, дабы исключить ошибочные срабатывания и приблизить результат замеров к результатам медицинского оборудования. На выходе, как заявляет руководитель проекта, у разработчиков получилось добиться высокоточных показателей измерения, сопоставимых с клиническими.
Фронтальная камера будет считывать вздымание грудной клетки для замера ЧДД
А вот с частотой дыхательных движений (ЧДД) – показателем, который представляет важность наравне с частотой сердечных сокращений – всё немного иначе. За его измерение отвечает только камера. Она отслеживает мельчайшие вздымания туловища при вдохах и выдохах. Для этого сгодится даже фронтальная камера, сдобренная специальными алгоритмами, которые занимаются подсчётом таких телодвижений.
Несмотря на то что для замеров ЧДД тоже использовалось компьютерное зрение, исследователям Google пришлось привлечь к участию в проекте несколько групп добровольцев как с респираторными заболеваниями, так и без. Это было необходимо для того, чтобы добиться максимальной точности считывания, независимо от того, страдает человек какими-либо расстройствами дыхательного аппарата или нет.
Как Google обновляет старые Android-смартфоны
Обе новых функции появятся в приложении Google Fit, но доступны будут не сразу и не всем
Моя команда работает над раскрытием потенциала смарт-устройств, которыми мы пользуемся на постоянной основе. Наш круг интересов включает в себя не только смартфоны, но и многие другие гаджеты, но смартфоны являются наиболее показательным примером того, насколько личными могут быть электронные устройства. Поэтому мы стараемся задействовать для поддержания здоровья пользователей, даже те датчики, которые вроде бы предназначены совсем для другой цели, — говорит руководитель проекта Google Health Шветак Патель.
Первое время обе функции будут доступны только пользователям смартфонов Google Pixel, но в обозримом будущем их планируется выпустить для широкой аудитории. Google не стала оглашать сроков наступления обозримого будущего, но дала понять, что это произойдёт уже в этом году. Видимо, компания хочет протестировать нововведения на узкой группе пользователей, чтобы в случае чего не опозориться перед всеми.
Планируется, что функции измерения ЧСС и ЧДД будут доступны на всех устройствах с Android 6.0 и выше. Несмотря на то что нововведения доберутся до пользователей в составе приложения Google Fit, а не системных обновлений, сам факт того, что Google продолжает поддерживать старые устройства даже таким опосредованным способом, дорогого стоит. В конце концов, обновления Android как таковые уже пару лет как не несут в себе ничего ценного, поэтому пользователям остаётся полагаться только на софт.
Как измерить свой пульс, и зачем это делать
Как измерить свой пульс, и зачем это делать
Частота сердечных сокращений (ЧСС), которую нередко называют «пульсом», показывает, сколько раз в минуту бьется сердце. Этот показатель различается в зависимости от того, что делает человек. Во время сна частота сердечных сокращений значительно ниже, чем во время бега.
Несмотря на то, что ЧСС и пульс выражаются одинаковыми цифрами, техническая разница между этими двумя показателями есть.
ЧСС – это показатель того, столько ударов сердца происходит за определённый промежуток времени, обычно за минуту.
Пульс – это индикатор движения крови по артериям. Приложив палец к крупной артерии, можно почувствовать, как сердце перекачивает кровь.
Врачи используют показатель частоты сердечных сокращений для контроля здоровья человека. А люди, занимающиеся спортом, – чтобы определить эффективность тренировок.
Что такое нормальная частота сердечных сокращений?
Для человека старше 18 лет нормальная ЧСС в состоянии покоя составляет от 60 до 100 ударов в минуту. Чем более натренирована сердечно-сосудистая система – тем меньше требуется сердечных сокращений, чтобы организм получил необходимые питательные вещества и кислород с кровью.
У профессиональных спортсменов ЧСС в покое может быть около 40 ударов в минуту.
Нормальным пульсом в состоянии покоя считается:
— Для новорожденного – 120-160 ударов в минуту,
— Для малыша от 1 месяца до года – 80-140 ударов в минуту,
— Для ребёнка в возрасте от 2 до 6 лет – 75-120 ударов в минуту,
— Для ребенка в возрасте от 7 до 12 лет – 75-110 ударов в минуту,
— Для людей старше 18 лет – 60-100 ударов в минуту,
— Для взрослых спортсменов – 40-60 ударов в минуту.
Как проверить свою ЧСС?
На запястье (на лучевой артерии). Поверните руку ладонью вверх. Положите два пальца на запястье с наружной стороны руки. Почувствуйте толчки крови под подушечками пальцев. Возьмите часы или секундомер и посчитайте количество толчков в течение минуты или 30 секунд, умножив этот показатель на два.
На шее (на сонной артерии). Поместите указательный и безымянный пальцы руки на шее, рядом с трахеей. Посчитайте количество ударов в минуту.
Кроме того, пульс можно проверить и на других крупных сосудах:
— в районе бицепса или локтевого сгиба,
— на голове рядом с ухом,
— посредине подъема стопы,
— на виске,
— на краях нижней челюсти,
— в паху.
Также вы можете воспользоваться пульсометром. Пульсометры существуют в качестве самостоятельных приборов, но могут входить в конструкции часов и даже мобильных телефонов.
Что влияет на ЧСС?
На частоту сердечных сокращений влияют несколько факторов:
— тренированность,
— температура окружающей среды,
— положение тела (стоя, сидя, лежа),
— эмоциональное состояние: волнение, гнев, страх, тревога приводят к повышению ЧСС,
— наличие лишнего веса,
— прием лекарств, алкоголя или курение.
Если у нетренированного человека сердце бьется слишком медленно – менее 60 ударов в минуту – это называется брадикардия.
Если в состоянии покоя у взрослого нетренированного человека сердце бьётся быстрее 100 ударов в минуту – это называется тахикардия.
Если вы наблюдаете у себя подобные симптомы, которые сопровождаются головокружением, одышкой или обмороком – срочно обратитесь к врачу.
Что такое максимальная частота сердечных сокращений?
Этот показатель говорит о том, сколько ударов в минуту ваше сердце может сделать максимально – при физической нагрузке. Во время занятий спортом он позволяет оценить, насколько интенсивна нагрузка, которую вы получаете.
Обычно максимальная ЧСС считается по математической формуле, в которой учитывается возраст человека.
Для взрослых мужчин МЧСС = 220 – возраст. То есть у 25-летнего мужчины максимальная частота сердечных сокращений будет составлять 195 ударов в минуту.
Определяем пульс по вебкамере в 50 строчек кода
Однажды мне попалось описание приложения для Android, которое определяло пульс по камере телефона, просто по общей картинке. Камера не прикладывалась к пальцу, не просвечивалась светодиодом. Интересный момент был в том, что ревьюеры не поверили в возможность такого определения пульса, и приложение было отклонено. Чем дело кончилось у автора программы, не знаю, но стало интересно проверить, возможно ли это.
Для тех кому интересно что получилось, продолжение под катом.
Разумеется, я не буду делать приложение под Android, гораздо проще проверить идею на языке Python.
Получаем данные с камеры
Сначала мы должны получить поток с вебкамеры, для чего воспользуемся OpenCV. Код является кроссплатформенным, и может работать как под Windows, так и под Linux/OSX.
Идея определения пульса состоит в том, что оттенок кожи слабо меняется из-за протекания крови в сосудах, поэтому нам понадобится кроп картинки, на котором будет только фрагмент кожи.
Если все было сделано правильно, при запуске программы мы должны получить примерно такую картинку с камеры (заблюрено из соображений приватности) и кропа:
Обработка
После того, как у нас есть поток с камеры, все довольно просто. Для выбранного фрагмента мы получаем усредненное значение цвета и добавляем его в массив вместе со временем измерения.
Функция numpy.average вычисляет среднее из двухмерного массива, на выходе мы получаем число, которое и является усредненной яркостью.
Остается вывести график на экран в реальном времени:
Тут есть небольшая тонкость: OpenCV работает с изображениями в формате numpy, поэтому мы должны получить из matplotlib график в виде массива, для чего используется функция numpy.fromstring.
Возможно, из заголовка не совсем очевидно, но камера не прикладывается к коже, мы просто анализируем общую картинку с человеком на экране. И удивительно, что даже на таком расстоянии изменение оттенка кожи вполне уверенно фиксируется камерой! Как видно из картинки, реальная разница яркости составляет менее 0.5% и конечно, не видна «невооруженным глазом», но на графике уверенно различима. Разумеется, по клеточкам считать не точно, примерный пульс получился около 75bpm. Для сравнения, результат с поверенного китайскими мастерами пульсоксиметра:
В комментариях был вопрос, меняется ли измеренный камерой пульс в зависимости от физ.нагрузки. Да, меняется, пример наложения двух графиков до и после зарядки приведен ниже в комментариях.
Заключение
Как ни странно, но это действительно работает. Если честно, в результате я был не уверен. Разумеется, для реального использования нужно сначала найти лицо на изображении, но встроенная функция поиска лиц в OpenCV также есть. И конечно, нужна несложная математика для выделения периода из достаточно шумных данных.
Для желающих поэкспериментировать, исходный код целиком под спойлером.
App Store Как измерить пульс с помощью камеры iPhone
Вы не ослышались. Никаких пульсометров. Только фотокамера телефона.
В последнее время многие крупные производители уделяют особое внимание теме здоровья. Проектируется огромное количество различных устройств в этой нише: всевозможные браслеты, трекеры, и даже электронные бутылки, подсчитывающие количество выпитых литров воды. Одним из базовых показателей состояния человека служит его сердечный пульс, который принято измерять с помощью тех же браслетов или иных устройств, не считая метода «потрогать пальцами». Но есть и другой, менее известный способ измерить пульс с помощью обычной встроенной камеры.
Существует ряд приложений, использующих программный алгоритм определения пульса. Среди них:
Суть метода проста: во время ударов сердца приток крови насыщает и затемняет кожу. Если подсветить палец встроенной вспышкой, камера телефона сможет зафиксировать различия и вычислит частоту изменения тона кожи в минуту. Полученное число и будет искомым ответом — частотой сердечного ритма.
Остановимся на русскоязычном приложении — «Мониторинг Сердечного Ритма». Оно имеет поддержку HealthKit. Для измерения нужно сделать несколько простых действий:
1. Запускаем приложение и сразу попадаем на экран с короткой инструкцией и единственной кнопкой «Начать Измерение».
2. Прикладываем палец к камере телефона таким образом, чтобы он одновременно накрыл собой встроенную вспышку. Здесь нужно будет потренироваться. В зависимости от толщины и свойств кожи, прикладываем палец только на камеру или одновременно на камеру и вспышку — это будет понятно после первых 2-3 измерений.
3. Нажимаем кнопку «Начать Измерение». Первым делом запустится короткая калибровка, затем – измерение пульса. Причем график будет строиться в реальном времени у вас на глазах.
5. Сразу после измерения попадаем на экран истории, где в верхней строке отобразится результат, а данные автоматически отправятся в приложение «Здоровье».
Приложение удобное, приятное, но предоставляет только 20 бесплатных попыток измерения. Дополнительные попытки можно покупать в разделе «Инфо». Есть и другой аналогичный софт, в котором ограничений либо нет, либо они незначительны. Разве что интерфейс не столь приятный.
Такой метод измерения предоставляет относительно высокую точность и приемлемую скорость. С использованием данных в медицинских целях все неоднозначно, но для личной статистики сойдёт. Расхождение с традиционными способами — 1-2 удара в минуту. Это может быть обусловлено неравномерностью пульса. Скорость измерения составляет 15-25 секунд, что сравнимо со всеми остальными способами.
Кроме того, из полученных данных можно собирать статистику и просматривать ее в приложении «Здоровье». А оно, кстати, собирает активность в фоновом режиме (шаги, дистанцию, эквивалент преодоленных этажей). Зря убрали его в дальнюю папку, пора доставать.
В итоге – полезный «кирпичик» в общую диагностику своего организма.