Компания Google разработала интерактивный микроскоп для обнаружения рака в образцах тканей. Он в реальном времени анализирует изображение с камеры и помечает области, похожие на злокачественные образования, с помощью экрана дополненной реальности, встроенного в микроскоп. Для этого не обязательно создавать новую модель микроскопа — за основу можно взять многие из уже существующих микроскопов, применяемых в больницах и исследовательских центрах, отмечают разработчики в блоге Google Research. Разработка была представлена на ежегодной конференции AACR.

Одна из главных сфер применения технологий машинного обучения, в которой исследователи добились больших успехов в последние годы, — компьютерное зрение. Как правило, его применяют для распознавания лиц, а также других объектов на изображениях или видео. Также распознавание объектов применяют в медицине для диагностики заболеваний и обнаружения структурных изменений в тканях.

Разработчики из Google применили машинное обучение для диагностики рака, но не просто разработали сам алгоритм, а создали прототип микроскопа, который использует этот алгоритм. За основу авторы разработки взяли серийный оптический микроскоп и вставили между окуляром и объективом два модуля. Один из них использует полупрозрачное зеркало, которое пропускает часть света от образца дальше, а часть отражает на фотоматрицу. Второй модуль устроен похожим образом, но выполняет обратную задачу — проецирует изображение и накладывает его на изображение изучаемого образца. Таким образом, микроскоп может в режиме дополненной реальности отображать информацию прямо в окуляре.

Изображение исследуемой ткани, попадающее на матрицу, в реальном времени обрабатывается алгоритмом, разработанным исследователями. Он представляет собой глубокую сверточную нейросеть, основанную на алгоритме, разработанном в Университетском колледже Лондона, и использованном ранее в некоторых медицинских исследованиях. Программу можно применять для обнаружения разных патологий, но специалисты из Google сконцентрировались на двух типах объектов: метастазах рака молочной железы в сигнальных лимфатических узлах и раке предстательной железы. Разработчики натренировали нейросеть на двух размеченных датасетах, содержащих 399 высококачественных изображений метастазов в лимфатических узлах и 285 изображений ткани предстательной железы.

Во время осмотра образцов ткани человеком алгоритм также анализирует изображение в поле зрения и создает тепловую карту, в которой каждому пикселю присвоена вероятность того, что на нем изображены раковые клетки. Микроскоп может в реальном времени отображать подозрительные области на изображении, обводя возможные опухоли яркой линией или просто отображая тепловую карту на всем поле зрения.

Выделения вероятной опухоли в поле зрения микроскопа и тепловая карта, составленная нейросетью
Выделения вероятной опухоли в поле зрения микроскопа и тепловая карта, составленная нейросетью

Исследователи отмечают, что подобный интерактивный микроскоп можно создать на основе многих моделей оптических микроскопов, реально используемых в больницах и исследовательских центрах, без необходимости закупки нового дорогого оборудования. Помимо этого, алгоритм был натренирован на снимках с высококачественных сканеров, но практически без потери эффективности справлялся с изображениями, получаемыми на микроскопе. Это значит, что натренированная модель сможет хорошо работать на микроскопах разных моделей.

В прошлом году американские ученые создали нейросеть, умеющую определять некоторые виды рака кожи — меланому и карциному — с более высокой точностью, чем ведущие врачи в этой области. В ее основе также лежит архитектура Inception v3, которую использовали специалисты из Google для создания AR-микроскопа.