Система, получившая название HoloSurg, предоставляет набор виртуальных интерактивных панелей, проецируемых в поле зрения хирурга, и позволяет видеть одновременно реальные и виртуальные объекты. На этих панелях отображаются жизненно важные сведения о пациенте, такие как хирургический атлас, рентгеновские и томографические изображения в 2D и 3D, позволяющие хирургам точно находить местоположение опухолей, которые необходимо удалить. HoloLens позволяет отображать эту информацию в любом удобном для врача месте, сканируя помещение со всеми находящимися в нем объектами и создавая трехмерную карту реального окружения. Размеры виртуальных панелей можно менять, их можно настраивать и перемещать простыми жестами и голосовыми командами. Например, хирург может увеличить изображение или повернуть трехмерную модель интересующего его участка тела оперируемого пациента.
Смешанная реальность позволяет хирургам быстро обращаться к критически важной информации, сохраняя возможность взаимодействия с реальным миром, в том числе с другими медиками и самими пациентами. Традиционные гарнитуры виртуальной реальности не дают такой возможности.
Еще одно преимущество этой системы — возможность записывать или транслировать в прямом эфире то, что видит хирург. Это идеальный инструмент для обучения и практики. В конечном итоге, система HoloSurg позволяет оперировать точнее и быстрее, уменьшая риск.