УСЛОВИЯ ИСПОЛЬЗОВАНИЯ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Условия использования систем искусственного интеллекта

Возможно, вам уже приходилось сталкиваться с сервисами, использующими технологии искусственного интеллекта, которые уже применяют в медицинских учреждениях. Сегодня не редкость, диагностика патологий на медицинских изображениях. Чат боты общаются с клиентами клиник, заменяя младший медицинский персонал. Профессионалам известны системы оценки медицинских информационных баз.

Как классифицировать эти сервисы? Существует мнение, что эти программы логично было бы отнести в категорию «Изделия медицинского назначения». И из этого следует, что эти продукты интеллектуального труда должны быть сертифицированы, так же как и любое лекарство или лечебная аппаратура. Разработчики, IT-специалисты опасаются такого подхода, обоснованно аргументируя, что повышенные требования и регламенты в конце концов сведут инновации «на нет». Требования и проверки увеличат время разработки продукта, а значит, стоимость продукта вырастет, технологическое лидерство будет упущено, а финансовая рентабельность будет стремится к нолю. Преимущество IT-технологий, позволяющих снизить стоимость медицинских услуг, будет утрачено. Разработки потеряют смысл.

Английские аналитики из Reform пришли к выводу, что создание систем искусственного интеллекта требует больших временных затрат высококвалифицированных специалистов. В то же время медицина является уникальной областью человеческого знания, где небольшая ошибка влечет за собой серьезные последствия для пациента. Поэтому, резюмируют эксперты, необходимы контролирующие организации, которые занимались бы вопросами этики и безопасного применения IT-технологий в медицине.

Процедура тестированияВ Российской Федерации уже есть такие организации. Это Минздрав и Росздравнадзор. Эксперты считают, что чиновникам давно следовало бы разработать систему верификации IT-продуктов. Процедура тестирования правильности продуктов позволила бы разработчикам быстро проводить проверки своих продуктов на соответствие требованиям. Но пока законодательство обходит стороной этот вопрос. Пока вопросы назначения продуктов, программ и систем, этические вопросы и вопросы безопасности остаются на совести тех, кто разрабатывает продукты.

Но от того, что чиновники не замечают или делают вид, что не замечают проблемы верификации, она не исчезает. Отечественные разработчики имеют негативный опыт выявления ошибок, размещенных в открытом доступе алгоритмов машинного обучения. Если программы предназначены для использования в здравоохранении, то последствия ошибок в их функционале могут быть непредсказуемыми. Хорошо, что пока отечественные специалисты способны выявлять ошибки и устранять их.

Этическая составляющая внедрения и использования IT-систем в медицине состоит в наличии доверия к ним врачей-специалистов, работу которых призваны облегчить новые сервисы. Консервативная медицинская общественность очень осторожно принимает технические новинки. Следует учитывать этот факт и предпринимать меры по продвижению продуктов в профессиональной среде. Высоки риски, что нужные и современные программы не будут приняты и востребованы у медиков.

СМИ, поднимая излишнюю шумиху вокруг темы цифровой медицины, служат плохую службу, создавая негативную репутацию. Возникает ошибочное ощущение, что медицина вторична, а IT-технологии первичны. Что разработчики стремятся внедрить, то, что умеют делать, не учитывая насущных медицинских проблем, не советуясь с медицинским сообществом, которому как бы навязывают надуманные продукты.

Вернемся к исследованию английских аналитиков. Отношение общественности Великобритании к использованию технологий искусственного интеллекта и робототехники в здравоохранении хорошо показывают результаты опроса. Около половины опрошенных граждан Великобритании хотели бы иметь доступ к врачам через смартфон, планшет или ПК. Отметим, что среди проголосовавших положительно большая часть – молодые люди. Но для более сложных операций, типа исследований сердца большинство предпочло бы общаться с живыми медиками. Всего три % согласились наблюдать беременность с помощью искусственного интеллекта.

Система «Watson», созданная IBMСистема «Watson», созданная IBM, и шумно представленная публике, столкнулась с проблемой независимой оценки. Не нашлось ни одного независимого эксперта, который бы написал заключение об этой системе. Все статьи написаны в соавторстве с сотрудниками IBM, что компрометирует компанию в глазах общественности. Американские врачи жалуются, что на рынке присутствуют недоброкачественные продукты. Так популярное приложение для мониторинга давления крови в сосудах в 80% случаев выдает ошибочные данные. Еще одно приложение, созданное для диагностики меланомы по фотографии, было запрещено для использования, так как не представило необходимые доказательства точности и безопасности работы.

Причины такой реакции здесь уже указывались. Консервативность медицинского сообщества объясняется слишком большими последствиями для жизни и здоровья пациентов в результате ошибки. Вечное «не навреди» было и остается главным для медиков. Именно поэтому настороженность, подозрение и длительное тестирование необходимы для новшеств. Методики, лекарства или инструменты – проходят длительный период апробации, пока они смогут занять свое место в практике врача. За длительное время тестирования можно выявить неизвестные риски и скрытые дефекты.

Поэтому разработчикам следует не терять время зря, и на начальном этапе работ разработать систему мероприятий по сбору доказательной базы состоятельности своего продукта, и мер продвижения продукта в профессиональной среде. Программистам и бизнесменам необходимо понимать, что в центре внимания врачей всегда находится человек с его проблемами, и акцент любой работы должен быть на решении проблемы конкретного человека, а не на высоких технологиях. Создавая новую функциональность, необходимо четко представлять себе результат, причем не в виде набора цифр, а в виде решения конкретной проблемы. К сбору доказательной базы состоятельности продукта, к оценке его эффективности нужно отнестись со всей строгостью и ответственностью. Разработчикам надо представить убедительные доказательства того, что их программа может решить две задачи:

  • Существенно улучшить сервис
  • Обеспечить безопасное использование результатов

Лучше всего для этих целей использовать методику, традиционную для медицинского сообщества. А именно, необходимо провести клинические исследования. Для тестирования и апробации продукта надо привлечь авторитетных экспертов в области медицины и проведения клинических исследований. Критический взгляд специалиста из другой сферы очень важен для создания качественного и удобного продукта. Кроме того, привлечение авторитетных экспертов повышает уровень лояльности к продукту в медицинской среде. Эксперты должны изучить создаваемое решение еще на стадии идеи, разработать методику сбора и анализа информации, чтобы результаты исследования можно было обработать статистически. Клинические исследования должны начинаться с протокола. Существуют стандарты проведения исследований в медицине. Подробнее о них можно узнать в ГОСТ Р 52379-2005.

Рекламная компания в СМИ может сослужить плохую службу. Иногда, излишняя информация вредит внедрению сложного продукта. Все заявления о безопасности и результативности должны быть подтверждены экспериментами и расчетами. Голословные заявления только отталкивают потенциальных пользователей систем, вызывая подозрения в лукавстве. Результаты исследований необходимо публиковать в научных журналах, лучше предпочесть международные издания.

Для полного успеха и победоносного вывода продукта необходимо учесть еще один фактор. Медицинские специалисты не только консервативны и ответственны, они еще отличается способностью анализировать и размышлять. Поэтому высокую степень доверия завоюет продукт, который понятен врачам. Медикам важно понять ход «рассуждения», приводящий к логическому заключению. Для любого врача важно понимать – как именно система пришла к тому или иному заключению. Современные методы того же ИИ, или скажем нейронных сетей, или глубокого машинного обучения, скрывают от пользователя процессы логических умозаключений, алгоритмов принятия решения. Для непосвященного человека система ИИ это «черный ящик». Быстрые и правильные ответы вызывают недоверие без объяснений, на чем основывается тот или иной вывод. В медицине присутствует вероятностная оценка для данной конкретной клинической ситуации, которую не всегда способна представить машина.

Watson CheckupРазработчики пренебрегают этим аспектом. Они создают сценарии обучения таким образом, что невозможно исследовать процесс принятия решения машиной. В уже упомянутом проекте Watson Checkup обнаружился интересный нюанс. В программу загружались данные о уровне заболеваемости в определенном регионе. И система ИИ выводила корреляционные зависимости заболеваемости с различными признаками. Так вот, что интересно, программа обнаружила связь между болезнями и длиной рук, или цветом зрачков. Современный уровень медицинских знаний не может объяснить эту связь. Возможно, что в будущем этот вопрос найдет свой ответ. Эксперты утверждают, что к подобным результатам надо относится положительно. Не всегда можно теоретически объяснить некоторые взаимосвязи, которые улавливает статистически «подкованная» машина.

Интерпретируемость результатов очень важна в медицине. Разработчикам надо учесть фактор эффективности разных методик. Одну и ту же задачу можно решить несколькими путями. Врач скорее всего предпочтет тот вариант, который ему будет проще интерпретировать. Поэтому необходимо оценивать проект как с точки зрения финансовых вложений, так и сточки удобства использования. Предположим, что имеется некая практическая проблема, которую можно решить привлекая технологию нейронных сетей, но она потребует большое количество вводных данных хорошего качества, и такую же систему можно сделать с достаточно высокой надежностью, быстро и дешево другим способом. Но во втором случае интерпретировать врачу результаты невозможно. Поэтому лучше использовать методы, пригодные для раскрытия гипотезы, такие как деревья решений. Возможно, разработка таких систем будет несколько дороже, но их ценность для врачей – значительно выше.

Очень важно, что бы информационная система с применением ИИ была прозрачна и предполагала объяснение, полученных результатов. Эксперты считают такой подход способным вызвать доверие медицинской общественности.

Как это может выглядеть? Интерфейс системы должен предусматривать вывод статистической информации: вероятности правильного решения, коэффициенты корреляции, точности прогнозов. Кроме цифровой информации важно вывести на экран ссылки на научные статьи, законы, нормативы. В том случае, когда аргументов нет, а вывод сделан алгоритмической обработкой массива данных, то можно дать описание этих данных, чтобы врач представлял, чем руководствовался ИИ, предлагая конкретное решение.

Выводы:

  1. Команде разработчиков следует принять решение, является ли их решение изделием медицинского назначения. Если такое решение принято, то следующим этапом надо организовать проведение сложной и дорогостоящей процедуры сертификации. Лояльность медицинского сообщества к безопасности и эффективности предлагаемого решения, повышают клинические исследования.
  2. Результаты работы IT-разработчиков требуют пояснений. Описание процедур, целей, специфики программы или сервиса помогут медикам правильно интерпретировать результаты машинной обработки. Необходимо понимание того, на основе, каких данных программа выдает то или иное заключение.

Подробнее

ЧИТАЙТЕ ТАКЖЕ

Задать вопрос

Оставьте свое сообщение и контакты для связи.
Мы с вами обязательно свяжемся.