Москва сделала значительный вклад в развитие методов тестирования искусственных интеллектуальных систем в области здравоохранения. Специалисты Центра диагностики и телемедицины разработали принципиально новую методологию, позволяющую значительно сократить сроки и ресурсы, необходимые для надежного подтверждения эффективности ИИ-технологий в медицинской практике.
Согласно исследованию, ранее не существовало единого стандарта относительно оптимального числа испытаний, необходимых для достоверной оценки результатов медицинских нейросетей. Этот недостаток приводил к необходимости проведения чрезмерно объемных экспериментов, затягивая внедрение инновационных разработок и усложняя адаптацию новых инструментов для специалистов-медиков.

Новый подход позволяет чётко определить необходимое число испытаний для эффективного тестирования ИИ-решений. Ученые провели анализ более двух миллионов различных конфигураций тестов и 25 тысяч изображений, достаточно провести минимум 400 исследований, причём каждый класс данных должен содержать не менее 10% случаев от общего объёма выборки. Увеличение же объёмов выборки сверх указанного минимума практически не оказывает влияния на конечный результат тестирования. Этот метод проверялся на системах лучевой диагностики, однако специалисты подчёркивают, что разработанный подход подходит и для других областей медицины, где применяется бинарная классификация.
Главный рентгенолог города Москвы Юрий Васильев отметил значимость данной разработки: “До недавнего времени мы сталкивались с отсутствием чётких критериев выбора размеров выборочных групп при оценке точности медицинского искусственного интеллекта. Сейчас у нас есть точные данные, подтверждающие достаточность определённого минимального набора исследований для каждой категории, что существенно сокращает временные затраты и снижает нагрузку на медиков”.
Почему важно точное тестирование медицинских ИИ
Искусственный интеллект активно внедряется в различные сферы медицины, начиная от лучевой диагностики и заканчивая анализом генетической информации пациента. Однако недостаточная ясность в вопросах стандартизации и регулирования процедур тестирования сдерживает широкое использование ИИ в клинической практике.
Традиционно применяемые подходы часто приводят к длительным и ресурсозатратным процедурам проверки моделей, что тормозило инновационное развитие отрасли. Поэтому разработка унифицированного подхода имеет стратегическое значение для всей медицинской индустрии. Например, задача выявления раковых опухолей на изображениях КТ или МРТ традиционно требует огромного количества анализов для точной настройки модели. Разработанный московскими специалистами метод позволяет уменьшить потребность в ресурсах и временных затратах, делая диагностику доступнее и качественнее. Причём учёные подчеркнули, что полученные выводы являются универсальными и не зависят от конкретных типов изображений или архитектуры нейронных сетей. Такой универсальный подход открывает широкие перспективы для дальнейшего развития систем машинного зрения в медицине.
Будущие направления развития метода
Следующим важным направлением развития нового подхода станет расширение границ его применения на другие виды медицинских данных и процедуры, отличающиеся от классической бинарной классификации. Исследователи рассматривают возможность адаптации методики для обработки мультиклассовых классификаторов и регрессоров, что расширяет её потенциальную область применения далеко за пределы радиологии. Такой подход обещает стать основой новой парадигмы в разработке и внедрении искусственного интеллекта в российскую систему здравоохранения, обеспечивая гарантированную безопасность и эффективность современных цифровых технологий.