Создали платформу и датасеты для первичной диагностики пациентов с помощью ИИ
Разработали высоконагруженную платформу для конкурсов
AI’m Finder
и
AI’m Doctor
и сформировали уникальные датасеты для обучения российских
ИИ-систем, которые станут основой системы поддержки принятия врачебных решений.
Отрасль
Инновации
Услуги
Разработка платформы
Сроки
октябрь 2022 – ноябрь 2024
Фонд Национальной технологической инициативы (НТИ)
upgreat.oneФонд организует технологические конкурсы, инженерные соревнования для команд разработчиков, которые предлагают решения критически важных задач в различных сферах, которые имеют критически важное значения для развития технологического рынка России.
Цель
Создать в стране технологию для первичной диагностики легочных заболеваний с помощью искусственного интеллекта. Для решения этой глобальной цели и преодоления технологического барьера в медицине проводятся конкурсы AI’m Finder и AI’m Doctor
Задача
Научить искусственный интеллект анализировать эпикризы пациентов с различными легочными заболеваниями, результаты клинических исследований и сопоставлять эти данные с информацией из медицинских баз и клинических рекомендаций. В результате должна появится новая интеллектуальная система-помощник врачей для первичной диагностики.
Для этого нужно:
1.
Разработать и реализовать систему датасетов с эпикризами пациентов.
2.
Валидировать датасеты врачами-экспертами.
3.
Реализовать систему разметки эпикризов врачами прямо в браузере.
4.
Создать платформу для проведения технологического конкурса.
5.
Реализовать сложный модуль математики, который позволит сравнить разметку команд с помощью ИИ и действия врачей.
Участники конкурсов AI’m Finder и AI’m Doctor должны разработать свои ИИ-системы и научить их анализировать эпикризы, выделять и классифицировать симптомы заболеваний по шести лёгочным нозологиям и формулировать заключительный клинический диагноз. И делать это автоматически, за счет интеллектуальной обработки протоколов медосмотров. Финальные соревнования состоялись в ноябре 2024 г. Победитель конкурса получил приз 200 млн руб.
Решение
Наша команда с нуля продумала и разработала технологическое программное решение для проведения двух конкурсов с разными механиками. Аналогов данного ИТ-решения не было.
На первом этапе продумали архитектуру платформы, создали дизайн-макеты, прописали функциональные требования и спроектировали личные кабинеты для 8 ролей пользователей (участник, эксперт-медик, администратор и т. д.)
Общие требования к платформе — высокая отказоустойчивость и принцип открытого кода для обеспечения прозрачности испытаний.
Также разработали базовую схему и структуру по обеспечению информационной безопасности проекта.
Взаимодействие ролей на проекте
На втором этапе, за 4 месяца, разработали основные модули и элементы платформы, загрузили все медицинские информационные базы, которые нужны для проведения конкурсов.
Сделали специальный разметчик для классификации симптомов и передали его в тестирование экспертам-медикам. Подготовили проект для тестирования в объеме разработанного функционала.
Уникальный разметчик
Разработка и взаимодействие всех модулей платформы, отвечающих за точность и скорость сравнения данных во время проведения конкурса с эталонами, стали основой третьего этапа проекта.
Для этого разработали сервис со сложными математическими расчетами для автоматического вычисления результатов конкурса на основе интегрального критерия. Написали утилиту для обеспечения взаимодействия платформы и систем участников.
Загрузили на платформу информацию с историями болезней. Врачи заранее поработали с этими карточками и с помощью специального разметчика, разработанного нами, выделили симптомы болезней по каждому пациенту и подтвердили, либо опровергли установленный диагноз.
Четвертый этап — это подготовка к старту отборочных и финальных конкурсных испытаний, где основной фокус был на обеспечении работоспособности платформы и ее отказоустойчивость в день проведения испытаний в онлайн-режиме.
Настроили облачную систему через сервис Яндекс.Облако для обеспечения отказоустойчивости платформы. Сделали стресс-тестирование платформы, имитировав нагрузку в 10 раз больше, чем запланировано в дни финальных испытаний.
Вызовы проекта
Неполное техническое задание
Глубинно проработали взаимосвязи ролей, что дало понимание бэкенд-команде о структуре взаимодействия баз данных и модулей системы, облегчило работу фронтенду по синхронизации визуальных сценариев с внутренней логикой.
Неоднородность данных с эпикризами
Университет им. Сеченова предоставил огромный массив данных с эпикризами, но в оригинальных медицинских документах нет единого стандарта. Партнеры из университета универсализировали данные, а мы написали скрипт, чтобы на входе их валидировать.
Кодирование большого массива матданных на язык программирования
Разработали математический аппарат для сравнения результатов участников с эталоном. Формулы предоставили ученые-математики, которые мы переводили на язык программирования.
Строгая конфиденциальность данных
Для сохранности и конфиденциальности данных ограничили действия пользователи разного уровня только в рамках своей задачи. Для защиты от массовых ddos-атак закрыли внешний доступ к базе данных.
Проведение конкурса AI’m Finder
14 ноября 2023 состоялся финал конкурса-сателлита AI’m Finder, который проходил в прямом эфире в течение 2 часов. Финалисты одновременно определяли симптомы для каждого тестового пациента с помощью разработанных ИИ-систем. На это им отводилась всего 1 минута. Платформа сравнивала, насколько разметка симптомов от ИИ близка к результату врача.
В рамках финальных испытаний мы обеспечили работоспособность платформы и ее отказоустойчивость:
участники беспрепятственно раз в минуту все одновременно получали файлы для работы;
принимали и фиксировали ответы участников;
на лидерборде в прямом эфире без обновления страницы отображали прогресс по каждой команде-участнику;
оперативно реагировали на любые ситуации.
Пятый этап — разработка абсолютно новой двухэтапной механики для проведения основного конкурса AI’m Doctor. Это финальные испытания систем участников по постановке конкретных диагнозов, в результате которых будет выбрана наилучшая ИИ-система.
Для проведения финальных испытаний изменили процесс обмена данными между платформой и участниками, разработали новый алгоритм оценки интегрального результата конкурса, переработали личный кабинет клинического специалиста, в котором эпикриз отображается врачу ровно в том порядке, в котором его «изучала» система участника. Также сделали два новых лидерборда, которые в прямом эфире отображают ход испытаний: обмен между платформой и системами участников и оценки клинических специалистов.
Проведение конкурса AI'm Doctor
Финал состоялся 6 ноября 2024 в прямом эфире. В финальную часть конкурса вышли 4 команды, которые показали наилучшие результаты в отборочных соревнованиях.
На первом этапе финала участники получают анамнез и предполагают первичный диагноз. В базе 120 эпикризов, которые получают команды для обработки и постановки диагноза. После чего запрашивают медицинские исследования, которые проводились по пациенту, и получают их результаты. Это делается для увеличения точности итогового диагноза, который ИИ-система должна поставить за 1 минуту.
На втором этапе диагнозы ИИ-систем участников верифицируются практикующими врачами. Алгоритм платформы отбирает 24 самых интересных случая для оценки. Клинические эксперты оценивают траекторию запросов исследований в соответствии с предварительным диагнозом и точность заключительного диагноза.
Победителем стала система, которая наиболее часто ставила точный диагноз с наименьшим количеством запрашиваемых исследований.
Результаты
С нуля разработали highload-платформу для выбора наилучшего решения на основе ИИ для определения симптомов по набору объективных данных и клинических исследований, а также определению заключительного клинического диагноза.
Помогли сформировать уникальные датасеты, на которых уже обучаются отечественные ИИ-системы по первичной диагностике легочных заболеваний и в дальнейшем станут основой системы поддержки принятия врачебных решений. В итоге это значительно улучшит качество медицинского обслуживания миллионов россиян, в том числе в отдаленных регионах.
6 месяцев
от утверждения дизайна до запуска платформы
3 910 эпикризов
загрузили в систему для обработки медэкспертами
8 ЛК
разработали для разных ролей на платформе
20 часов
бесперебойной работы в финалах конкурсов
3 500 часов
тестирования
2 000+ сессий
обмена информацией между Платформой и системами участников
89 команд
участников конкурсов
500+ страниц
документации с описанием функционала
Команда
Полина Герасимова
Менеджер проекта
Павел Воробьев
Руководитель фронтенд-направления
Петр Кленкин
Бэкенд-тимлид
Евгений Терещенко
Руководитель отдела бизнес-аналитиков
Сергей Феодориди
Руководитель отдела DevOps
Фронтенд-разработчик
2 QA-инженера
2 бэкенд-разработчика
2 UX/UI-дизайнера
Клиент о нас
С командой «Вебпрактик» сотрудничаем уже не в первый раз. Каждый наш совместный проект обладает уникальными особенностями. Разработка платформы для проведения конкурса AI’m Doctor не является исключением. Это масштабный и технически сложный проект, который должен учитывать медицинскую специфику.
Наш партнер подошел к вопросу реализации платформы с особой тщательностью, вниманием к деталям и открытостью к обратной связи на протяжении всего процесса разработки. При проектировании новой платформы «Вебпрактик» учли опыт разработки платформы для конкурса ПРО//ЧТЕНИЕ: команда помогла нам с экспертизой в проектировании архитектуры, разработке новых утилит и формировании датасетов. Спасибо команде «Вебпрактик» за профессиональный подход к решению технологически сложных задач!»
Команда Технологических конкурсов НТИ Up Great
