Создали платформу для национального конкурса по ИИ в медицине
Разработали высоконагруженную платформу для конкурсов AI’m Finder и AI’m Doctor и сформировали уникальные датасеты для обучения российских ИИ-систем, которые станут основой системы поддержки принятия врачебных решений.
Отрасль
Инновации
Услуги
Разработка платформы
Сроки
октябрь 2022 – ноябрь 2023
Фонд Национальной технологической инициативы (НТИ)
upgreat.oneФонд организует технологические конкурсы, инженерные соревнования для команд разработчиков, которые предлагают решения критически важных задач в различных сферах, которые имеют критически важное значения для развития технологического рынка России.
Цель
Создать в стране технологию для первичной диагностики заболеваний с помощью искусственного интеллекта. Для решения этой глобальной цели и преодоления технологического барьера в медицине проводятся конкурсы AI’m Finder и AI’m Doctor
Команда «Вебпрактик» не впервые сталкивается с задачей создания технологической платформы для проведения конкурса по определению лучших систем искусственного интеллекта. Ранее мы делали проект ПРО//ЧТЕНИЕ.
На этот раз нам нужно разработать платформу для проведения испытаний в рамках конкурсов AI’m Finder и AI’m Doctor. Конкурс и платформа — это еще один шаг для преодоления глобального технологического барьера в области искусственного интеллекта в медицине.
Задача
Научить искусственный интеллект анализировать эпикризы пациентов, результаты клинических исследований и сопоставлять эти данные с информацией из медицинских баз и клинических рекомендаций. В результате должна появится новая интеллектуальная система-помощник врачей для первичной диагностики.
Для этого нужно:
1.
Разработать и реализовать систему датасетов с эпикризами пациентов.
2.
Валидировать датасеты врачами-экспертами.
3.
Реализовать систему разметки эпикризов врачами прямо в браузере.
4.
Создать платформу для проведению технологического конкурса.
5.
Реализовать сложный модуль математики, который позволит сравнить разметку команд с помощью ИИ и действия врачей.
Участники конкурсов должны разработать свои ИИ-системы и научить их анализировать эпикризы, выделять и классифицировать симптомы заболеваний по шести лёгочным нозологиям и формулировать заключительный клинический диагноз. И делать это автоматически, за счет интеллектуальной обработки протоколов медосмотров. Финальные соревнования состоятся в ноябре 2024 г. Победитель конкурса получит приз 200 млн руб.
Решение
Нашей команде нужно было с нуля продумать и разработать технологическое программное решение для проведения двух конкурсов с разными механиками.
На первом этапе сконцентрировались на аналитической работе над таким масштабным проектом.
Продумали архитектуру платформы для конкурсных испытаний с учетом высокой одномоментной нагрузки.
Создали дизайн-макеты для ключевых разделов.
Прописали функциональные требования и спроектировали личные кабинеты для 8 ролей пользователей (участник, эксперт-медик, администратор и тд).
Разработали базовую схему и структуру по обеспечению информационной безопасности проекта.
Общие требования к платформе — высокая отказоустойчивость и принцип открытого кода для обеспечения прозрачности испытаний.
Взаимодействие ролей на проекте
На втором этапе, за 4 месяца, разработали основные модули и элементы платформы, загрузили все медицинские информационные базы, которые нужны для проведения конкурсов.
Разработали модуль регистрации и авторизации пользователей.
Запустили в работу модуль «Справочник симптомов».
Сделали специальный разметчик для классификации симптомов в карточках пациентов и передали его в тестирование экспертам-медикам.
Загрузили на платформу и передали на разметку эпикризы пациентов.
Подготовили проект для тестирования в объеме разработанного функционала.
Уникальный разметчик
Основой третьего этапа стала разработка и взаимодействие всех модулей платформы, отвечающих за точность и скорость сравнения данных во время проведения конкурса с эталонами.
Разработали сервис со сложными математическими расчетами для автоматического вычисления результатов конкурса на основе интегрального критерия. Подготовкой математики подсчёта результата занималась отдельная группа экспертов, в том числе из Сеченовского университета.
Написали утилиту для обеспечения взаимодействия платформы и систем участников.
Спроектировали и передали в эксплуатацию систему проверки решений и систему испытаний. После регистрации каждый участник в личном кабинете мог пройти тренировочное тестирование своего ИИ-решения и получить результат по тем же критериям, которые будут в основных соревнованиях.
Загрузили на платформу информацию с историями болезней. Врачи заранее поработали с этими карточками и с помощью специального разметчика, разработанного нами, выделили симптомы болезней по каждому пациенту и подтвердили, либо опровергли установленный диагноз.
Добавили к функционалу платформу модули Отчетности и Лидерборд.
Разработали и передали в эксплуатацию личные кабинеты пользователей со всеми типами ролей.
Четвертый этап — это подготовка к старту отборочных и финальных конкурсных испытаний, где основной фокус был на обеспечении работоспособности платформы и ее отказоустойчивость в день проведения испытаний в онлайн-режиме.
Настроили облачную систему через сервис Яндекс.Облако для обеспечения отказоустойчивости платформы.
Сделали форму обратной связи и подключили к ней Telegram-бота. Вопросы от участников отправлялись на почту и дублировались с помощью бота в чат, где были ответственные лица по каждому направлению. Вопросы могут быть не только по работе платформы или условиям конкурса, но и по медицине.
Сделали стресс-тестирование платформы, имитировав нагрузку в 10 раз больше, чем запланировано в дни финальных испытаний. Провели отборочный этап основного конкурса и конкурса-сателлита.
Организовали тренировочные испытания для команд-участниц конкурсов. Каждому участнику система автоматически отправляла результаты испытаний аналогичные тем, которые они получат в рамках финала.
Подготовили платформу к финальным испытаниям конкурса-сателлита AI’m Finder с учетом высокой одномоментной нагрузки.
Вызовы проекта
Неполное техническое задание
Глубинно проработали взаимосвязи ролей, что дало понимание бэкенд-команде о структуре взаимодействия баз данных и модулей системы, облегчило работу фронтенду по синхронизации визуальных сценариев с внутренней логикой.
Неоднородность данных
Университет им. Сеченова предоставил огромный массив данных с эпикризами, но в оригинальных медицинских документах нет единого стандарта. Партнеры из университета универсализировали данные, а мы написали скрипт, чтобы на входе их валидировать.
Кодирование большого массива матданных
Разработали математический аппарат для сравнения результатов участников с эталоном. Формулы предоставили ученые-математики, которые мы переводили на язык программирования.
Строгая конфиденциальность данных
Для сохранности и конфиденциальности данных ограничили действия пользователи разного уровня только в рамках своей задачи. Для защиты от массовых ddos-атак закрыли внешний доступ к базе данных.
Проведение конкурса
14 ноября 2023 состоялся финал конкурса-сателлита AI’m Finder, который проходил в прямом эфире в течение 2 часов. Финалисты одновременно определяли симптомы для каждого тестового пациента с помощью разработанных ИИ-систем. На это им отводилась всего 1 минута. Платформа сравнивала, насколько разметка симптомов от ИИ близка к результату врача.
В рамках финальных испытаний мы обеспечили работоспособность платформы и ее отказоустойчивость:
участники беспрепятственно раз в минуту все одновременно получали файлы для работы;
принимали и фиксировали ответы участников;
на лидерборде в прямом эфире без обновления страницы отображали прогресс по каждой команде-участнику;
оперативно реагировали на любые ситуации.
Результаты
С нуля разработали highload-платформу для выбора наилучшего решения на основе ИИ для определения симптомов по набору объективных данных и клинических исследований, а также определению заключительного клинического диагноза.
Помогли сформировать уникальные датасеты, на которых уже обучаются отечественные ИИ-системы по первичной диагностике заболеваний и в дальнейшем станут основой системы поддержки принятия врачебных решений. В итоге это значительно улучшит качество медицинского обслуживания миллионов россиян, в том числе в отдаленных регионах.
На этом проекте помог опыт управления большой командой и отлаженное взаимодействие с клиентом
6 месяцев
от утверждения дизайна до запуска платформы
3 851 эпикриз
загрузили в систему для обработки медэкспертами
8 ЛК
разработали для разных ролей на платформе
100 минут
бесперебойной работы в финале AI’m Finder
Команда
Полина Герасимова
Менеджер проекта
Павел Воробьев
Руководитель фронтенд-направления
Петр Кленкин
Бэкенд-тимлид
Евгений Терещенко
Руководитель отдела бизнес-аналитиков
2 бэкенд-разработчика
Фронтенд-разработчик
2 QA-инженера
DevOps-инженер
2 UX/UI-дизайнера
Клиент о нас
С командой «Вебпрактик» сотрудничаем уже не в первый раз. Каждый наш совместный проект обладает уникальными особенностями. Разработка платформы для проведения конкурса AI’m Doctor не является исключением. Это масштабный и технически сложный проект, который должен учитывать медицинскую специфику.
Наш партнер подошел к вопросу реализации платформы с особой тщательностью, вниманием к деталям и открытостью к обратной связи на протяжении всего процесса разработки. При проектировании новой платформы «Вебпрактик» учли опыт разработки платформы для конкурса ПРО//ЧТЕНИЕ: команда помогла нам с экспертизой в проектировании архитектуры, разработке новых утилит и формировании датасетов. Спасибо команде «Вебпрактик» за профессиональный подход к решению технологически сложных задач!»
Команда Технологических конкурсов НТИ Up Great
