Нейросетевые детекторы объектов дорожной инфраструктуры
Десять CV-детекторов для цифровых двойников ДТИ: светофоры, знаки, тротуары, малые архитектурные формы и другие объекты — с контролем состояния в реальном времени.
Компания «Цифровые дороги» специализируется на пространственных измерениях и контроле состояния объектов городской и промышленной инфраструктуры в режиме реального времени. Для «Наносемантики» это проект о том, как превратить поток панорам с мобильных лабораторий в устойчивое распознавание элементов дорожной сети — основу цифровых двойников и мониторинга ДТИ.
Контекст и постановка
Заказчику нужны детекторы объектов дорожной инфраструктуры на базе ИИ — не разовая модель «на демо», а набор согласованных модулей, которые можно встроить в продукт и масштабировать на разные классы объектов.
Задача: разработать детекторы для создания цифровых двойников, способных отслеживать состояние светофоров, знаков, тротуаров и других элементов дорожной сети. Данные поступают с шести камер мобильных лабораторий; каждый класс объектов — своя геометрия, масштаб и типичные ошибки съёмки.
Проект рассчитан на длительный цикл: почти два года от постановки до финального приёмочного тестирования с метриками, зафиксированными в ТЗ заказчика.
Что сделали
Разработали программное обеспечение на основе компьютерного зрения и машинного обучения. Создали десять детекторов для разных классов: малые архитектурные формы, ворота, шлагбаумы, дорожные тумбы и другие объекты инфраструктуры.
Для каждого класса подобрали и реализовали алгоритм с балансом точности и скорости inference. Сформировали обучающие и валидационные датасеты из тысяч изображений с шести камер мобильных лабораторий; партнёром по разметке данных для обучения выступила компания «Геодата».
Отдельный фокус — мелкие объекты, где ошибка дороже: светоотражатели, камеры видеофиксации. Здесь потребовались тщательный препроцессинг, контроль качества разметки и подбор архитектур моделей под малый размер bbox на панораме.
Результат
Итог — ПО с десятью детекторами дорожной инфраструктуры, обученными на более чем 77 тысячах изображений. Скорость обработки на финальном контуре: 3 bps на батче из 6 изображений (18 fps суммарно по потоку).
На финальном тестировании все детекторы соответствовали метрикам заказчика: box mAP — 0,55, mask mAP — 0,48, F1 — 0,83.
Решение позволяет отслеживать состояние объектов ДТИ в продуктовом контуре «Цифровых дорог» — для управления движением, актуализации цифровых двойников и более безопасной городской среды для водителей и пешеходов.