Сегодня искусственный интеллект способен распознавать не только слова, но и графические изображения. Описание разнородного набора графических данных в терминах человеческих понятий в свою очередь позволяет:

семантически описывать изображения;
автоматически тегировать изображения;
осуществлять поиск и ранжирование изображений.
Как работает
Основная задача ядра системы – преобразовать изображения в описания, с которыми далее может работать искусственный интеллект. Именно эти описания позволяют системе искать, распознавать, анализировать содержание изображений, тегировать их и выполнять другие задачи, поставленные пользователем.

Процесс анализа изображения состоит из нескольких этапов. На первом происходит первичная обработка и подготовка изображения к работе, внесение его в базу данных. Далее изображение попадает на конвейер с обработчиками, где и происходит основной анализ изображения. Для этого используются динамически подключаемые модули сегментации, детекции, классификации, наделения свойствами и пространственными отношениями. Некоторые из модулей действуют независимо друг от друга, другие - запускаются в строгой последовательности и работают в комплексе.

Модули-обработчики содержат определенную предобработку (преобразование размеров и цветов, гармонизация гистограммы, уменьшение цветности и т.д.). После этого начинается работа алгоритмов Computer Vision или Machine Learning. Результатом работы является унифицированный для всех проектов граф "Вещь-Свойство-Отношение" (VSO).

Результаты обработки заносятся в базу данных для дальнейшей работы.

Какие задачи решает
Ядро системы позволяет описывать содержимое картинок по следующим критериям:

распознавание и различение лиц;
определение сцен и жанров (портрет, природа, лес, город, тексты);
оценка качества (четкость и цветность);
определение текста и распознавание его;
обработка данных из exif: координаты, дату, параметры съемки;
нахождение дубликатов.