CC BY
2Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
Нейронные технологии распознавания и классификация степени раскрытия хлопковых коробочек
Улжаев Эркин
Доктор технических наук, профессор, кафедры обработки информации и систем управления Ташкентского государственного технического университета имени Ислама Каримова, Ташкент, Узбекистан, e-mail: e.uljaev@mail.ru
Убайдуллаев Уткиржон
PhD, доцент кафедры обработки информации и систем управления Ташкентского государственного технического университета имени Ислама Каримова, Ташкент, Узбекистан, e-mail: utkir2005@mail.ru
Абдулхамидов Азизжон
Докторант, кафедры обработки информации и систем управления Ташкентского государственного технического университета имени Ислама Каримова,
Ташкент, Узбекистан, e-mail: azex_91@mail.ru
Аннотация. В данной статье предложен усовершенствованный алгоритм обнаружения, подсчета, отслеживания и классификации хлопковых коробочек по степени раскрытия хлопка на изображениях дефолиированных растений. Алгоритм основан на использовании модели YOLOv8 и цветовой сегментации для обнаружения коробочек в алгоритме Лукаса-Канаде. Этот алгоритм проводится с целью отслеживания их перемещения и преобразовании изображений для восстановления их позиции на следующих кадрах. При этом для повышения точности обнаружения используется ансамблевый подход, объединяющий результаты цветовой сегментации, оптического потока и метода преобразования изображения. Эффективность предложенного алгоритма сравнивается с пятью другими алгоритмами обработки изображений из библиотеки OpenCV, и результаты показывают его превосходство по точности и скорости. Эти параметры считается очень важными для сбора урожая и требуют надежного определения степени раскрытия коробочек в реальном времени, чтобы уменьшить задержку между обнаружением и отправкой управляющего сигнала на исполнительный механизм для управления работой гидроцилиндра, установленный на уборочном аппарате. В связи с этим основной целью данного исследования является оперативное и точное обнаружение, подсчет, отслеживание и классификация степени раскрытия хлопковых коробочек.
Ключевые слова. Распознавание образов, классификация, машинное обучение, нейронные сети, YOLO, TensorFlow, CSRT, KCF, MedianFlow, MIL, MOSSE, хлопковая коробочка.
Введение. Сельское хозяйство считается одной из важнейших отраслей мировой экономики. Современное сельское хозяйство сталкивается с вызовами, связанными с повышением производительности, улучшением качества
продукции и оптимизацией процессов производства. Применение передовых технологий, таких как нейронные сети [1] и компьютерное зрение [2], становится необходимостью для
69
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 1 | 2024 year Том: 1 | Выпуск: 1 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
достижения эффективности и
конкурентоспособности, этой отрасли.
Одной из ключевых задач в сельском хозяйстве является мониторинг и управление урожаем [3], включая определение оптимального времени сбора [4] продукции. Хлопковая коробочка - это важный элемент хлопковых растений, и ее состояние (степень раскрытия) может служить важным показателем готовности к сбору урожая. Однако, визуальное обнаружение и классификация хлопковых коробочек на изображениях дефолиированных растений является сложной задачей из-за различий в текстуре и окружающей среде.
В данной работе постараемся показать возможность применения усовершенствованного алгоритма обнаружения, подсчета и отслеживания хлопковых коробочек на изображениях дефолиированных растений с использованием современных нейронных технологий. Аналогичное исследование с использованием технологий глубокого обучения для обнаружения коробочек хлопка проводилось ранее [5-11]. Оказалось, что оно превосходит большинство существующих алгоритмов классификации коробочек хлопка. Однако в этом подходе для семантической сегментации использовался более медленный алгоритм, называемый глубокой сверточной нейронной сетью. Предлагаемый подход основан на интеграции модели УОЬОуБ, цветовой сегментации и алгоритма Лукаса-Канаде для обнаружения, классификации и отслеживания коробочек, а также на ансамблевом подходе для улучшения точности и скорости работы системы. Этот алгоритм получил название СгорБохСоиПе.
Данное исследование имеет значимое значение для сельскохозяйственной отрасли, предлагая усовершенствованный алгоритм автоматизации процесса мониторинга урожая, который может привести к повышению эффективности производства и снижению операционных затрат. Результаты исследования могут быть полезными как для научного
сообщества, так и для практического применения в сельском хозяйстве.
Методология. Предложенный алгоритм основан на использовании нейронных сетей для обнаружения объектов на изображениях. В частности, для задачи обнаружения и классификации хлопковых коробочек [12, 13] была выбрана модель YOLOv8, которая позволяет эффективно работать в режиме реального времени. YOLO (You Only Look Once) представляет собой быструю и точную модель для обнаружения объектов на изображениях, что делает её идеальным выбором для решения нашей задачи, требующей реального времени [14] выполнения.
В связи с тем, что YOLO может допускать ошибки и недостаточно точно определяет границы объектов, требуется дополнительное
использование цветовой сегментации для повышения точного обнаружения раскрытия коробочек. Предложенный алгоритм позволяет более явно выделить хлопковые коробочки на изображениях и уменьшить количество ложных данных (результатов).
После обнаружения объектов на первом кадре используется алгоритм Лукаса-Канаде для отслеживания их перемещения на последующих кадрах. Этот алгоритм предоставляет информацию о векторе смещения объектов между кадрами, что позволяет эффективно отслеживать их движение [15, 16].
Для улучшения точности и скорости обнаружения [17, 18], предлагаем объединить результаты YOLO, цветовой сегментации и алгоритма Лукаса-Канаде с помощью ансамблевого подхода [1, 11]. Это позволяет сократить количество ложных срабатываний и повысить устойчивость работы системы.
Для сравнения предложенного алгоритма с другими алгоритмами обработки изображений можно использовать следующие алгоритмы:
Алгоритм 1. CSRT (Channel and Spatial Reliability Tracking) — данный алгоритм
70
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 1 | 2024 year Том: 1 | Выпуск: 1 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
использует регрессию для отслеживания объектов. Он основан на идее, что форма объекта остается постоянной на протяжении всего времени;
Алгоритм 2. KCF (Kernelized Correlation Filter) — данный алгоритм, построен на фильтрах корреляции и представляет собой обобщение фильтра корреляции с использованием ядра, что позволяет увеличить точность и стабильность детектора что улучшает свою производительность. Он работает путем нахождения параметров фильтра, которые максимизирует корреляцию между объектом и его шаблоном;
Алгоритм 3. MedianFlow — этот алгоритм слежения, основан на слежения объекта в оптическом потоке. Он использует медианный фильтр для определения движения объектов и их фона;
Алгоритм 4. MIL (Multiple-Instance Learning) — это подход к обучению, который работает с наборами данных, где каждый пример представляет собой "мешок", содержащий несколько экземпляров коробок. Цель состоит в том, чтобы научиться классифицировать мешки на основе их содержимых;
Алгоритм 5. MOSSE (Minimum Output Sum of Squared Error) — это алгоритм отслеживания, основанный на методе наименьших квадратов. Он использует квадратичную функцию потерь, чтобы минимизировать ошибку между прогнозируемым и реальным положением объекта;
Выше представленные алгоритмы представляют лишь небольшую часть возможностей OpenCV и могут использоваться для различных задач обработки изображений [19, 20], включая обнаружение объектов, сегментацию, фильтрацию и анализ изображений. Все эти алгоритмы имеют недостатки, связанными с неточностью обнаружения, задержкой времени обнаружения, выдачи данных и т.д. Для оптимизации решения данной проблемы требуется проведение модернизации или разработка новых подходов (алгоритмов), которые рассмотрим ниже.
Методика решения задачи. Задача распознавания и классификации хлопковых коробочек является [21] актуальной проблемой в области автоматизации сельского хозяйства и промышленности. Для решения этой задачи используется современная технология, такая как YOLO v8. Этот процесс связан с обучением моделей для распознавания и классификации объектов и включает в себя несколько этапов.
Предложенный алгоритм CropBoxCounte (Алгоритм 6) - основан на применение алгоритмов для обнаружения, подсчета и отслеживания коробочек хлопка с использованием современных нейротехнологических подходов. Этот алгоритм основан на интеграции модели YOLO v8, цветовом разделении и алгоритме Лукаса-Канады для обнаружения, классификации и сопровождения коробочек, а также на ансамблевом подходе для повышения точности и производительности системы.
Рассмотрим процесс обучения модели для распознавания и классификации раскрытия хлопковых коробочек с применением нейронных технологии, который охватывает и требует выполнения нескольких этапов:
1 - Этап. Экспериментальная установка (набор обучающих данных). Для проведения эксперимента были выбраны исходные данные, условия эксплуатации и другие технические требования описанные ниже. Эксперимент был проведен в полевых условий (Рис. 1). Хлопкоуборочная машина с видеокамерами [22], движущаяся со скоростью менее 4 км/час. Снимки растений делались с разрешением 720 пикселей, скоростью 30 снимков в секунду, на высоте 1,5 метра над землей. Видеокамера имела диафрагму f/2.8 и объектив с разрешением 5 мегапикселей.
71
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 1 | 2024 year Том: 1 | Выпуск: 1 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
Рис. 1. Хлопкоуборочная машина с установленными видеокамерами на хлопковом поле.
Чтобы собрать больше обучающих изображений съемки снимались в двух вариантах:
1. Видеокамера была наклонена (вниз) под углом 90 градусов;
2. Под углом 45 градусов (Рис. 2).
Рис. 2. Вид экспериментальной установки 2- система технического зрения; 3 - электронный блок; 11 - гидроцилиндр, установленный на уборочный аппарат.
Для получение изображений с разных углов и сочетания изображений различных видеокамер (Рис. 3), а также для повышения надежности обнаружения использовался разработанный алгоритм. Более того, разрешение изображений (360 пикселей, 720 пикселей и 1080 пикселей) устанавливалось изменением настроек
видеокамеры.
Рис. 3. Хлопковое поле для проведения обучения модели.
2 - Этап. Процесс проведения сбора, обработки данных. Для выполнения данной операции была собрана система обработки и извлечения изображений. При этом видео с видеокамеры были перенесены на компьютер Acer Nitro 5 AN515-42 (графика NVIDIA GeForce GTX 1650 4 ГБ с процессором AMD Ryzen 5 3550H 2100 МГц) с установленной операционной системы Windows. Изображения, полученные с помощью других видеокамер, также были перенесены на рабочий стол компьютера, на котором была установлена платформа TensorFlow. Данные обучения и данные тестирования были загружены в компьютер для обработки и извлечения изображений.
3 - Этап. Процедура обучения и тестирования данных. Данное видео нами использовалось для обучения модели, а другое видео - для её тестирования. В общей сложности было создано 760 обучающих изображений с 14 307 коробками. При этом разрешение изображений варьировалось от 360 пикселей до 1080 пикселей. Разнообразие качества изображений позволяет модели свёрточной нейронной сети изучать различные проблемы, связанные с размером изображений. Кроме того, изображения были сняты в разное время суток: утром, днем и вечером [1, 2]. Изображения снятые в полдень были исключены, с целью избежание бликов на изображениях из-за отражений от белых (шумов) коробочек хлопка. Некоторые утренние и дневные
72
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 1 | 2024 year Том: 1 | Выпуск: 1 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
изображения были затемнены для создания тени и усложнения задачи. Модель достигла точности 94.4% после 2000 эпох (таблица 1).
4 - Этап. Обнаружение степени раскрытия коробочек хлопка. Нами была создана программа [23], использующая модель для обнаружения и классификации коробочек хлопка в зависимости от степени их раскрытия. YOLOv8 предсказывает вероятность от 0 до 100% для каждой обнаруженной коробочки хлопка. Алгоритм настраивается на следующие случаи:
- для обнаружении коробочки, если их число в выбранном участке превышает 50% доступной памяти;
- для обнаружении коробочки, если их число в выбранном участке составляет 40% доступной памяти.
Такие требования не допускает перегруженности системы из-за проблемы с нехваткой памяти, в то же время имеется достаточная память для быстрого прогнозирования во время выполнения других задач.
После предсказания модели, программное обеспечение, с помощью алгоритма цветной сегментации [11], отличая цвет хлопка от фона, проверяет является ли обнаруженный объект белым хлопком или нет. Этот процесс состоит из четырех шагов: 1) сбор изображения; 2) разделение каждого канала RGB изображения с использованием цветового порога RGB; 3) маскировка белых компонентов (цветовой порог красного канала все значения цветов установлен на 150, остальные все значения цветов - выше 170); 4) подтверждение обнаружения.
5 - Этап. Обнаружение полезных функций для отслеживания. Для обнаружения "Хороших функций отслеживания" используется метод OpenCV "GoodFeaturesToTrack". Этот метод способен найти крайние точки коробочек, чтобы их можно было точно отследить (обнаружить) (Рис. 4). Он принимает изображение коробочки и ее маски, чтобы убедиться, что система действительно видит только коробочку [24] и окружающие ее края для поиска хороших функций
отслеживания. Эти функции используются трекером для определения следующего положения коробочки на изображении.
Рис. 4. Обнаруженная коробочка хлопка, которая будет сегментирована по цвету для получения краев коробочки (выделены красным).
6 - Этап. Отслеживание коробочки и его особенности. Признаки обнаружения коробочек рассчитываются с использованием алгоритма оптического потока Лукаса-Канады,
реализованного в ОрепСУ. При этом используются только те точки, которые были успешно отслежены, для построения следующей траектории объекта. Если какая-либо из точек не была вычислена, она передаётся для проведения расчёта с использованием томографического способа преобразования. Здесь обнаружение коробочек хлопка осуществляется с использованием алгоритма оптического потока. Преобразование изображения достигается путём нахождения матрицы [25] перспективного преобразования изображения 3x3 с использованием ОрепСУ метода "findHomography". Точки с хорошим статусом в методе Лукаса-Канады используются для расчета матрицы гомографии. С использованием предыдущего кадра, текущего кадра и метода ЯАКБЛС получается матрица преобразования (Н). Эта матрица используется для преобразования ограничительных рамок и
73
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
отслеживаемых объектов. Коробки, которые перекрывают друг друга, отслеживаются с помощью матрицы преобразования, это связан с возможностью перекрывания коробки, что приводит к утере полезных свойств, отслеживаемой объекта. Таким образом, система будет принудительно отображать
ограничивающую рамку даже если она не уверена в наличии коробки. Ограничивающая рамка должна быть отброшена, если коробка не была обнаружена в течение пяти последовательных кадров. Увеличение количества последовательных кадров может улучшить результаты, но это также может замедлить работу модели, так как в этом случае сверху с камеры часто происходит наложение объектов. На (Рис. 5) линии обозначают треклеты, то есть путь, по которому коробочки были обнаружены в разных кадрах. Треклетами показаны отслеживаемые коробки,
демонстрирующими первых и последующих обнаруженных коробочек.
Рис. 5. Отслеживание коробочек хлопка.
Этот подход может быть использован для автоматизации процесса [26-30] сбора и обработки хлопка, что может привести к повышению эффективности работы в сельском хозяйстве и промышленности. Однако, необходимо учитывать, что точность модели может снижаться в условиях изменения внешних факторов, таких как освещение или погодные условия. В связи с этим в дальнейших работах необходимо продолжать исследования в этой области, чтобы улучшить
точность моделей и сделать их более устойчивыми к таким изменениям.
7 - Этап. Методика проведения экспериментов и анализ результатов исследования. Для оценки производительности модели [31] проведены исследования и рассчитаны восемь параметров для каждого алгоритма. При этом встроенной системой проведены измерения скорости обработки кадров (количество кадров в секунду). Далее собрано количество подсчитанных коробочек и оценивалось общее количество обработанных каждой моделью кадров. Затем ручным способам, были собраны данные для сбора: верно определенных результатов (TP), ложно определенных результатов (FP) и ложно пропущенных результатов (FN). При этом для каждого видеокадра из выборки было подсчитано и оценено общее количество TP, FP и FN. Далее были определены чувствительность (полнота), точность, Fl-мера и прецизионность алгоритмов [7, 32].
Precision (точность) — это метрика, которая представляет собой долю верно
классифицированных положительных примеров среди всех примеров, классифицированных моделей как положительные. Формулу Precision метрики можно записать в следующим виде:
TP
precision =-;
TP + FP
Recall (полнота) — это метрика, которая представляет собой долю верно
классифицированных положительных примеров среди всех истинно положительных примеров. Формула для Recall имеет следующий вид: TP
recall =-;
TP + FN
FlScore (F-мера) — это метрика, которая объединяет полноту и точность для получения единой величины, которая показывает суммарную производительность алгоритма. Формулу для FlScore можно записать в следующим виде: 2 * precision * recall
FlScore=
precision + recall
74
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 1 | 2024 year Том: 1 | Выпуск: 1 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
Accuracy (точность классификации) — это метрика, которая представляет собой долю правильно классифицированных примеров среди всех примеров. Формула для Accuracy приведена ниже:
TP + TN
Accuracy =-.
TP + TN + FP + FN
Для вычисления формул Precision, Recall и Accuracy необходимо иметь данные о результатах TP, FP, FN, TN.
Во время проведения тестирование обученной модели на множестве образцов исследовали скорость работы YOLOv8 и его точность. Для этого запускали модель, которая в результате обработки выдает прогнозы для каждого тестового образца. В таблице 1 представлены полученные результаты работы YOLOv8 для каждого образца и средняя частота кадров в секунду. В результате, исследования установлено, что средняя точность YOLOv8 достигла 75,3, а скорость обработки - 5,7 кадров в секунду. Несмотря на то что было пропущено много коробочек хлопчатника со специфичностью 75,6. YOLOv8 показал высокую точность обработки - 99,6, которая свидетельствует о хорошей обучаемости модели идентификации коробочек.
« и 35 « H 2 а W TP FP FN Sensitivity (%) ) % ty w « S w ) % a is *5 e « и о и S T3 e e
S < CM m
Первый 286 0 96 74.9 74.9 100 0.86 5.6
Второй 410 3 126 76.5 76.1 99.3 0.86 5.8
Третий 385 2 126 75.3 75.0 99.5 0.86 5.8
Среднее 75.6 75.3 99.6 0.9 5.7
Стандартное отклонение 0.7 0.5 0.3 0.0 0.1
Таблица 1. Прогнозы YOLOv8 для каждого испытания.
Целью проведения исследования эксперимента было: повысить точность с 75,6% и при неизменной скорости обработки 5,7 кадров в секунду. Результат достигли путём обнаружения кадров только через определенные промежутки времени и в результате отслеживания по следующих кадров. В таблицах 2, 3 и 4 приведён результаты тестов для всех алгоритмов отслеживания и были определены параметры (чувствительность, точность, специфичность и F1-мера).
Таблицы содержат результаты каждого теста. В первом тесте просмотрено 605 кадров, во втором - 727 кадров, а в третьем - 672 кадров. При этом установлено, что из-за проблем с памятью Алгоритмы Boosting, Goturn и TLD не смогли обработать изображения. Недостатками этих алгоритмов были следующее: низкие скорости обработки кадров (меньше 200 кадров), и низкие надёжности работы. Таблицы 2, 3 и 4 показывают общее количество значений TP, FP и FN для 24 изображений, которые были проанализированы для каждого алгоритма.
2 ) % ) % ) %
s H и a о u л < TP FP FN y vii tii is n e m ty и « S и и < s is *5 e o. F1Score Speed(fps) Count (%)
Алг.1 352 0 30 92.1 92.1 100.0 0.96 0.7 100.0
Алг.2 333 16 49 87.2 83.7 95.4 0.91 2.2 53.4
Алг.3 346 10 36 90.6 88.3 97.2 0.94 3.6 98.5
Алг.4 347 8 35 90.8 89.0 97.7 0.94 0.2 84.7
Алг.5 334 16 48 87.4 83.9 95.4 0.91 8.1 57.3
Алг.6 359 0 23 94.0 94.0 100.0 0.97 7.5 95.4
Таблица 2. Результаты первого пробного эксперимента.
В Таблице 2 представлено первое видео, снятое камерой, которая двигалась быстрее, чем второй и третьей испытании. Для прохождения дистанцию 5 метров в первом, втором и третьем
75
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
проходах потребовалось 43, 57 и 51 секунда, соответственно. В ходе испытания установлено, что наименьшая скорость движения камеры была во время второго испытания.
Во втором испытании между 104 и 584 кадрами было обнаружено больше коробок, чем в первом и третьем испытаниях. В первом испытании, при относительно большей скорости, предложенный алгоритм (алгоритм 6) показывает хорошие результаты по отношению ко вторым алгоритмам имеющий более высокую наибольшей скорость. Но в таблице 2, алгоритм 6 уступает алгоритму 1 в подсчете количества коробок хлопка. Однако, подсчет коробок хлопка в алгоритм 6 в таблице 3 с относительно большой скоростью превосходит алгоритм 1, но не в отношении чувствительности и точности. Это связана, с тем, что здесь использован чистый алгоритм Лукаса -Канаде, последний алгоритм позволяет точно определить медленно движущиеся объекты (кадры). Несмотря на это, чувствительность и точность 6-го алгоритма близки к показаниям 1-го алгоритма.
2 0s 0s 0s
s н и а о U л < TP FP FN ^ '-М '¡л Я V ITS и « S и и < a '¡Л *5 o. « и о и S fa Speed(fps) Count (%)
Алг.1 518 2 18 96.6 96.3 99.6 0.98 0.6 99.2
Алг.2 495 24 41 92.4 88.4 95.4 0.94 1.9 74.8
Алг.3 490 3 46 91.4 90.9 99.4 0.95 3.1 96.2
Алг.4 510 2 26 95.1 94.8 99.6 0.97 0.2 94.7
Алг.5 485 24 51 90.5 86.6 95.3 0.93 7.7 73.3
Алг.6 505 0 31 94.2 94.2 100 0.97 7.8 101
Таблица 3. Результаты второго пробного эксперимента.
2 %) ) % ) %
s H и а о u л < TP FP FN £ '-М '¡л n e ITS W a u w и < a '¡Л *5 e o. FIScore Speed(fps) Count (%)
Алг.1 491 3 20 96.1 95.5 99.4 0.98 0.6 105
Алг.2 465 14 46 91.0 88.6 97.1 0.94 1.8 65.6
Алг.3 487 14 24 95.3 92.8 97.2 0.96 3.1 105
Алг.4 484 11 27 94.7 92.7 97.8 0.96 0.2 87.0
Алг.5 426 12 85 83.4 81.5 97.3 0.90 7.5 71.0
Алг.6 486 0 25 95.1 95.1 100 0.97 7.6 96.2
Таблица 4. Результаты третьего пробного эксперимента.
В то же время алгоритм 5 была самая высокая средняя скорость (7.8 кадра в секунду), а у алгоритма 6 была вторая по величине частоты кадров (7.6 кадра в секунду), и на неё не влияло количество обрабатываемых кадров, по сравнению с алгоритмом 5, который работал медленнее, когда количество кадров увеличивалось (таблица 5). У алгоритма 2, алгоритма 4 и алгоритма 5 в таблицах часто была низкая точность (таблица 5), что обычно вызвано неправильными оценками слежения, так как точность УОЬОу8 была 99.6%. Хороший следящий алгоритм должен улучшить точность, как это сделали алгоритм 6 (100.0%) и алгоритм 1 (99.7%). Из-за морфологии коробочек хлопка, при обнаружении коробочек может быть обнаружено две или больше коробочек. Поэтому желательным является число подсчитанных объектов больше 100%, как в случае с ТБРТ (101.3%) (таблица 5).
игоритмы g £ a 2 u « S u 2 s '(Я '3 <u и о u VS СЛ A TS <u <u 2 fi 3
< VS < Сч u. VS и
Алг.1 95.0 94.7 99.7 1.0 0.6 101.3
(2.0) (1.8) (0.3) (0.0) (0.0) (2.4)
Алг.2 90.2 86.9 96.0 0.9 2.0 64.6
76
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
(2.2) (2.3) (0.8) (0.0) (0.2) (8.8)
Алг.3 92.4 (2.1) 90.6 (1.8) 97.9 (1.0) 1.0 (0.0) 3.2 (0.2) 99.7 (3.5)
Алг.4 88.2 (1.9) 85.7 (2.4) 96.8 (0.9) 0.9 (0.0) 5.1 (0.0) 76.3 (4.2)
Алг.5 87.1 (2.9) 84.0 (2.1) 96.0 (0.9) 0.9 (0.0) 7.8 (0.3) 67.2 (7.1)
Алг.6 94.4 (0.5) 94.4 (0.5) 100.0 (0.0) 1.0 (0.0) 7.6 (0.1) 97.5 (2.4)
Таблица 5. Среднее и стандартное отклонения (в скобках) трех пробных экспериментов.
Заключение. В результате проведенного исследования разработанный алгоритм системы ансамблевого зрения, позволил обнаруживать, отслеживать, локализовать и считать коробочки хлопка в реальном времени. Алгоритм 6 сочетает в себе глубокое обучение, цветовое сегментирование и преобразование изображения для поиска и отслеживания хлопковых коробочек. Этот алгоритм обеспечивает быстрое и точное отслеживание и подсчет коробочек хлопка с точностью до 94.4% и скоростью обработки в 7.6 кадров в секунду. Из полученных результатов видно, что показатель 6-го алгоритма улучшен по сравнению с детектором УОЬОуБ, чья точность составляет 75.3%, а скорость обработки - 5.7 кадров в секунду.
Алгоритмы 1 и 3 по сравнению с алгоритмом 6 показали более высокие результаты в подсчете коробочек, с точностью 101.3% и 99.7% соответственно, но со значительно меньшей скоростью (0.6 и 3.2 кадра в секунду, соответственно).
Алгоритм 5 был столь же быстрым, как алгоритм 6, однако средняя точность подсчета составила лишь 67.2%. Таким образом, хотя алгоритмы 5 и 1 преуспевают в отдельных показателях, а других основных показателях уступает 6-го алгоритма.
Таким образом, в этой модели мы использовали два универсальных алгоритма
(глубокое обучение и цветовая сегментация) для обнаружения коробочек хлопка, а также еще два алгоритма (Лукаса-Канаде и преобразование гомографии) для их отслеживания. Однако, скорость обработки изображения на компьютере была невысокая из-за ограничений процессора и оперативной памяти.
В настоящие время существует более мощные компьютеры, и мы планируем протестировать выбранную модель и проведения исследования.
Учитывая результатов проведенных исследований для получения рациональных результатов в дальнейших работах необходимо решать следующие задачи:
1. Для обработки данных и повышения точности обработки кадров необходимо использовать мощные компьютеры с высокой скоростью обработки информации.
2. Улучшить алгоритм отслеживания недефолиированных коробочек хлопчатника, открытых, треснутых и незрелых коробочек.
3. Добавить еще одну камеру поближе к нижней части поля, чтобы улучшить отслеживание коробочек на хлопковых растениях с листьями и т.д.
Источники информации
1. Абдулхамидов, А. (2023). Свёрточная нейронная сеть для классификации хлопка по степени раскрытия. Engineering problems and innovations, 1(3), С. 23-34.
2. Абдазимов А., Ульжаев Э., Омонов Н. и Раджабов С. (2014). Применение алгоритмов компьютерного зрения для оценки производительности сборщиков хлопка. Передовой научный журнал. 12 , С. 49-51.
3. Ли Дж., Карки М., Чжан К., Сяо К. и Фэн Т. (2016). Характеристика моделей сбора яблок для роботизированной уборки. Компьютеры и электроника в сельском хозяйстве, 127, С. 633640.
77
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 1 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 1 | 2024 год
4. Ван Хентен, Э.Дж., Ван Туйл, Б.В., Хемминг, Дж., Корнет, Дж.Г., Бонцема, Дж., и Ван Ос, Е.А. (2003). Полевые испытания автономного робота для сбора огурцов. Биосистемная инженерия, 86 (3), С. 305-313.
5. Кумар Н., Белхумер П.Н., Бисвас А., Джейкобс Д.В., Кресс В.Дж., Лопес И.К. и Соарес Дж.В. (2012). Leafsnap: система компьютерного зрения для автоматической идентификации видов растений. В журнале Computer Vision -ECCV 2012: 12-я Европейская конференция по компьютерному зрению, Флоренция, Италия, 7-13 октября 2012 г., Материалы, часть II 12 С. 502-516
6. Барре П., Стёвер БК, Мюллер К.Ф. и Штайнхаге В. (2017). LeafNet: система компьютерного зрения для автоматической идентификации видов растений. Экологическая информатика, 40, С. 50-56.
7. Ферентинос, КП (2018). Модели глубокого обучения для обнаружения и диагностики болезней растений. Компьютеры и электроника в сельском хозяйстве, 145, С. 311-318.
8. Фуэнтес А., Юн С., Ким С.С. и Парк Д.С. (2017). Надежный детектор на основе глубокого обучения для распознавания болезней и вредителей томатов в режиме реального времени. Датчики, 17 (9), 2022.
9. Гензе Н., Бхарти Р., Гриб М., Шультайс С.Дж. и Гримм Д.Г. (2020). Точное обнаружение всходов, прогнозирование и оценка качества трех зерновых культур на основе машинного обучения. Растительные методы, 16 (1), С. 1-11.
10. Гулхане, Вирджиния, и Гурджар, А.А. (2011). Обнаружение болезней на листьях хлопчатника и их возможная диагностика. Международный журнал обработки изображений (IJIP), 5 (5), С. 590-598.
11. Лян, X. (2021). Классификация болезней пятнистости листьев хлопка, основанная на метрическом обучении. Растительные методы, 17, С. 1-11.
12. Абдулхамидов А. Оценки производительности свёрточной нейронной сети для классификации
Ч)
хлопка по степени раскрытия. Журнал «Приборы» 2023. № 9. С. 51-55.
13. Цзян Ю., Ли К. и Патерсон А.Х. (2016). Высокопроизводительное фенотипирование высоты растений хлопчатника с использованием изображений глубины в полевых условиях. Компьютеры и электроника в сельском хозяйстве, 130, С. 57-68.
14. Буланон Д.М., Катаока Т., Окамото Х. и Хата С.И. (август 2004 г.). Разработка системы машинного зрения реального времени для робота, собирающего яблоки. На ежегодной конференции SICE 2004 г. Том 1, С. 595-598.
15. Чжао Ю., Гонг Л., Хуан Ю. и Лю К. (2016). Надежное распознавание томатов для роботизированной уборки урожая с использованием слияния изображений. Датчики, 16 (2), С. 173.
16. Хаяси С., Ямамото С., Сайто С., Отиаи Ю., Камата Дж., Курита М. и Ямамото К. (2014). Полевая эксплуатация передвижного робота-сборщика клубники с использованием передвижной платформы. Ежеквартальный журнал сельскохозяйственных исследований Японии: JARQ, 48 (3), С. 307-316.
17. Камилов, М. М., Мирзаев, Н. М., & Раджабов, С. С. (2009). Современное состояние вопросов построения моделей алгоритмов распознавания. Химическая технология. Контроль и управление, 2, С. 67-72.
18. Камилов, М. М., Фазылов, Ш. Х., Мирзаев, Н. М., & Раджабов, С. С. (2020). Модели алгоритмов распознавания, основанных на оценке взаимосвязанности признаков. Ташкент: Фан ва технология.
19. Ровира-Мас Ф., Чжан К., Рид Дж. Ф. и Уилл Дж. Д. (2005). Алгоритм машинного зрения на основе преобразования Хафа для обнаружения рядов сельскохозяйственных культур автоматизированной сельскохозяйственной машины. Труды Института инженеров-механиков, Часть D: Журнал автомобильной техники, 219 (8), С. 999-1010.
78
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 1 | 2024 year Том: 1 | Выпуск: 1 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 1 | 2024-yil
20. Рубли Э., Рабо В., Конолиге К. и Брадски Г. (ноябрь 2011 г.). ORB: эффективная альтернатива SIFT или SURF. В 2011 г. Международная конференция по компьютерному зрению С. 2564-2571.
21. Ульжаев Эркин, Абдулхамидов Азизжон, Убайдуллаев Уткиржон Сверточная нейронная сеть для классификации степени открытия хлопковой коробочки // Аль-Фаргоний авлодлари. 2023. №4. URL: https://cyberleninka.ru/article/n/a-convolutional-neural-network-for-classification-cotton-boll-opening-grade (дата обращения: 19.12.2023).
22. Азизжон А. и Эркин У. (сентябрь 2022 г.). Выбор камеры для распознавания хлопка-сырца и анализа его основных параметров. В 2022 году Международная конференция по информационным наукам и коммуникационным технологиям (ICISCT) С. 1-4.
23. Абдулхамидов А., Улжаев Э. Определение степени раскрытности хлопкового сырья с помощью технического зрения. Зарегистрирован в Государственном реестре программных продуктов Республики Узбекистан № DGU 23492, 18.03.2023 - год.
24. Луо Л., Тан Ю., Цзоу Х., Е М., Фэн В. и Ли Г. (2016). Извлечение пространственной информации на основе зрения в гроздьях винограда для роботов-уборщиков. Биосистемная инженерия, 151, С. 90-104.
25. Улжаев Э., Абдулхамидов А. Преобразование видеоизображения в матрицу, оценка и выбор качественных алгоритмов. Журнал «Приборы» 2023. № 6. С. 21-25.
26. Улжаев, Э., Абдазимов, А. Д., Равутов, Ш. Т., & Тулбаев, Ф. А. (2011). Микропроцессорная система контроля и регулирования рабочей щели хлопкоуборочного аппарата. Узбекский журнал «Проблемы информатики и энергетики, (5), С. 48-52.
27. Ульжаев Э., Удабыдуллаев УМ, Абдулхамидов А.А., Эркинов Мастер С.М. (2021). Анализ и выбор методов и датчиков для контроля
ширины рабочей щели урожайного устройства ср. Технические науки и инновации, 2021 (3), С. 207-216.
28. Улжаев Э., Убайдуллаев У., Абдулхамидов А. Анализ современного состояния автоматизации контроля и регулирования ширины рабочих щелей уборочного аппарата хлопкоуборочной машины с вертикальным шпинделем. Международной научно-практической конференции «Вызовы науки сегодня». Вашингтон США 4-5 апреля 2021 г. № 48. С. 977-989.
29. Ван М., Вэй Дж., Юань Дж. и Сюй К. (июнь 2008 г.). Исследование интеллектуального робота-сборщика хлопка на основе машинного зрения. В 2008 г. Международная конференция по информатике и автоматизации С. 800-803.
30. Улжаев Э., Абдулхамидов А. Измерение ширины кустов хлопчатника с применением технического зрения и математического обоснования, Научно-технический журнал Ферганского политехнического института, 2023 спец. выпуск №2, стр. 248-251.
31. Бак, К.В., Хемминг, Дж., Ван Туйл, ВЛ1, Барт, Р., Вайс, Э., и ван Хентен, Э.Дж. (2017). Оценка производительности робота-уборщика сладкого перца. Журнал полевой робототехники, 34 (6), С. 1123-1139.
32. Мирзаев, Н. М., Раджабов, С. С., & Жумаев, Т. С. (2008). О параметризации моделей алгоритмов распознавания, основанных на оценке взаимосвязанности признаков. Проблемы информатики и энергетики, (2-3), С. 23-27.
79
