CC BY
58Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 4 | 2023-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 4 | 2023 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 4 | 2023 год
САМООБУЧЕНИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА, БАЗОВЫЕ ПРИНЦИПЫ РАБОТЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТ НА ПРОСТОМ ПРИМЕРЕ
Садикова М.А.,
Ферганский филиал ТУИТ имени Мухаммада аль-Хорезмий, старший преподаватель кафедры «Программный инжиниринг и цифровая экономика»
sadmunira77@gmail. com
Авазова Н.К,
студентка 3 курса факультета «Программный инжиниринг и цифровая экономика» nancy.av21111@gmail.com
Аннотация: Статья представляет всесторонний обзор современных концепций, методов и важности самообучения для развития ИИ. Начиная с определения и технических аспектов самообучения, статья проходит через основные преимущества и вызовы этого подхода, обращая внимание на эффективные стратегии управления ограничениями. Также проводим исследование, которая освещает базовые принципы работы нейронной сети. Результаты обучения модели отображены в изменении точности на обучающих и тестовых данных в каждой эпохе, что позволяет оценить производительность модели и выявить требуемые улучшения для повышения её эффективности.
Ключевые слова: Искусственный интеллект, машинное обучение, самообучение, интеллектуальные системы, автономная навигация, переобучение, стабильные алгоритмы, базовые принципы, нейронные сети, вероятные метрики, набор данных М№3, гиперпараметры. глубокое обучение, валидация модели
Введение. Самообучение в контексте искусственного интеллекта представляет собой способность алгоритмов или моделей машинного обучения улучшать свою производительность без явного программирования. Это процесс, при котором система способна адаптироваться к новым данным, извлекать закономерности и строить предсказания без прямого вмешательства человека. Самообучение включает в себя способность алгоритмов "обучаться" на основе опыта, что делает его ключевым элементом в эволюции искусственного интеллекта. Это играет решающую роль в развитии искусственного интеллекта. Эта способность позволяет системам адаптироваться к изменяющимся условиям, совершенствовать свои алгоритмы и улучшать эффективность работы без постоянного вмешательства специалистов. Это открывает двери для более гибких и интеллектуальных приложений ИИ в различных
сферах, от медицины и автономной навигации до финансов и науки.
Литературный обзор и методология. Преимущества самообучения для искусственного интеллекта очень значительны. Этот процесс позволяет ИИ стать более гибким, адаптивным и способным к эволюции. Основные преимущества включают возможность обучения на основе новых данных без перепрограммирования, способность обнаруживать новые закономерности и паттерны в данных, а также улучшение производительности системы во времени без вмешательства человека. Несмотря на многочисленные преимущества, самообучение ИИ также сопряжено с вызовами и ограничениями. Переобучение - одна из основных проблем, когда модель слишком сильно "запоминает" обучающие данные и теряет способность обобщения на новые данные. Нестабильность происходит из-за изменчивости в данных или окружающей среде, что может
246
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 4 | 2023 year Том: 1 | Выпуск: 4 | 2023 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 4 | 2023-yil
привести к потере актуальности обучения. Кроме того, требования к вычислительной мощности для эффективного самообучения могут быть огромными. Существуют различные стратегии и методы для управления вызовами самообучения. Это включает в себя методы регуляризации для предотвращения переобучения, разработку стабильных алгоритмов, способных
адаптироваться к изменяющимся условиям, а также оптимизацию процессов обучения для более эффективного использования ресурсов.
Самообучение ИИ активно применяется в различных областях, таких как медицина, где он помогает в диагностике и прогнозировании заболеваний, в финансах - для прогнозирования рынка и оптимизации инвестиций, а также в технологиях - для разработки автономных систем и интеллектуальных устройств. Успешные примеры применения самообучения включают системы управления здравоохранением, предсказательные аналитические инструменты для финансового сектора и умные технологии в сфере производства. Благодаря непрерывному развитию самообучения искусственного интеллекта (ИИ), предполагается, что его применение расширится на множество областей жизни, охватывая сферы от технологий и здравоохранения до транспорта и финансов. Это открывает двери для создания более интеллектуальных, гибких и адаптивных систем, способных автоматизировать рутинные процессы и улучшать качество обслуживания в различных отраслях.
Конечно же, важно учесть и этические вопросы, связанные с самообучением ИИ, играют важную роль в обсуждении его развития. Прозрачность в процессе самообучения поднимает вопрос о том, насколько понятно и доступно обучение для того, кто стоит за созданием и обслуживанием системы[4]. Ответственность означает, что разработчики и операторы ИИ должны нести ответственность за его действия и последствия. Защита данных является ключевым аспектом, так как самообучение часто требует доступа к большим объемам данных, включая личную информацию, что поднимает вопросы конфиденциальности, безопасности и соблюдения
приватности. ИИ имеет значительное влияние на общество и человечество. Это включает в себя изменения в работе и рынке труда, влияние на экономику, здравоохранение, образование и даже на политику. Также важно понимать, как самообучение ИИ формирует взаимодействие между людьми и технологиями, а также как оно влияет на наши социальные структуры и ценности.
Учитывая потенциальные угрозы и риски, связанные с самообучением ИИ, возникает необходимость в регулировании и контроле этого процесса. Это может включать в себя установление стандартов безопасности и этики, разработку законодательства для защиты данных, а также создание органов и механизмов надзора за развитием и применением ИИ в обществе. Ведь самообучение Искусственного Интеллекта представляет как потенциальные возможности, так и вызовы для общества. Важно обратить внимание на этические, социальные и правовые аспекты развития и применения таких технологий. Регулирование и контроль должны сбалансировать инновационные возможности с защитой интересов общества.
В будущем, развитие самообучения ИИ представляет огромный потенциал для инноваций и улучшения качества жизни. Однако, для максимизации пользы и снижения возможных рисков, необходимо внимательно разрабатывать стратегии контроля, этические стандарты и обсуждать вопросы социального влияния этих технологий. Развитие самообучения ИИ предполагает создание систем, способных учиться на ходу, адаптироваться к новым ситуациям и условиям, принимать решения на основе полученного опыта, а также корректировать свои действия в реальном времени. Эти интеллектуальные системы будут лучше адаптироваться к потребностям пользователей и изменениям в окружающей среде, повышая эффективность и уровень обслуживания.[2]
Результаты. Давайте рассмотрим простой пример работы нейронной сети на наборе данных MNIST для классификации рукописных цифр. Пример представлен на платформе Google Colab[6]. Google Colab (Colaboratory) - это
247
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 4 | 2023 year Том: 1 | Выпуск: 4 | 2023 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 4 | 2023-yil
бесплатная облачная среда для работы с кодом на языке Python, предоставляемая Google. Она позволяет запускать и разрабатывать программы, основанные на языке Python, прямо в браузере без необходимости установки какого-либо
специального программного обеспечения на вашем компьютере.
Целью нашего исследования является обучение нейронной сети на наборе данных MNIST для классификации рукописных цифр. Обученная модель может предсказывать, какая цифра изображена на рукописном изображении на основе обученных весов и определенных паттернов в данных.
Код программы
import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten
(xtrain, y train), (xtest, ytest) = mnist.load_data()
x train, x test = x train / 255.0, x test / 255.0
model = Sequential([
Flatten(input_shape=(28, 28)), Dense(128, activation='relu'), Dense(10, activation='softmax')
])
model.compile (optimizer='adam',
loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, validation_data=(x_test, y_test))
Давайте продолжим и разберем дальше, что делает этот код и что он демонстрирует в контексте работы искусственного интеллекта: 1. Загрузка и подготовка данных:
o mnist.load_data(): Загружает набор
данных MNIST, который содержит изображения цифр от 0 до 9.
o x train, x test = x train / 255.0, x test
/ 255.0: Нормализует значения пикселей изображений, приводя их к диапазону от 0 до 1.
2. Создание модели нейронной сети:
o model = Sequential([...]): Создает
модель Sequential, последовательный стек слоев. o Flatten(input_shape=(28, 28)):
Преобразует двумерный массив изображения (28x28 пикселей) в одномерный для входа в нейронную сеть.
o Dense(128, activation='relu'):
Полносвязный слой с 128 нейронами и функцией активации ReLU.
o Dense(10, activation='softmax'):
Выходной слой с 10 нейронами (по числу классов в MNIST) и функцией активации softmax для предсказания вероятности каждого класса.
3. Компиляция модели:
o model.compile (optimizer = 'adam', loss=
'sparse_categorical_crossentropy',metrics=['accurac y']): Компилирует модель с оптимизатором Adam, функцией потерь sparse_categorical_crossentropy (для многоклассовой классификации) и метрикой accuracy для оценки точности модели.
4. Обучение модели:
o model.fit(x_train, ytrain, epochs=5,
validation_data=(x_test, y test)): Обучает модель на данных x train и y train в течение 5 эпох, используя валидационные данные x_test и y_test для оценки производительности модели.
Покажем и опишем результат полученный в
ходе запуска кода
Epoch ■ l/5f
1875/1875 ■ [ = === ■- - 9s 4nis/step ■ - ■ oss : ■0 2595
accuracy:-0 9253 ■ ■val loss : ■U 1424 ■ ■val accuracy: '0.95831
Epoch'2/51
1875/1875■[= === ■- -6s 3nis/step ■ - ■ oss : ■0 1157
accuracy:-0 9661 ■ ■val loss : ■0 1094 ■ ■val accuracy: '0.9661!
Epoch'3/51
1875/1875■[ = === ■- -8s 4ins/step ■ - ■ oss : ■0 0795
accuracy:-0 9759 ■ val loss : ■0 0885 ■ val accuracy: -0.9727!
Epoch-4/51
1875/1875■[ = ====== === - -6s 3ins/step ■ - ■ oss : ■0 0593
accuracy:-0 9819 ■ val loss : ■0 0813 ■ val accuracy: 0.9762!
Epoch-5/51
1875/1875■[ = ====== === ■- -8s 4ms/step ■ - ■ oss : ■0 0453■-■
accuracy:-0 9863 ■ val loss : ■ и 0755 ■ val accuracy: 0.9764!
Это вывод процесса обучения нейронной сети на протяжении пяти эпох. Давайте разберем, что каждая строка означает:
248
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 4 | 2023 year Том: 1 | Выпуск: 4 | 2023 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 4 | 2023-yil
o Epoch 1/5: Это первая эпоха из пяти, где каждая эпоха представляет один проход через весь набор данных в процессе обучения. o 1875/1875
[====_=_==_]: 1875 - количество итераций (батчей) в каждой эпохе, 1875 - общее количество итераций во всем обучении. o 9s 4ms/step: 9s - время, затраченное на обучение одной эпохи; 4ms/step - время, затраченное на каждую итерацию (в среднем).
o loss: 0.2595 - accuracy: 0.9253 - valloss: 0.1424 - valaccuracy: 0.9583:
o loss: значение функции потерь (чем меньше, тем лучше) на тренировочных данных (0.2595). o accuracy: точность модели на
тренировочных данных (92.53%). o val loss: значение функции потерь на
валидационных данных (0.1424). o val accuracy: точность модели на валидационных данных (95.83%). Этот вывод дает представление о процессе обучения модели: уменьшение значения функции потерь и увеличение точности на тренировочных и валидационных данных с каждой эпохой, что указывает на то, что модель улучшается и обучается более точно.ь Исследование, представленное в коде, является базовым примером обучения нейронной сети на наборе данных MNIST для классификации рукописных цифр.
Сделаем вывод, что простота модели в данном контексте выражается в использовании минимального числа слоев и нейронов. Она состоит из одного скрытого слоя с 128 нейронами, что делает её относительно легкой для обучения и понимания. Это позволяет быстро ознакомиться с основными концепциями построения нейронных сетей и их применения. Однако такая модель, скорее всего, не будет достаточной для сложных задач или для достижения высокой точности на более сложных наборах данных. Для улучшения производительности могут потребоваться более
глубокие или сложные архитектуры сетей, оптимизация параметров обучения и предварительная обработка данных. Тем не менее, начальный опыт с базовыми моделями полезен для понимания основ машинного обучения и глубокого обучения.
Мы использовали набор данных MNIST, который является классическим и одним из наиболее распространенных наборов данных в области машинного обучения. Он содержит 60 000 изображений рукописных цифр для обучения и 10 000 изображений для тестирования. Каждое изображение имеет разрешение 28x28 пикселей. Этот набор данных часто используется в учебных целях и для демонстрации алгоритмов машинного обучения из-за своей относительной простоты и доступности.
MNIST хорошо подходит для первоначального знакомства с концепциями классификации изображений. Он позволяет исследовать методы обработки изображений, построения и обучения моделей классификации, а также оценки эффективности модели. Однако для более сложных задач, таких как распознавание изображений в более реалистичных сценариях или работа с большими объемами данных, требуются более сложные и разнообразные наборы данных. MNIST - это хорошая отправная точка, но для более глубокого понимания машинного обучения и глубокого обучения часто требуется работа с более сложными наборами данных.
Процесс обучения модели на обучающих данных в течение нескольких эпох позволяет ей уточнять веса и параметры для улучшения точности предсказаний. Оценка модели на тестовых данных после каждой эпохи позволяет отслеживать изменения производительности во времени, выявлять улучшения или ухудшения модели на независимом наборе данных. Этот процесс, известный как валидация модели, помогает определить, не происходит ли переобучения - ситуации, когда модель выучивает особенности обучающего набора данных настолько точно, что теряет способность обобщать на новые данные. Валидация также позволяет выбирать оптимальное количество эпох обучения,
249
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
joumal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 4 | 2023 year Том: 1 | Выпуск: 4 | 2023 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 4 | 2023-yil
чтобы предотвратить переобучение или недообучение модели. Этот подход к обучению и валидации модели является стандартным при работе с машинным обучением и позволяет более эффективно разрабатывать и настраивать модели для достижения лучших результатов на новых данных.
Функция потерь
sparsecategoricalcrossentropy измеряет разницу между предсказанными вероятностями модели и фактическими метками классов. Она является стандартной функцией потерь для многоклассовой классификации, где каждый объект относится к одному из нескольких классов. Метрика accuracy отображает процент правильных предсказаний модели относительно общего количества объектов в выборке. Эта метрика является одной из наиболее простых и понятных для оценки производительности модели.
При использовании функции потерь и метрики точности вместе, мы можем одновременно измерять эффективность модели во время обучения. Оптимизация функции потерь направлена на минимизацию ошибки модели, в то время как метрика точности дает понимание процента правильных предсказаний. Эти метрики являются ключевыми для понимания производительности модели в процессе обучения, помогая анализировать её способность делать правильные прогнозы и улучшать качество предсказаний.
Отслеживание результатов обучения модели в каждой эпохе позволяет увидеть динамику улучшения или изменения производительности модели. Графики или вывод метрик точности и функции потерь на обучающих и тестовых данных могут помочь понять, как модель учится и обобщает данные. Постепенное увеличение точности на обучающем наборе данных при одновременном улучшении или стабильности на тестовом наборе может свидетельствовать о хорошем обобщении модели.
Интерпретация результатов обучения также может помочь в определении необходимости изменения гиперпараметров модели, таких как количество эпох обучения, выбор архитектуры
сети, скорости обучения и т. д. Например, увеличение функции потерь на тестовой выборке после некоторого количества эпох может указывать на переобучение модели, что требует регуляризации или уменьшения сложности сети. Экспериментирование с параметрами обучения и архитектурой модели на основе результатов обучения помогает создать более эффективные и точные модели для конкретной задачи.
Заключение. Это исследование служит важным начальным шагом для тех, кто только начинает знакомство с машинным обучением и глубоким обучением. Полученные результаты и выводы могут стать основой для дальнейших экспериментов с более сложными архитектурами сетей, оптимизацией гиперпараметров и использованием более сложных наборов данных для решения разнообразных задач машинного обучения.
Литература
1. "Глубокое обучение" - Иэн Гудфеллоу, Йошуа Бенджио, Аарон Курвилль. MIT Press, 2016.
2. "Обучение с подкреплением: Введение" -
Ричард С. Саттон, Эндрю Г. Барто. The MIT Press, 2018.
3. "Life 3.0: Being Human in the Age of Artificial Intelligence" - Макс Тегмарк. Penguin Books, 2018.
4. "Искусственный интеллект: современный подход" - Стюарт Рассел, Питер Норвиг. Pearson, 2021.
5. "Сверхинтеллект: пути, опасности, стратегии" - Ник Бостром. Oxford University Press, 2016.
6. https://colab.research.google.com/drive/1S8C YaNna7EGmRBSLGWdr95hLH5oFjCaF?usp =sharing Ссылка на оригинальную работу
250
