Обучение на категорию: Категория «С» в Краснодаре — автошкола «Формула»

7657-2F43-9B3A-C1F1 — Вы не можете пройти этот обучающий пакет, не пытайтесь.

Для контекста:
(https://www.youtube.com/watch?v=wxvwdzoE0Gs&ab_channel=Linkuru

Подготовка данных обучения | AutoML Vision Object Detection

Подготовка изображений

	Требования к этикеткам и ограничительной рамке
Экземпляры меток для обучения	Минимум 10 аннотаций (экземпляров).
Требования к аннотации	Для каждой этикетки у вас должно быть не менее 10 изображений, каждая с не менее одной аннотации (ограничивающая рамка и этикетка). Однако для целей обучения модели это рекомендуется использовать около 1000 аннотаций на этикетку . В общем, чем больше изображений на этикетке у вас будет, тем лучше будет работать ваша модель.
Соотношение этикеток (наиболее распространенная этикетка к наименее распространенной):	Модель работает лучше всего, когда изображений для наиболее распространенный ярлык, чем наименее распространенный ярлык. Для модели производительность, рекомендуется удалить очень низкие частотные метки.
Длина края ограничительной рамки	Не менее 0,01 * длина стороны изображения. Например, для изображения размером 1000 * 900 пикселей потребуются ограничительные рамки размером не менее 10 * 9 пикселей.
Размер ограничивающей рамки (в пикселях)	минимум 8 на 8 пикселей.
Граничные рамки на отдельное изображение	500 максимум.
Граничные рамки, возвращенные из запроса на прогноз	100 (по умолчанию), максимум 500. Вы можно указать это значение как часть запроса прогноз в params.max_bounding_box_count поле.

Руководство по передовой практике

Какие данные изображения вы можете использовать?

• Поддерживаемые форматы файлов изображений: JPEG, PNG, GIF, BMP или ICO.
• Обучающие данные должны быть как можно ближе к данным, на которых прогнозы должны быть сделаны.Например, если ваш вариант использования включает изображения с низким разрешением с камер мобильных телефонов, ваши данные тренировки должны быть состоит из изображений с низким разрешением. В общем, вам также следует учитывать предоставление различных ракурсов, разрешений и фонов для вашего обучения изображений. Другой пример: если вы хотите обнаружить регионы с высоким изображения разрешения, не тренируйте модель с обрезанными изображениями.

Какие минимальные условия для данных?

• Используемые метки должны быть действительными строками (без запятой внутри).Запятая только проблема в Импорт на основе CSV. Способ решения этой проблемы: «запятая_файла, путь», «метка, запятая», 0,0 ,,, 1,1 ,, .
• Ограничивающие рамки во всех случаях должны быть больше 8 на 8 пикселей. Ограничивающие рамки меньшие, чем это, будут отфильтрованы.
• Изображения могут превышать 1024 * 1024 пикселей, но эти изображения будут уменьшены автоматически, что может привести к снижению качества изображения. По этой причине мы рекомендуем максимальный размер изображения 1024 * 1024 пикселей.Изображений меньше , чем эти размеры, не будут увеличены.
• Все ограничивающие рамки должны быть внутри изображений.
• Ограничивающие рамки должны иметь исчерпывающую маркировку: если есть две машины на изображении все они должны быть помечены.

Насколько большим должен быть набор данных?

• Чем больше, тем лучше. Это почти всегда правда. Однако исключение из это было бы, если бы добавление большее количество образцов приводит к дисбалансу или утечке (см. ниже).
• Объем данных, необходимых для обучения хорошей модели, зависит от различных факторов:
  • Количество классов . Чем больше у вас уникальных классов, тем больше образцы на класс необходимы.
  • Сложность / разнообразие классов . Это похоже на людей: человек может вероятно, быстро научитесь различать пиво и вино, просто несколько образцов. Ему придется чаще пробовать разные вина, чтобы различать 5-6 различных сортов красных вин, и для многих людей будет сложно научиться различать 50 различных ароматы красных вин.По крайней мере, одному придется много практиковаться. По аналогии, нейронные сети быстро смогут различать слонов и кошек, но им потребуется гораздо больше образцов, чтобы классифицировать 30 различных животные.
• Как правило, мы рекомендуем иметь не менее 100 обучающих выборок. на класс, если у вас есть отличительные и несколько классов, и более 200 обучающих образцов, если классы более тонкие и у вас есть более 50 различных классов.

Обучение vs.наборы данных оценки

При обучении моделей машинного обучения вы обычно разделяете набор данных. на три отдельных набора данных:

1. обучающий набор данных
2. набор данных проверки
3. тестовый набор данных

Обучающий набор данных используется для построения модели. Обучаемая модель пробует несколько гиперпараметров при поиске шаблонов в обучении данные.В процессе идентификации паттерна AutoML Vision Object Detection использует набор данных проверки для проверки гиперпараметров модели. AutoML Vision Object Detection выбирает наиболее эффективные алгоритмы и шаблоны из всех вариантов, выявленных на этапе обучения.

После определения наиболее эффективных алгоритмов и шаблонов они проверяются на частоту ошибок, качество и точность с помощью теста . набор данных . У клиентов должен быть отдельный набор тестовых данных которые они могут использовать для независимого тестирования модели.Этот тестовый набор данных либо указывается в обучающем наборе пользователем или выбирается автоматически при Тренировочное время.

Используются как проверка, так и тестовый набор данных, чтобы избежать предвзятости в модель. На этапе валидации оптимальные параметры модели использовал. Использование этих оптимальных параметров модели может привести к смещению показателей. С использованием набор тестовых данных для оценки качества модели после проверки этап обеспечивает процесс обучения объективной оценкой качества модели.

Если вы вручную выбираете образцы наборов данных, вы должны структурировать наборы данных. таким образом, чтобы представлять одно и то же население. Точно так же вы должны создать разбиения набора данных с похожими изображениями, все с аналогичным распределением ярлыков.

Ручное и автоматическое разделение наборов данных

Вы можете вручную указать разделение обучения, проверки, и протестируйте при импорте наборов данных в файл CSV.

Если вы не укажете его, AutoML Vision Object Detection будет случайным образом разделить ваши данные. Сплиты создаются следующим образом:

• 80% изображений используются для обучения.
• 10% изображений используются для настройки гиперпараметров и / или для решения, когда прекратить тренировки.
• Для оценки модели используется 10% изображений. Эти изображения не используются в обучение.

Общие проблемы

• Несбалансированные данные : во многих случаях количество образцов на класс (этикетка) не равно.Незначительные дисбалансы обычно не создают проблем, но большие несоответствия между классами могут вызвать проблему. Когда есть больший дисбаланс, например. некоторые классы представлены более чем в 10 раз других классов это становится проблематичным для построения модели. Пока есть подходы к противодействию классовым дисбалансам, это не идеальная конфигурация для модельного обучения. По возможности старайтесь избегать обучения модели с сильно несбалансированные данные.

  Как правило, сохраняйте соотношение между наиболее распространенными и минимум общих классов от 2 до 1.

• Плохие разбиения : при предоставлении данных обучения AutoML Vision Object Detection может автоматически разделить его на наборы данных для обучения, проверки и тестирования. Вы также можете назначить метки разделения поезда самостоятельно.

  Нет гарантия того, что вы получите такое же разделение, если импортируете одинаковые данные несколько раз.

  Данные обучения, проверки и тестирования не должны иметь сильной корреляции. Например, распространенный плохой случай состоит в том, что когда изображения взяты из видео, что приводит к тому, что многие изображения очень похожи друг на друга.Если вы позволите системе случайным образом разделите набор данных для вас, очень вероятно, что вы получите очень похожие изображения как в данных обучения, так и в данных проверки / тестирования. Это будет Свинец к неверно полученной высокой точности данных тестирования.

• Утечка данных : Утечка данных — серьезная проблема, которая может искажать модели. Утечка данных происходит, когда алгоритм может использовать информация во время обучения модели, которую не следует делать, и которая будет не будет доступно во время будущих прогнозов.Это приводит к чрезмерно оптимистичному результаты на наборах данных для обучения, проверки и, возможно, тестирования. Однако это производительность может не так хорошо работать с некоторыми будущими невидимыми данными. Такое случается часто непреднамеренно и требует особой осторожности при подготовке данных.

  Примеры утечки: позитивы и негативы из разных источников изображений, или углы обзора.

Руководство для начинающих по AutoML Vision | Google Cloud

Введение

Представьте, что вы работаете с доской по сохранению архитектуры, которая пытается чтобы определить районы, которые имеют единый архитектурный стиль в вашем город. Вам нужно просмотреть сотни тысяч снимков домов, но пытаться классифицировать все эти изображения вручную утомительно и чревато ошибками. Стажер наклеил несколько сотен из них несколько месяцев назад, и никто их не трогал. их с тех пор. Было бы так полезно, если бы вы могли просто научить свой компьютер делать это для тебя!

Почему машинное обучение (ML) — правильный инструмент для решения этой проблемы?

Классическое программирование требует, чтобы программист указывал шаг за шагом инструкции для компьютера.Хотя этот подход работает для решения широкий спектр проблем, это не относится к задаче классификации домов так, как вы хотели бы. Так много вариаций в композиции, цветах, углах, и стилистические детали; вы не можете представить себе пошаговый набор правила, которые могут указывать машине, как решить, является ли фотография односемейный дом — Ремесленник или Модерн. Трудно представить где вы бы даже начали. К счастью, системы машинного обучения хорошо позиционируются. Для решения этой проблемы.

Подходит ли мне Vision API или AutoML?

Vision API классифицирует изображения по тысячам предопределенных категорий, обнаруживает отдельные объекты и лица на изображениях, а также находит и читает печатные слова, содержащиеся в изображениях. Если вы хотите обнаружить отдельных объекты, лица и текст в вашем наборе данных или ваша потребность в классификации изображений довольно общий, попробуйте Vision API и посмотрите, работает ли он для вас. Но если ваш вариант использования требует, чтобы вы использовали свои собственные ярлыки для классификации изображений. вместо этого стоит поэкспериментировать с настраиваемым классификатором, чтобы проверить, подходит ли он твои нужды.

Что включает в себя машинное обучение в AutoML?

Машинное обучение предполагает использование данных для обучения алгоритмов для достижения желаемого исход. Специфика алгоритма и методики обучения меняются в зависимости от вариант использования. Есть много разных подкатегорий машинного обучения, все из которых решают разные задачи и работают с разными ограничениями. AutoML Vision позволяет выполнять контролируемое обучение, которое включает обучение компьютера распознаванию закономерностей из помеченных данных.С использованием контролируемое обучение, мы можем обучить модель распознавать закономерности и содержание что мы заботимся в изображениях.

Подготовка данных

Для обучения пользовательской модели с помощью AutoML Vision вам потребуется предоставить помеченные примеры типов изображений (входов), которые вы хотели бы чтобы классифицировать, и категории или ярлыки (ответ), которые вы хотите, чтобы системы машинного обучения предсказывать.

Оцените свой вариант использования

Собирая набор данных, всегда начинайте с варианта использования. Ты можешь начнем со следующих вопросов:

• Какого результата вы пытаетесь достичь?
• Какие категории вам нужно распознать, чтобы достичь такого результата?
• Могут ли люди распознать эти категории? Хотя AutoML Vision может обрабатывать большее количество категорий, чем люди могут вспомнить и назначить в любой момент, если человек не может распознать определенной категории, то AutoML Vision будет нелегко, поскольку хорошо.
• Какие виды примеров лучше всего отражают тип и диапазон данных, которые вы система классифицирует?

Основной принцип, лежащий в основе продуктов машинного обучения Google, — машина, ориентированная на человека. обучение, подход, который ставит на передний план ответственные методы ИИ, включая справедливость. Цель справедливости в ML — понять и предотвратить несправедливое или предвзятое отношение к людям, имеющим отношение к расе, доходу, сексуальному ориентация, религия, пол и другие исторически связанные характеристики с дискриминацией и маргинализацией, когда и где они проявляются в алгоритмические системы или принятие решений с помощью алгоритмов. Вы можете прочитать больше в нашем руководстве и найдите «знающие» примечания ✽ в приведенных ниже рекомендациях. Как и ты ознакомьтесь с инструкциями по составлению набора данных, мы рекомендуем вам учитывать справедливость в машинном обучении там, где это актуально для вашего варианта использования.

Справедливо осведомлен: Может ли ваш вариант использования или продукт отрицательно повлиять на экономические или другие важные жизненные возможности? Если так, читать далее об оценке вашего варианта использования из соображений справедливости.

Источник ваших данных

Как только вы определите, какие данные вам понадобятся, вам нужно найти способ чтобы найти его.Вы можете начать с учёта всех данных вашего организация собирает. Вы можете обнаружить, что уже собираете данные вам нужно будет обучить модель. Если у вас нет необходимых данных, вы можно получить его вручную или передать стороннему поставщику.

Справедливо осведомлен: Ознакомьтесь с правилами как в вашем регионе, так и в регионах, где вы подаете заявку. будет служить, а также существующие исследования или информацию о продукте в вашем домен, чтобы узнать о правовых нормах и общих проблемах.Читать далее.

Справедливо осведомлен: Хотя никакие данные обучения не будут полностью «объективными», вы можете значительно улучшить ваши шансы создать лучший, более инклюзивный продукт, если вы внимательно рассмотреть потенциальные источники предвзятости в ваших данных и предпринять шаги для устранения их. Читать далее.

Включите достаточно размеченных примеров в каждую категорию

Минимум, необходимый для обучения AutoML Vision, — 100 изображений. примеры по категории / ярлыку. Вероятность успешного распознавания этикетка увеличивается с количеством качественных примеров для каждого; в общем, чем больше размеченных данных вы можете использовать в процессе обучения, тем лучше вы модель будет. Задайте не менее 1000 примеров на этикетку.

Распределите примеры поровну по категориям

Важно собрать примерно одинаковое количество обучающих примеров для каждая категория. Даже если у вас много данных для одной метки, лучше всего иметь равное распределение для каждой метки. Чтобы понять, почему, представьте, что 80% изображения, которые вы используете для построения своей модели, — это изображения частных домов в современный стиль. При таком несбалансированном распределении этикеток ваша модель очень вероятно, что вы узнаете, что всегда безопасно говорить вам, что фотография современного дом на одну семью, вместо того, чтобы рисковать, пытаясь предсказать менее распространенная этикетка.Это похоже на написание теста с множественным выбором, в котором почти все правильные ответы — «C» — скоро ваш опытный тестируемый разберется в этом может каждый раз отвечать на «С», даже не глядя на вопрос.

Мы понимаем, что не всегда можно найти примерно равный количество примеров для каждой этикетки. Качественные, объективные примеры для некоторых категории может быть труднее найти. В этих обстоятельствах вы можете следовать это эмпирическое правило — этикетка с наименьшим количеством примеров должна иметь не менее 10% примеров в качестве ярлыка с наибольшим количеством примеров.Таким образом, если на самой крупной этикетке содержится 10 000 образцов, на самой маленькой этикетке должно быть указано значение минимум 1000 примеров.

Запишите вариации в пространстве вашей проблемы

По тем же причинам постарайтесь, чтобы ваши данные отражали разнообразие и разнообразие вашего проблемного пространства. Чем шире выбор модельного обучения тем легче будет обобщить процесс на новые примеры. Для например, если вы пытаетесь разделить фотографии бытовой электроники на категории, тем шире представлен ассортимент бытовой электроники. на тренировке, тем больше вероятность, что он сумеет отличить роман модель планшета, телефона или ноутбука, даже если никогда не видел эту конкретную модель перед.

Сопоставьте данные с предполагаемым выходом для вашей модели

Найдите изображения, визуально похожие на то, что вы планируете сделать. прогнозы на. Если вы пытаетесь классифицировать изображения домов, все снятый в снежную зимнюю погоду, вы, вероятно, не получите отличной производительности от модель обучалась только на снимках домов, сделанных в солнечную погоду, даже если вы пометил их интересующими вас классами, так как освещение и декорации может быть достаточно различным, чтобы повлиять на производительность.В идеале ваши тренировочные примеры это реальные данные, взятые из того же набора данных, который вы планируете использовать в модели. классифицировать.

Подумайте, как AutoML Vision использует ваш набор данных при создании пользовательской модели

Ваш набор данных содержит наборы для обучения, проверки и тестирования. Если ты не укажите разбиения (см. Подготовка данных), тогда AutoML Vision автоматически использует 80% ваших изображений для обучения, 10% для проверки и 10% для тестирование.

Учебный набор

Подавляющее большинство ваших данных должно быть в обучающем наборе.Это данные ваша модель «видит» во время обучения: она используется для изучения параметров модель, а именно веса связей между узлами нейронной сети.

Набор для валидации

Набор проверки, иногда также называемый набором «dev», также используется во время тренировочный процесс. После того, как модель обучения включает обучение данные во время каждой итерации процесса обучения, он использует производительность модели на проверочном наборе для настройки гиперпараметров модели, которые являются переменными которые определяют структуру модели.Если вы пытались использовать обучающий набор для настроить гиперпараметры, вполне вероятно, что модель окажется слишком сосредоточены на ваших тренировочных данных, и вам трудно обобщить на примерах это не совсем соответствует этому. Использование несколько новаторского набора данных для точной настройки модели структура означает, что ваша модель будет лучше обобщать.

Тестовый набор

Набор тестов вообще не участвует в тренировочном процессе. Однажды модель полностью завершил обучение, мы используем тестовый набор как совершенно новый вызов для вашей модели.Производительность вашей модели на тестовом наборе составляет призван дать вам довольно хорошее представление о том, как ваша модель будет работать на данные из реального мира.

Ручная расколка

Вы также можете разделить свой набор данных самостоятельно. Разделение данных вручную — это хороший выбор, если вы хотите получить больший контроль над процессом или если есть конкретные примеры, которые, как вы уверены, хотите включить в определенную часть вашего жизненного цикла обучения модели.

Справедливо осведомлен: Если у вас мало данных об определенной подгруппе, убедитесь, что данные репрезентативно распределить между тренировками и тестами, выполняя поезд / тест разделились.Читать далее.

Подготовьте данные для импорта

После того, как вы определились, подходит ли ручное или автоматическое разделение данных для вы, есть три способа добавить данные в AutoML Vision:

• Вы можете импортировать данные с вашими изображениями, отсортированными и сохраненными в папках, которые соответствуют вашим этикеткам.
• Вы можете импортировать данные из Google Cloud Storage в формате CSV с метками в соответствии. Чтобы узнать больше, посетите нашу документацию.
• Если ваши данные еще не были помечены, вы также можете загрузить немаркированное изображение. примеры и используйте пользовательский интерфейс AutoML Vision для применения ярлыков к каждому из них.

Оценить

После обучения вашей модели вы получите сводную информацию о ее характеристиках. Щелкните «оценить» или «просмотреть полную оценку», чтобы просмотреть подробный анализ.

О чем следует помнить, прежде чем оценивать мою модель?

Отладка модели — это больше отладка данных, чем сама модель. Если в любой момент ваша модель начинает действовать неожиданным образом, как вы оценивая его производительность до и после запуска в производство, вы должны вернитесь и проверьте свои данные, чтобы увидеть, где их можно улучшить.

Какие виды анализа можно выполнять в AutoML Vision?

В разделе оценки AutoML Vision вы можете оценить свой собственный производительность модели с использованием результатов модели на тестовых примерах, а также общие метрики машинного обучения. В этом разделе мы рассмотрим, что каждый из этих понятия означают.

1. Модель выходная
2. Порог оценки
3. Истинно-положительные, истинно-отрицательные, ложноположительные и ложно-отрицательные
4. Точность и отзыв
5. Кривые точности / отзыва.
6. Средняя точность

Как интерпретировать выходные данные модели?

AutoML Vision извлекает примеры из ваших тестовых данных для полного представления новые задачи для вашей модели. Для каждого примера модель выводит серию числа, которые сообщают, насколько сильно он связывает каждый ярлык с этим пример. Если число велико, модель уверена, что этикетка должны применяться к этому документу.

Что такое порог оценки?

Мы можем преобразовать эти вероятности в двоичные значения «вкл» / «выкл», установив порог оценки.Порог оценки относится к уровню уверенности, Модель должна назначать категорию тестируемому элементу. Ползунок порога оценки в пользовательском интерфейсе есть визуальный инструмент для проверки влияния различных пороговых значений для всех категории и отдельные категории в вашем наборе данных. Если ваш порог оценки низка, ваша модель классифицирует больше изображений, но рискует ошибочная классификация нескольких изображений в процессе. Если ваш порог оценки высок, ваша модель будет классифицировать меньше изображений, но будет иметь меньший риск неправильная классификация изображений.Вы можете настроить пороговые значения категорий в пользовательском интерфейсе. экспериментировать. Однако при использовании вашей модели в производстве у вас будет чтобы обеспечить соблюдение пороговых значений, которые вы сочли оптимальными на своей стороне.

Что такое истинно положительные, истинно отрицательные, ложные и ложно отрицательные?

После применения порога оценки прогнозы, сделанные вашей моделью, будут попадают в одну из следующих четырех категорий.

Мы можем использовать эти категории для расчета точности и отзыва — метрики которые помогают нам оценить эффективность нашей модели.

Что такое точность и отзыв?

Точность и отзыв помогают нам понять, насколько хорошо наша модель захватывает информации, и сколько она упускает. Точность говорит нам, от всех тестовые примеры, которым был присвоен ярлык, сколько на самом деле предполагалось быть отнесенным к этой категории. Напомним, говорит нам, из всех тестовых примеров которым должен был быть назначен ярлык, скольким на самом деле были назначены метка.

Следует оптимизировать для точности или отзыва?

В зависимости от вашего варианта использования вы можете захотеть оптимизировать либо точность, либо отзывать.Давайте посмотрим, как вы можете подойти к этому решению, используя следующие два варианта использования.

Пример использования: Конфиденциальность в изображениях

Допустим, вы хотите создать систему, которая автоматически обнаруживает чувствительные информация и размывает ее.

В этом случае ложными срабатываниями будут вещи, которые не нужно размывать. которые становятся размытыми, что может раздражать, но не вредно.

Ложноотрицательные в этом случае будут вещи, которые необходимо размыть, но не удается быть размытым, как кредитная карта, что может привести к краже личных данных.

В этом случае вы захотите выполнить оптимизацию для отзыва. Этот метрические меры для всех сделанных прогнозов, сколько не учитывается. А модель с высокой степенью отзыва, вероятно, пометит мало релевантные примеры, что полезно в случаях, когда в вашей категории мало обучающих данных.

Пример использования: поиск по стоковой фотографии

Допустим, вы хотите создать систему, которая находит лучшие стоковые фотографии для данное ключевое слово.

В этом случае ложное срабатывание будет возвращать нерелевантное изображение.С ваш продукт гордится тем, что возвращает только самые подходящие изображения, это быть серьезным провалом.

Ложноотрицательным в этом случае будет невозможность вернуть соответствующее изображение для поиск по ключевым словам. Поскольку многие поисковые запросы содержат тысячи фотографий, сильный потенциальный матч, это нормально.

В этом случае вы захотите произвести оптимизацию по точности. Эта метрика измеряет, насколько верны все сделанные прогнозы. Высокоточная модель — это вероятно, пометить только самые релевантные примеры, что полезно для случаев где ваш класс является общим в обучающих данных.

Справедливо осведомлен: Оценка вашей модели на справедливость требует понимания влияния различные типы ошибок — ложные срабатывания и ложноотрицания — для разная демография пользователей. Видеть анализ двух вариантов использования с точки зрения справедливости машинного обучения.

Как использовать матрицу неточностей?

Мы можем сравнить характеристики модели на каждой этикетке, используя матрицу неточностей. В идеальной модели все значения по диагонали будут высокими, а все значения другие значения будут низкими.Это показывает, что желаемые категории определены правильно. Если какие-либо другие значения высоки, это дает нам ключ к разгадке как модель неправильно классифицирует тестовые изображения.

Как интерпретировать кривые точного возврата?

Инструмент пороговой оценки позволяет узнать, как выбранный порог оценки влияет на вашу точность и отзывчивость. Когда вы перетаскиваете ползунок по партитуре полоса порога, вы можете увидеть, где этот порог помещает вас на кривая компромисса между точностью и отзывчивостью, а также то, как этот порог влияет на ваши точность и отзыв по отдельности (для мультиклассовых моделей на этих графиках, Точность и отзыв означает единственную метку, используемую для расчета точности и метрика отзыва — это метка с наивысшей оценкой в ​​наборе меток, которые мы возвращаем).Этот может помочь вам найти хороший баланс между ложными срабатываниями и ложными отрицаниями.

После того, как вы выбрали порог, который кажется приемлемым для вашей модели на в целом, вы можете щелкнуть отдельные метки и посмотреть, где падает этот порог на их кривой точности-отзыва для каждой этикетки. В некоторых случаях это может означать, что вы получить много неверных прогнозов для нескольких ярлыков, что может помочь вам решите выбрать пороговое значение для каждого класса, настроенное для этих меток. Для Например, вы смотрите на набор данных о домах и замечаете, что порог при 0.5 имеет разумную точность и запоминаемость для всех типов изображений, кроме «Тюдор», возможно, потому что это очень общая категория. Для этой категории вы видите тонны ложных срабатываний. В этом случае вы можете использовать порог 0,8. просто для «Тюдора» при вызове классификатора прогнозов.

Что такое средняя точность?

Полезным показателем точности модели является площадь под кривой точности-отзыва. Он измеряет, насколько хорошо ваша модель работает по всем пороговым значениям. В AutoML Vision этот показатель называется «Среднее значение ». Точность .Чем ближе этот показатель к 1,0, тем лучше работает ваша модель. на тестовом наборе; случайное предположение модели для каждой метки получит среднюю точность около 0,5.

Тестирование вашей модели

AutoML Vision использует 10% ваших данных автоматически (или, если вы выбрали ваши данные разделяются независимо от того, какой процент вы выбрали), чтобы проверить модель, а страница «Оценить» расскажет, как модель работала с тестовыми данными. Но на всякий случай, если вы хотите убедиться, проверьте свою модель, есть несколько способов. сделать это.Самый простой — загрузить несколько изображений на страницу «Прогноз» и посмотреть на ярлыках, которые модель выбирает для ваших примеров. Надеюсь, это соответствует вашему ожидания. Попробуйте привести несколько примеров каждого типа изображений, которые вы ожидаете получить.

Справедливо осведомлен: Тщательно обдумайте свою проблемную область и ее потенциальную несправедливость и предвзятость. Придумайте кейсы, которые негативно повлияют на ваших пользователей, если они были обнаружены в производстве, и сначала их протестируйте. Читать далее.

Если вместо этого вы хотите использовать свою модель в собственных автоматизированных тестах, На странице «Прогноз» также рассказывается, как программно выполнять вызовы модели.

Справедливо осведомлен: Если у вас есть вариант использования, который требует соображений справедливости, прочитайте больше о как использовать вашу модель таким образом, чтобы уменьшить предвзятость или неблагоприятные результаты. Читать далее.

Погрузитесь в классификацию с несколькими этикетками ..! (С подробным примером) | Автор: Kartik Nooney

• Сначала мы конвертируем комментарии в нижний регистр, а затем используем специальные функции для удаления html-тегов, знаков препинания и неалфавитных символов из комментариев.

 import nltk 
 from nltk.corpus import stopwords 
 from nltk.stem.snowball import SnowballStemmer 
 import re 
 import sys 
 import warningsdata = data_rawif not sys.warnoptions: 
 warnings.simplefilter ("igntoreml") ): 
 cleanr = re.compile ('<. *?>') 
 cleantext = re.sub (cleanr, '', str (предложение)) 
 return cleantextdef cleanPunc (предложение): # функция для очистки слова от любого знаки препинания или специальные символы 
 cleaned = re.az AZ] + ',' ', word) 
 alpha_sent + = alpha_word 
 alpha_sent + = "" 
 alpha_sent = alpha_sent.strip () 
 return alpha_sentdata [' comment_text '] = data [' comment_text ']. str.lower ( ) 
 data ['comment_text'] = data ['comment_text']. Apply (cleanHtml) 
 data ['comment_text'] = data ['comment_text']. Apply (cleanPunc) 
 data ['comment_text'] = data [' comment_text ']. apply (keepAlpha) 

• Затем мы удаляем все стоп-слова , присутствующие в комментариях, используя набор стоп-слов по умолчанию, который можно загрузить из библиотеки NLTK .Мы также добавляем в стандартный список несколько стоп-слов.
• Стоп-слова — это в основном набор часто используемых слов на любом языке, а не только на английском. Причина, по которой стоп-слова имеют решающее значение для многих приложений, заключается в том, что, если мы удалим слова, которые очень часто используются в данном языке, мы можем вместо этого сосредоточиться на важных словах.

 stop_words = set (stopwords.words ('english')) 
 stop_words.update (['ноль', 'один', 'два', 'три', 'четыре', 'пять', 'шесть', «семь», «восемь», «девять», «десять», «может», «также», «поперек», «среди», «рядом», «однако», «еще», «внутри»]) 
 re_stop_words = re.compile (r "\ b (" + "|" .join (stop_words) + ") \\ W", re.I) 
 def removeStopWords (предложение): 
 global re_stop_words 
 return re_stop_words.sub ("", предложение) data ['comment_text'] = data ['comment_text']. apply (removeStopWords) 

• Затем мы выполняем , корнем . Существуют различные виды корней, которые в основном преобразуют слова с примерно одинаковой семантикой в ​​одну стандартную форму. Например, для развлечения, забавы и веселья стебель может быть забавным.

 stemmer = SnowballStemmer ("english") 
 def stemming (предложение): 
 stemSentence = "" 
 для слова в предложении.split (): 
 STEMMER = STEMMER.Stem (слово) 
 stemSentence + = stem 
 stemSentence + = "" 
 stemSentence = stemSentence.strip () 
 return stemSentencedata ['comment_text'] = data ['comment_text']. Apply (stemming) 

• После разделения набора данных на обучающие и тестовые наборы, мы хотим обобщить наши комментарии и преобразовать их в числовые векторы.
• Один из способов состоит в том, чтобы выбрать наиболее часто встречающиеся термины (слова с высокой частотой терминов или tf ). Однако наиболее частое слово является менее полезным показателем, поскольку такие слова, как « это », « a » очень часто встречаются во всех документах.
• Следовательно, нам также нужна мера того, насколько уникально слово, то есть насколько редко слово встречается во всех документах (i nverse document frequency или idf ).
• Итак, произведение tf & idf ( TF-IDF ) слова дает произведение того, насколько часто это слово встречается в документе, умноженное на то, насколько уникально это слово w.r.t. весь корпус документов.
• Слова в документе с высоким значением tfidf часто встречаются в документе и предоставляют наибольшую информацию об этом конкретном документе.

 из sklearn.model_selection import train_test_splittrain, test = train_test_split (data, random_state = 42, test_size = 0.30, shuffle = True) из sklearn.feature_extraction.text import TfidfVectorizer 
 vectorizer = TfidfVectorizer (strip_accents = 'unicode', analyzer = 'word', ngram_range = (1,3), norm = 'l2') 
 vectorizer.fit ( train_text) 
 vectorizer.fit (test_text) x_train = vectorizer.transform (train_text) 
 y_train = train.drop (labels = ['id', 'comment_text'], axis = 1) x_test = vectorizer.transform (test_text) 
 y_test = test.drop (labels = ['id', 'comment_text'], axis = 1) 

• TF-IDF легко вычислить, но его недостаток в том, что он не фиксирует позицию в тексте, семантику, совпадения в разных документах и ​​т. д.

Частное обучение

Каковы предварительные условия для моего обучения?

Вы можете найти рекомендуемые предварительные условия для вашего обучения на нашем веб-сайте. Электронное обучение Tableau — отличный ресурс для подготовки к любому обучению, с бесплатным и платным контентом, чтобы освежить или повысить свои навыки. Пожалуйста, сообщите своему координатору, если у вас возникнут какие-либо конкретные вопросы, пока вы готовитесь.

Каковы требования для проведения виртуального обучения?

Для всех тренингов по Tableau каждому участнику потребуется:

• Компьютер (рекомендуется использовать два монитора, мышь и гарнитуру)

• Доступ к учебным материалам (вам будет предоставлена ​​ссылка; см. Раздел «материалы» ниже)

• Устойчивое интернет-соединение

Для обучения на рабочем столе каждому участнику также потребуется программное обеспечение Tableau Desktop, установленное на их компьютере.Убедитесь, что все лицензии на программное обеспечение или пробные ключи активны и будут оставаться активными в течение продолжительности класса. Если срок действия вашего ключа истек, сообщите об этом своему координатору, и вам будет предоставлен временный ключ.

Для тренинга Analyst Bootcamp и Prep каждому участнику потребуется установленный Tableau Desktop и Tableau Prep Builder. Как указано выше, убедитесь, что все лицензии активны.

Для обучения работе с серверами ваш координатор настроит виртуальные машины (ВМ) для каждого участника.Все необходимое программное обеспечение включено в виртуальную машину.

Можно ли изменить программу обучения?

По запросу инструкторы могут сосредоточиться на определенных темах в рамках нашей стандартной учебной программы, которые принесут пользу вашей команде; однако Tableau приложила значительные усилия для разработки эффективной повестки дня. Наша учебная программа включает действия в определенном порядке и в определенном темпе с темами, которые дополняют друг друга, помогая учащимся понять, практиковать и запоминать наиболее важные концепции.В результате мы считаем, что лучше не отклоняться слишком далеко от стандартной повестки дня.

Могу ли я использовать данные моей компании в обучении?

Мы обнаружили, что учащиеся лучше усваивают концепции Tableau, если они удаляются из данных, которые они видят и используют каждый день. Для тех, кто ищет возможность работать со своими данными, мы предлагаем однодневный семинар по индивидуальным данным. Это можно добавить к любому другому обучению, чтобы студенты могли изучить продукт, используя стандартные обучающие образцы, а затем применить изученные концепции к своим собственным данным.

Какие обучающие материалы предоставляются?

Tableau предоставляет руководство, образцы данных и рабочие тетради для каждого студента. Мы рекомендуем участникам временно загрузить образцы наборов данных и учебные пособия на свои рабочие столы для облегчения доступа на протяжении всего обучения. Ваш координатор предоставит ссылку (-ы) за 1 неделю до запланированного начала занятий.

Я не получил письмо с подтверждением от Mimeo Digital. Куда мне обратиться за помощью?

Mimeo Digital — одна из платформ, с помощью которой ваш координатор по обучению может распространять ваши онлайн-учебные материалы.Когда вы создаете учетную запись на Mimeo Digital для доступа к своим материалам, Mimeo отправит письмо с подтверждением на адрес электронной почты, используемый для настройки учетной записи. Если вы не можете найти это электронное письмо в своем почтовом ящике или в беспорядочной папке, вы можете попробовать настроить учетную запись с личным адресом электронной почты, если вам это удобно. Кроме того, вы можете связаться со службой поддержки Mimeo, щелкнув значок «чат» в правом нижнем углу страницы входа участника: mimeo.digital/login. Сообщите представителю, что вы не получили письмо, и он предоставит вам ссылку для подтверждения прямо в чате.Если вы не видите значок чата на странице входа участника, удерживайте нажатой клавишу CTRL (для пользователей Windows) или клавишу Shift (для пользователей Mac) и нажмите кнопку перезагрузки в веб-браузере, чтобы выполнить жесткое обновление веб-страницы. . Если это не сработает, вам может потребоваться внести URL-адрес в белый список.

Могу я записать виртуальную тренировку?

В целях защиты интеллектуальной собственности Tableau мы не можем разрешить запись тренировок. Наше обучение рассчитано на обучение в режиме реального времени, и наша учебная программа регулярно обновляется, чтобы отражать новейшие особенности программного обеспечения, функции и передовые методы обучения.Мы будем рады провести еще один тренинг в будущем и обсудить другие образовательные инструменты, которые помогут вам продолжить обучение.

Метрики

Метрика — это функция, которая используется для оценки производительности вашей модели.

Метрические функции аналогичны функциям потерь, за исключением того, что результаты оценки метрики не используются при обучении модели. Обратите внимание, что вы можете использовать любую функцию потерь в качестве метрики.

Доступные показатели

Показатели точности

Вероятностные показатели

Метрики регрессии

Метрики классификации на основе истинных / ложных положительных и отрицательных результатов

Показатели сегментации изображений

Метрики петель для классификации с максимальной маржой

Использование с

Метод compile () принимает аргумент метрики , который представляет собой список метрик:

 модель .компилировать (
    optimizer = 'адам',
    loss = 'mean_squared_error',
    метрики = [
        metrics.MeanSquaredError (),
        metrics.AUC (),
    ]
)
  

Значения метрики отображаются во время fit () и записываются в возвращаемый объект History по fit () . Их также возвращает model.evaluate () .

Обратите внимание, что лучший способ отслеживать свои показатели во время обучения — использовать TensorBoard.

Чтобы отслеживать показатели под определенным именем, вы можете передать аргумент name в метрический конструктор:

 модель .компилировать (
    optimizer = 'адам',
    loss = 'mean_squared_error',
    метрики = [
        metrics.MeanSquaredError (name = 'my_mse'),
        metrics.AUC (name = 'my_auc'),
    ]
)
  

Все встроенные метрики также могут передаваться через их строковый идентификатор (в этом случае используются значения аргументов конструктора по умолчанию, включая имя метрики по умолчанию):

  модель. Совокупность (
    optimizer = 'адам',
    loss = 'mean_squared_error',
    метрики = [
        'MeanSquaredError',
        "AUC",
    ]
)
  

Автономное использование

В отличие от потерь, метрики сохраняют состояние.Вы обновляете их состояние с помощью метода update_state () , и вы запрашиваете результат скалярной метрики, используя метод result () :

  m = tf.keras.metrics.AUC ()
m.update_state ([0, 1, 1, 1], [0, 1, 0, 0])
print ('Промежуточный результат:', float (m.result ()))

m.update_state ([1, 1, 1, 1], [0, 1, 1, 0])
print ('Конечный результат:', float (m.result ()))
  

Внутреннее состояние можно очистить с помощью метрики metric.reset_states () .

Вот как можно использовать метрику как часть простого настраиваемого цикла обучения:

  точность = tf.keras.metrics.CategoricalAccuracy ()
loss_fn = tf.keras.losses.CategoricalCrossentropy (from_logits = True)
optimizer = tf.keras.optimizers.Adam ()

# Перебирать пакеты набора данных.
для шага (x, y) в перечислении (набор данных):
    с tf.GradientTape () в качестве ленты:
        logits = модель (x)
        # Вычислить значение потерь для этой партии.
        loss_value = loss_fn (y, логиты)

    # Обновить состояние метрики «точность».
    precision.update_state (y, логиты)

    # Обновите веса модели, чтобы минимизировать величину потерь.градиенты = tape.gradient (loss_value, model.trainable_weights)
    optimizer.apply_gradients (zip (градиенты, model.trainable_weights))

    # Сохранение текущего значения точности на данный момент.
    если шаг% 100 == 0:
        print ('Шаг:', шаг)
        print ('Общая точность работы на данный момент:% .3f'% precision.result ())
  

Создание специальных показателей

Как простые вызываемые объекты (без сохранения состояния)

Как и функции потерь, любые вызываемые с подписью metric_fn (y_true, y_pred) который возвращает массив потерь (один из образцов во входном пакете), может быть передан в compile () в качестве метрики.Обратите внимание, что взвешивание выборки автоматически поддерживается для любой такой метрики.

Вот простой пример:

  def my_metric_fn (y_true, y_pred):
    квадрат_различия = tf.square (y_true - y_pred)
    return tf.reduce_mean (squared_difference, axis = -1) # Обратите внимание на `axis = -1`

model.compile (optimizer = 'adam', loss = 'mean_squared_error', metrics = [my_metric_fn])
  

В этом случае значение скалярной метрики, которое вы отслеживаете во время обучения и оценки. — это среднее значение показателей для всех пакетов, просматриваемых в течение заданной эпохи. (или во время данного звонка на модель .оценить () ).

Как подклассы метрики

Не все метрики могут быть выражены через вызываемые объекты без сохранения состояния, потому что показатели оцениваются для каждой партии во время обучения и оценки, но в некоторых случаях среднее значение для партии — это не то, что вас интересует.

Допустим, вы хотите вычислить AUC за данный набор данных оценки: среднее значение AUC для каждой партии не то же самое, что AUC для всего набора данных.

Для таких показателей вам нужно создать подкласс класса Metric , который может поддерживать состояние между партиями.Это просто:

• Создайте переменные состояния в __init__
• Обновите переменные, заданные y_true и y_pred в update_state ()
• Вернуть метрический результат в result ()
• Очистить состояние в reset_states ()

Вот простой пример вычисления двоичных истинных положительных значений:

  класс BinaryTruePositives (tf.keras.metrics.Metric):

  def __init __ (self, name = 'binary_true_positives', ** kwargs):
    super (BinaryTruePositives, сам).__init __ (name = name, ** kwargs)
    self.true_positives = self.add_weight (имя = 'tp', инициализатор = 'нули')

  def update_state (self, y_true, y_pred, sample_weight = None):
    y_true = tf.cast (y_true, tf.bool)
    y_pred = tf.cast (y_pred, tf.bool)

    values ​​= tf.logical_and (tf.equal (y_true, True), tf.equal (y_pred, True))
    values ​​= tf.cast (значения, self.dtype)
    если sample_weight не равно None:
      sample_weight = tf.cast (sample_weight, self.dtype)
      значения = tf.multiply (значения, выборочный_вес)
    себя.true_positives.assign_add (tf.reduce_sum (значения))

  def result (self):
    вернуть self.true_positives

  def reset_states (сам):
    self.true_positives.assign (0)

m = BinaryTruePositives ()
m.update_state ([0, 1, 1, 1], [0, 1, 0, 0])
print ('Промежуточный результат:', float (m.result ()))

m.update_state ([1, 1, 1, 1], [0, 1, 1, 0])
print ('Конечный результат:', float (m.result ()))
  

При написании прямого прохода пользовательского слоя или подклассовой модели, иногда вы можете захотеть регистрировать определенные количества «на лету» в виде показателей.В таких случаях вы можете использовать метод add_metric () .

Допустим, вы хотите зарегистрировать в качестве метрики среднее значение активаций настраиваемого слоя, подобного Dense. Вы можете сделать следующее:

  класс DenseLike (слой):
  "" "y = w.x + b" ""

  ...

  вызов def (self, вводы):
      output = tf.matmul (входы, self.w) + self.b
      self.add_metric (tf.reduce_mean (вывод), aggregation = 'mean', name = 'activate_mean')
      возвратный вывод
  

После этого количество будет отслеживаться под именем «Activ_mean».Отслеживаемое значение будет среднее значение метрики для каждой партии (как указано в агрегации = 'среднее' ).

Подробнее см. Документацию add_metric () .