Загрузка урока...
Числовые данные: Очистка
Яблони дают смесь великолепных фруктов и червивых гадостей. Тем не менее, яблоки в дорогих продуктовых магазинах представляют собой 100% идеальные плоды. Между садом и продуктовым магазином кто-то тратит много времени на удаление испорченных яблок или распыление небольшого количества воска на те, которые можно спасти. Как инженер ML, вы потратите огромное количество времени, отбрасывая плохие примеры и исправляя те, которые можно спасти.
Даже несколько плохих парней могут испортить большой набор данных.
Многие примеры в наборах данных ненадежны из-за одной или нескольких из следующих проблем:
Вы можете написать программу или сценарий для обнаружения любой из следующих проблем:
Пропущенные значения
Повторяющиеся примеры
Значения функций вне диапазона
Например, следующий набор данных содержит шесть повторяющихся значений:
Рисунок 15. Первые шесть значений повторяются.
В качестве другого примера предположим, что диапазон температур для определенной функции должен составлять от 10 до 30 градусов включительно. Но случаются несчастные случаи — возможно, термометр временно подвергается воздействию солнца, что приводит к плохим выбросам. Ваша программа или скрипт должны идентифицировать значения температуры меньше 10 или больше 30:
Рисунок 16.Значение вне диапазона.
Если метки создаются несколькими людьми, мы рекомендуем статистически определить, создал ли каждый оценщик эквивалентные наборы меток. Возможно, один из оценщиков ставил более строгие оценки, чем другие, или использовал другой набор критериев оценки?
После обнаружения вы обычно «исправляете» примеры, содержащие неправильные объекты или неверные метки, удаляя их из набора данных или вменяя их значения.
Предпросмотр файлов
В этом материале нет файлов для просмотра.