Online School

Разметка данных: как люди помогают обучать нейросети

Ты наверняка слышал, что нейросети учатся на огромных объёмах данных. Но откуда нейросеть знает, что на фото кошка, а не собака? Или что отзыв негативный? Кто-то должен был это разметить. Разметка данных – одна из самых интересных цифровых микрозадач, и пятый модуль курса посвящён именно ей

Что такое разметка данных

Разметка – присвоение данным меток: категорий, тегов, статусов. Например

  • Фото – «есть человек» или «нет человека»
  • Отзыв – «положительный», «отрицательный», «нейтральный»
  • Аудио – «речь», «музыка», «шум»
  • Текст – тема: «спорт», «политика», «технологии»

Размеченные данные используются для обучения AI, для сортировки контента, для аналитики и поиска

Где используется разметка

  • Обучение нейросетей распознаванию изображений, текста, речи
  • Сортировка контента в каталогах и базах
  • Модерация пользовательского контента
  • Аналитика отзывов и обращений
  • Поисковые системы

Виды разметки

  • Классификация – отнести объект к категории
  • Теги – присвоить один или несколько ярлыков
  • Статусы – отметить состояние: «проверено», «нужна доработка»
  • Выделение объектов – отметить область на изображении
  • Транскрибация и разметка аудио – отметить, где речь, где пауза, кто говорит

Работа по системе критериев

В разметке очень важна единообразность. Если один исполнитель считает отзыв «нормально, но долго доставляли» положительным, а другой – отрицательным, данные становятся бесполезными. Поэтому заказчики дают подробные критерии с примерами. Задача исполнителя – строго следовать им

Пример критериев для отзывов

  • Положительный – клиент доволен основной покупкой, даже если есть мелкие замечания
  • Отрицательный – клиент недоволен товаром или сервисом
  • Нейтральный – нет оценки, только вопрос или информация
  • Спам – реклама, бессмысленный текст

Как не ошибаться

  • Изучи критерии и примеры до начала работы
  • Сделай первые 10–20 объектов и сверь с примерами
  • Если сомневаешься – отметь объект как спорный или задай вопрос
  • Периодически перепроверяй себя
  • Не торопись в ущерб точности

Точность разметки

Многие проекты оценивают точность: какой процент объектов размечен правильно. Иногда в задачи специально подмешивают контрольные объекты с известным ответом. Высокая точность – главный показатель качества исполнителя и залог того, что тебе будут давать новые задачи

Самопроверка

После разметки выбери случайные 5–10% объектов и проверь их ещё раз. Если нашёл ошибки – проверь больше. Это простая привычка, которая сильно повышает качество

Почему это интересно

Разметка – это возможность заглянуть внутрь мира AI и понять, как работают нейросети. Многие, кто начинал с разметки, потом уходили в более глубокие направления работы с данными и AI

Типичные ошибки

  • Начать без изучения критериев
  • Размечать по интуиции
  • Не отмечать спорные случаи
  • Снижать точность ради скорости

Что даёт курс

В модуле ты разберёшь, что такое разметка, категоризацию, теги, статусы, сортировку, разметку текстов, изображений и аудио, работу по критериям и проверку точности. На практике разметишь набор контента, присвоишь категории и теги и проведёшь самопроверку. В тарифе «С практикой» – практика разметки с проверкой куратора

Короткие задания для тренировки разметки мы публикуем в Instagram – попробуй свои силы