Для чего и как мы скрываем госномера автомобилей в объявлениях Авито / Хабр
Привет. В конце прошлого года мы стали автоматически скрывать номера автомобилей на фотографиях в карточках объявлений на Авито. О том, зачем мы это сделали, и какие есть способы решения таких задач, читайте в статье.Задача
На Авито за 2018 год было продано 2,5 миллиона автомобилей. Это почти 7000 в день. Всем объявлениям о продаже нужна иллюстрация — фото автомобиля. Но по государственному номеру на нём можно найти много дополнительной информации о машине. И некоторые наши пользователи стараются самостоятельно закрывать госномер. Причины, почему пользователи хотят скрывать госномер, могут быть разными. Со своей стороны мы хотим помогать им защищать свои данные. И стараемся улучшать процессы продажи и покупки для пользователей. Например, у нас уже давно работает услуга анонимного номера: когда вы продаёте автомобиль, для вас создается временный сотовый номер. Ну а чтобы защитить данные о госномерах, мы обезличиваем фотографии.
Обзор способов решения
Чтобы автоматизировать процесс защиты пользовательских фотографий, можно воспользоваться сверточными нейронными сетями для детектирования полигона с номерным знаком.Сейчас для детекции объектов используются архитектуры двух групп: двухэтапные сети, например, Faster RCNN и Mask RCNN; одноэтапные (singleshot) — SSD, YOLO, RetinaNet. Детектированием объекта является вывод четырёх координат прямоугольника, в которые вписан объект интереса.
Упомянутые выше сети способны находить на картинках множество объектов разных классов, что уже является избыточным для решения задачи поиска номерного знака, потому что машина у нас на картинках, как правило, всего одна (бывают исключения, когда люди фотографируют свою продаваемую машину и её случайную соседку, но это происходит достаточно редко, поэтому этим можно было пренебречь).
Ещё одна особенность этих сетей состоит в том, что по умолчанию они выдают bounding box со сторонами, параллельными осям координат.
Это происходит так, потому что для детектирования используется набор заранее определённых видов прямоугольных рамок, называемых anchor boxes. Если точнее, то сначала с помощью какой-то сверточной сети (например resnet34) из картинки получают матрицу признаков. Потом для каждого подмножества признаков, полученного с помощью скользящего окна, происходит классификация: есть или нет объект для k anchor box и проводится регрессия в четыре координаты рамки, которые корректируют её положение.
После этого есть ещё две головы:
одна для классификации объекта (собака/кошка/растение и т.д),
вторая (bbox regressor) — для регрессии координат рамки, полученной на предыдущем шаге, чтобы увеличить соотношение площади объекта к площади рамки.
Для того, чтобы предсказать повернутую рамку бокса, нужно изменить bbox regressor так, чтобы получать ещё и угол поворота рамки. Если этого не делать, то получится как-то так.
Кроме двухэтапного Faster R-CNN, есть одноэтапные детекторы, например RetinaNet. Он отличается от предыдущей архитектуры тем, что сразу предсказывает класс и рамку, без предварительного этапа предложения участков картинки, которые могут содержать объекты. Для того чтобы предсказывать повернутые маски, нужно также изменить голову box subnet.
Один из примеров существующих архитектур для предсказания повернутых bounding box — DRBOX. Эта сеть не использует предварительный этап предложения региона, как в Faster RCNN, поэтому она является модификацией одноэтапных методов. Для обучения этой сети используется K повернутых под определенными углами bounding box (rbox). Сеть предсказывает вероятности для каждого из K rbox содержать таргет объект, координаты, размер bbox и угол поворота.
Модифицировать архитектуру и заново обучить одну из рассмотренных сетей на данных с повернутыми bounding boxes — задача реализуемая. Но нашу цель можно достигнуть проще, ведь область применения сети у нас гораздо уже — только для скрытия номерных знаков.
Поэтому мы решили начать с простой сети для предсказания четырёх точек номера, впоследствии можно будет усложнить архитектуру.
Данные
Сборка датасета разбивается на два шага: собрать картинки автомобилей и разметить на них область с госномером. Первая задача уже решена в нашей инфраструктуре: все объявления, которые были когда-либо размещены на Авито, мы аккуратно храним. Для решения второй задачи мы используем Толоку. На toloka.yandex.ru/requester создаём задание:В задании дана фотография автомобиля. Необходимо выделить номерной знак автомобиля, используя для этого четырёхугольник. При этом следует выделять государственный номер максимально точно.
С помощью Толоки можно создавать задания по разметке данных. Например, оценивать качество поисковой выдачи, размечать разные классы объектов (текстов и картинок), размечать видео и т.д. Их будут выполнять пользователи Толоки, за плату, которую вы назначите. Например, в нашем случае толокеры должны выделить полигон с госномером автомобиля на фото.
Для задачи классификации очень просто определить, ошибся размечающий или нет, а для задачи выделения области это не так просто. Классический способ — считать IoU.
Если это отношение меньше некоторого заданного порога для нескольких заданий, то такой пользователь блокируется. Однако для двух произвольных четырехугольников посчитать IoU не так просто, тем более, что в Толоке приходится это реализовать на JavaScript.
Мы сделали небольшой хак, и считаем, что пользователь не ошибся, если для каждой точки исходного полигона в небольшой окрестности находится точка, отмеченная разметчиком. Ещё есть правило быстрых ответов, чтобы блокировались слишком быстро отвечающие пользователи, капча, расхождение с мнением большинства и т.д. Настроив эти правила, можно ожидать довольно неплохую разметку, но если нужно действительно высокое качество и сложная разметка, нужно специально нанимать фрилансеров-разметчиков. В итоге наш датасет составил 4к размеченных картинок, и стоило всё это 28$ на Толоке.
Модель
Теперь сделаем сеть для предсказания четырёх точек области. Получим признаки с помощью resnet18 (11.7M параметров против 21.8M параметров у resnet34), далее делаем голову для регрессии в четыре точки (восемь координат) и голову для классификации, есть на картинке номерной знак или нет. Вторая голова нужна, потому что в объявлениях о продаже машины не все фотографии с машинами. На фото может быть деталь автомобиля.
Подобное нам, конечно, детектить не надо.
Обучение двух голов делаем одновременно, добавив в датасет фото без номерного знака с таргетом bounding box (0,0,0,0,0,0,0,0) и значением для классификатора «картинка с номерным знаком / без» — (0,1).
Тогда можно составить единую лосс функцию для обеих голов как cумму следующих лоссов. Для регрессии в координаты полигона номерного знака используем гладкий L1 loss.
Его можно интерпретировать как комбинацию L1 и L2, который ведёт себя как L1, когда абсолютное значение аргумента велико и как L2, когда значение аргумента близко к нулю. Для классификации используем softmax и crossentropy loss. Экстрактор признаков — resnet18, используем веса, предобученные на ImageNet, дальше дообучаем на нашем датасете экстрактор и головы. В данной задаче мы использовали фреймворк mxnet, так как он является основным для computer vision в Авито. Вообще, микросервисная архитектура позволяет не привязываться к конкретному фреймворку, но когда имеешь большую кодовую базу, лучше использовать ее и не писать тот же самый код заново.
Получив приемлемое качество на нашем датасете, мы обратились к дизайнерам, чтобы нам сделали номерной знак с логотипом Авито. Сначала мы конечно попробовали сделать сами, но выглядел он не очень красиво. Дальше требуется изменить яркость номерного знака Авито на яркость оригинальной области с номерным знаком и можно накладывать логотип на изображение.
Запуск в прод
Проблема воспроизводимости результатов, поддержки и развития проектов, решённая с некоторой погрешностью в мире backend- и frontend-разработки, всё ещё стоит открытой там, где требуется использовать модели машинного обучения. Вам наверняка приходилось разбираться в легаси коде моделек. Хорошо если в readme есть ссылки на статьи или опенсорс-репозитории, на которых базировалось решение. Скрипт для запуска переобучения может упасть с ошибками, например, поменялась версия cudnn, и та версия tensorflow уже не работает с этой версией cudnn, а cudnn не работает с этой версией драйверов nvidia. Может, для обучения использовался один итератор по данным, а для тестирования и в продакшене другой.
Так можно продолжать довольно долго. В общем, проблемы с воспроизводимостью существуют. Мы стараемся убрать их, используя nvidia-docker окружение для обучения моделек, в нём есть все необходимые зависимости для сuda, также туда устанавливаем зависимости для питона. Версия библиотеки с итератором по данным, аугментациями, инференсу моделек — общая для стадии обучения/экспериментирования и для продакшена. Таким образом, чтобы дообучить модель на новых данных, вам нужно выкачать репозиторий на сервер, запустить shell скрипт, который соберет докер-окружение, внутри которого поднимется jupyter notebook. Внутри у вас будут все notebook’и для обучения и тестирования, которые точно не упадут с ошибкой из-за окружения. Лучше, конечно, иметь один файл train.py, но практика показывает, что всегда требуется смотреть глазами на то, что выдаёт моделька и что-то менять в процессе обучения, так что в конце вы всё равно запустите jupyter.
Веса модели хранятся в git lfs — это специальная технология для хранения больших файлов в гите.
В результате: мы запустили замазывание номеров на объявлениях в категории авто для частников, 95 перцентиль времени обработки одной картинки для скрытия номера равен 250 мс.
Как заблокировать свой номер и скрыть идентификатор вызывающего абонента при совершении звонков
- Вы можете заблокировать свой номер телефона, чтобы он не отображался, когда вы звоните людям.
- Самый простой способ заблокировать свой номер — добавить *67 к любому номеру телефона, на который вы звоните.
- Вы можете навсегда заблокировать свой номер, обратившись к своему оператору связи или изменив настройки телефона.
Caller ID удобен — этого никто не может отрицать. Видеть, кто вам звонит, очень полезно, поскольку это позволяет вам принимать звонки от людей, которых вы действительно хотите слышать, и отфильтровывать спам.
Однако бывают случаи, когда вы можете захотеть заблокировать свой собственный номер, чтобы он не отображался в идентификаторе вызывающего абонента. Возможно, вы пытаетесь удивить свою вторую половинку или позвонить в компанию, о которой не хотите больше слышать.
Какой бы ни была ваша причина, номер вашего телефона легко заблокировать, независимо от того, какой у вас телефон. Как только вы это сделаете, вы будете отображаться как «Анонимный» или «Частный» на телефоне получателя.
Важно : Вы не можете заблокировать свой идентификатор вызывающего абонента при звонке 911 или 800 номеров. Кроме того, некоторые телефоны запрограммированы не принимать звонки с заблокированных номеров.
Используйте код *67*67 — это «вертикальный сервисный код» — один из нескольких кодов, которые вы можете набрать, чтобы разблокировать специальные функции вашего телефона. В частности, , добавление *67 к началу любого телефонного номера заблокирует ваш идентификатор вызывающего абонента , когда вы звоните по этому номеру.
Это быстрый и временный способ заблокировать ваш номер при совершении звонков. Его поддерживают почти все поставщики телефонных услуг, он работает как на смартфонах, так и на стационарных телефонах и абсолютно бесплатен.
Если вы хотите навсегда заблокировать свой номер при звонке определенному человеку, добавьте его в список контактов и сохраните его номер с *67 впереди.
Это автоматически заблокирует ваш номер, когда вы будете звонить этому контакту с этого момента.
Подсказка: Не путайте *67 с *69, где последний является популярным способом автоматического набора вашего последнего входящего вызова и работает только на стационарных телефонах.
Позвоните своему оператору телефонной связи Чтобы навсегда заблокировать свой номер, вы можете позвонить своему оператору телефонной связи и попросить его заблокировать ваш номер.
Обратите внимание, что вам может потребоваться указать причину изменения, и что некоторые телефонные компании взимают за это плату. Обязательно попросите четкое объяснение процесса, прежде чем согласиться на это.
Подсказка: После внесения изменений вы можете разблокировать свой номер для одного звонка, добавив *82 в начало номера, на который вы звоните.
Изменение настроек смартфонаЭта функция доступна не на всех телефонах и не у всех поставщиков услуг, но у большинства пользователей также есть возможность заблокировать свой номер вручную, изменив настройку на своем телефоне. Это заблокирует ваш номер до тех пор, пока настройки остаются измененными, что делает его отличным, если вам нужна долгосрочная блокировка.
Чтобы заблокировать свой номер на iPhone:
1. Откройте приложение Настройки , затем прокрутите вниз и коснитесь Телефон .
2.
В открывшемся меню выберите Show My Caller ID .
3. Вашему телефону потребуется некоторое время для подключения к поставщику услуг телефонной связи. Как только это произойдет, нажмите кнопку переключателя «Показать мой идентификатор вызывающего абонента», чтобы перевернуть его влево и отключить.
Загрузка этой страницы может занять несколько минут.
Уильям АнтонеллиЧтобы заблокировать свой номер на Android:
1. Откройте приложение Phone , коснитесь трех точек в правом верхнем углу и выберите «Настройки» или «Настройки вызова».
Откройте страницу настроек приложения «Телефон». Уильям Антонелли 2. Прокрутите вниз и выберите Другой вызов настройки или Дополнительные настройки — конкретная кнопка здесь будет отличаться в зависимости от того, какой у вас телефон вариант 018.
Если вы не видите ее на этой странице, вам может потребоваться выбрать другую кнопку Дополнительные настройки .
4. В появившемся всплывающем окне выберите Скрыть номер .
«Сеть по умолчанию» будет использовать любые настройки, выбранные вашим поставщиком услуг телефонной связи. Уильям АнтонеллиУильям Антонелли
Технический репортер для Insider Reviews
Уильям Антонелли (он/она/они) — писатель, редактор и организатор из Нью-Йорка.
Как один из основателей команды Reference, он помог превратить Tech Reference (теперь часть Insider Reviews) из скромного начала в гиганта, который привлекает более 20 миллионов посещений в месяц.
Помимо Insider, его тексты публиковались в таких изданиях, как Polygon, The Outline, Kotaku и других. Он также является источником технического анализа на таких каналах, как Newsy, Cheddar и NewsNation.
Вы можете найти его в Твиттере @DubsRewatcher или связаться с ним по электронной почте [email protected].
Как скрыть свой номер телефона | Шаг за шагом | Burner
Независимо от того, пытаетесь ли вы скрыть свой номер телефона, чтобы избежать перезвона или чтобы кто-то не знал, что звоните именно вы, существует довольно много способов заблокировать отображение своего номера в чужом идентификаторе вызывающего абонента.
И хотя заблокировать отображение своего номера в идентификаторе вызывающего абонента можно легко и бесплатно, как насчет того, чтобы узнать, как сохранить конфиденциальность своего номера телефона и при отправке текстовых сообщений? Существует множество причин, по которым вы не хотите давать свой номер телефона или хотите скрыть его от других.
Вот как безопасно скрыть свой номер телефона.
Как скрыть свой номер телефона для одного телефонного звонка
Если вы на работе и вам нужно быстро скрыть свой номер телефона, чтобы сделать важный звонок, или у вас нет времени на загрузку приложения Burner для телефона, большинство операторов позволяют вам чтобы скрыть свой номер для звонков и от ваших контактов.
Федеральная комиссия по связи фактически обязала всех операторов связи в Соединенных Штатах предоставить пользователям возможность блокировать отображение своего номера в идентификаторах вызывающего абонента (наряду с мандатами, защищающими вас от автоматических вызовов). Итак, скрыть свой номер, а иногда и имя за один простой телефонный звонок можно:
- Введите *67 перед целым номером, затем нажмите кнопку вызова.
- Если можете, сделайте тестовый звонок (доверенному другу или коллеге), прежде чем звонить контактному лицу, чтобы убедиться, что это работает.
- Если это не работает, попробуйте ввести #31#, прежде чем вводить номер телефона.
- Если это работает, ваш номер должен отображаться как «личный», «неизвестный» или «ограниченный».
Как скрыть свой номер телефона от контактов
Планируете делать много исходящих звонков и не хотите, чтобы кто-нибудь мог видеть ваш номер телефона? На iPhone и Android вы можете навсегда заблокировать свой номер, чтобы он не отображался в идентификаторе вызывающего абонента.
Для телефонов Android вам потребуется выполнить несколько вариантов следующих шагов:
- Откройте приложение «Телефон»
- Откройте меню и выберите «Настройки»
- Нажмите «Вызовы»
- Нажмите «Дополнительные настройки».
- Нажмите «Caller ID»
- Выберите «Скрыть номер»
Для iPhone вам необходимо: Показать моего звонящего ID”
Важно отметить, что Verizon в настоящее время не позволяет вам скрывать свой номер телефона на iPhone. Однако вы можете скрыть это, войдя в свою учетную запись Verizon через их веб-сайт или приложение My Verizon.
И хотя описанные выше действия довольно просты (и отлично подходят для быстрого решения проблемы или быстрого телефонного звонка), они не предназначены для долгосрочного решения. Во-первых, тому, кому вы звоните, совершенно ясно, что вы пытаетесь скрыть свой номер, когда он появляется как «ограниченный» или «анонимный». Во-вторых, эти приемы не позволяют скрыть номер телефона при переписке.
Используйте номер телефона Burner для звонков и текстовых сообщений
Вместо того, чтобы просто заблокировать номер телефона от отображения в идентификаторе вызывающего абонента или использовать метод * 67, почему бы не использовать вместо этого номер телефона Burner? Используя такое приложение, как Burner, вы можете легко подписаться на второй номер телефона, который при звонках или текстовых сообщениях будет отправлять эти звонки и сообщения прямо на ваш телефон, как обычно.
Таким образом, ваш личный номер остается закрытым, и никто, кто пытается связаться с вами или наоборот, не узнает, что вы намеренно пытаетесь скрыть свой номер.