Главная » Разное » Рейтинг в толоке: Рейтинг в Толоке перестали показывать в августе 2021

Рейтинг в толоке: Рейтинг в Толоке перестали показывать в августе 2021

| – Комментировать

Содержание

простой пайплайн ранжирования данных в Яндекс.Толоке / Хабр

Привет, Хабр! Меня зовут Дмитрий Браженко. Разработка продуктов и сервисов регулярно сталкивает нас с необходимостью выбрать лучший вариант: какая иконка красивее? Какая кнопка удобнее? Краудсорсинг – отличный способ учесть мнение потенциальных пользователей, проведя несложные UX-тесты.

Делюсь готовым решением – пайплайном для ранжирования данных. Код на гитхабе прилагается! Под катом расскажу, как запустить, на что обратить внимание, покажу несколько примеров использования.


Выбрать метод ранжирования

Существует три основных подхода к обучению и оцениванию моделей ранжирования:


  • поточечный (pointwise): на вход для сравнения подаются пары «запрос-документ», каждой из которых соответствует оценка краудсорсеров. Качество модели = точность оценки, полученной для пары «запрос-документ»;
  • попарный (pairwise): документы, соответствующие одному запросу, сравниваются между собой парами. Задача ранжирования – уменьшать число инверсий для пар документов, т.е. чтобы то, что было оценено хуже, не оказывалось в топе ранжирования;
  • списочный (listwise): асессор составляет список – «идеальную выдачу» – сравнение идёт с ней.

Подробнее про подходы к ранжированию можно прочитать, например, в презентации или в статье. Для пайплайна выбрал самый популярный – попарные сравнения. Всё-таки ответить на вопрос «Что хочется больше: яблоко или апельсин?» респондентам оказывается проще, чем оценить по шкале от 1 до 10, насколько хочется именно яблоко.


Подготовить шаблон к работе с данными

Перед тем как приступить к запуску пайплайна, понадобится:


  1. Зарегистрироваться в Толоке как заказчик.
  2. Получить OAuth-токен по ссылке (подробнее – в документации).
  3. Выбрать способ хранения файлов, задействованных в задании.

На последнем пункте на всякий случай остановлюсь поподробнее:


  • Если планируете размечать большой объём данных, удобно использовать произвольное постоянное S3-хранилище файлов. Например, Yandex.Cloud.Object.Storage.
  • Подойдёт и любое другое хранилище, которое позволяет получить URL на картинку (графический объект) вида https://sbs.s3.yandex.net/39a307e3f4859c96f37161b3ab00aa5daa99858fbd6df1b70f53fa9a649ea467.png

Полный флоу расчётов с пояснениями – на гитхабе. Весь приведённый код должен воспроизвестись, если указать свой токен заказчика (тем не менее, что-то может устареть и потребовать доработок). В статье я постараюсь сосредоточиться на содержательной стороне вопроса.


Ранжировать объекты

Что бы вы ни сравнивали – поисковые выдачи, интерфейсные решения, иконки, картинки и даже видео – суть метода не меняется: для наглядности покажу, как он работает, на конкретном примере.

Часто встречающаяся задача – выбрать вариант дизайна чего-либо. В таком случае есть хотя бы два варианта: новый и старый. Чтобы выбрать самый удачный, можно провести опрос, какой вариант лучше и почему. Вот так мы выбирали карточку для приложения Яндекса:

Чтобы взаимное расположение картинок не влияло на выбор, половине опрашиваемых покажем их в порядке (A|B), другой – (B|A).

После запуска эксперимента получим результаты в полусыром виде. В моём коде прописано как оформить их в виде таблички:

Группа людей Число проголосовавших “лево” Число проголосовавших “право”
Слева красная кнопка (A|B) 18 8
Слева белая кнопка (B|A) 7 17

Выполним несложные математические преобразования, чтобы понять, за какой цвет кнопки именно проголосовало больше людей.
Число выбравших красную кнопку: 18 + 17 = 35
Число выбравших белую кнопку: 7 + 8 = 15

Теперь представим результаты красивой табличкой, заодно подтянем примеры комментариев, которые оставляли наши респонденты (тоже есть в коде):

Красная кнопка Белая кнопка
Результат (pvalue=0. 007) 70% (35/50) 30% (15/50)
Примеры комментариев под каждым из вариантов На красном фоне белыми буквами более заметно и больше обращает на себя внимание чем красными буквами на белом фоне у объявления. красный цвет забирает на себя все внимание а белый нет

На что стоит обратить внимание:


  1. Для оценки статистической значимости результатов подойдёт классический биномиальный тест. Сравниваем две картинки: если они одинаковые, score каждой из них будет близок к 0.5 (смутило слово «score»? – не переживайте, в следующем разделе покажу, как его считать). Если картинки разные, мы должны с помощью статистического теста проверить, не случайный ли у нас у результат.
  2. Ещё раз напомню: одной половине респондентов выдаём картинки в виде (A|B), другой – (B|A).
  3. Не следует использовать такой подход как «серебряную пулю» и принимать решения исходя исключительно из полученных цифр. Причиной выбора может являться не сделанное изменение, а, например, дефект одного из макетов.
  4. «Garbage in – garbage out»: не стоит сравнивать заведомо плохие варианты, которые вы не стали бы отправлять в продакшн.

Ещё больше о том, как корректно поставить эксперименты Side-By-Side – на видео с Я.Субботника: подводные камни, границы применимости методики.

Теперь пример посложнее: увеличим количество ранжируемых объектов. Допустим, требуется отсортировать несколько картинок и выбрать лучшие из них для галереи фонов.


Вернёмся к идее pairwise подхода: проведём попарное сравнение картинок. Получится 6 ⋅ 5/2 сравнений. Каждой картинке присвоим простую метрику:

где – число раз, когда картинка победила соперника, – проиграла ему. Интерпретировать полученный score можно как «вероятность выигрыша против случайно взятого соперника из набора».

Дальше можно сортировать картинки по этому скору. В моем случае получилась такая сортировка:


Посмотреть результат упорядочивания

Совпало с вашим ожиданием?

На что стоит обратить внимание:


  1. Если вариантов очень много, то сравнивать каждый с каждым будет дороговато, можно попробовать придумать «опорные точки».
  2. В качестве сортировки можно использовать более умные скоры, например ELO-score.

Другие задачи, с которыми справится этот пайплайн

Используя Яндекс.Толоку, можно проводить куда более сложные тесты, чем парные сравнения картинок.

Таргетирование
Иногда для качественного ранжирования данных бывает важно учесть какие-то дополнительные факторы, влияющие на предпочтения – возрастные, социальные, территориальные. Попробуем запусить вот такой эксперимент сначала для респондентов из Москвы, а потом – из Санкт-Петербурга. Оформление одинаковое, отличаются только названия продукта:

Готовим два пула, проверяем в интерфейсе, что в настройках не случилось ошибок, запускаем.

Результаты предсказуемы:


  • в Москве предпочтительнее «шаурма»: её выбрали 78% респондентов;
  • в Санкт-Петербурге, хотя отрыв и меньше, лидирует «шаверма»: 54% против 46%.

Парные сравнения видео
Сравнивать можно не только картинки, но и видео. Например, чтобы понять, что люди думают про ваш рекламный ролик. Или просто собрать фидбек.

Есть два видео об Алисе:


Какое видео вам понравилось больше? Почему?


В нашем эксперименте получились такие результаты:

Видео 1
(Алиса-Мечта)		 Видео 2
(Алиса-Планка)
score 72% 28%
Пример комментария за каждый вариант Ребёнок вызывает больше приятных эмоций, чем слабак из 2-го варианта, который отжаться не может. В варианте 1 показана возможная практическая польза от алисы для развития ребёнка Более позитивный, в первом ребенок как мне кажется, не понял шутки

Более сложные тесты
Как видите, всё ограничивается только вашей фантазией, нужно лишь подправить шаблон в Толоке: опросники по картинке, 5-секундный UX-тест (подробнее – тут), тест на 1-й клик, Card Sorting – продолжить вдохновляться можно здесь.


Для таких тестов часто бывает полезно сделать скринкаст – запись того, как пользователь взаимодействовал со страницей. В этом нам поможет инструмент, входящий в Яндекс.Метрику, а именно Вебвизор. Его можно встроить в шаблон и смотреть, как пользователи работают с заданием. Для наглядности приведу видео:


Посмотреть запись скрикаста

Чтобы сделать вебвизорную запись, замените в коде с Гитхаба мой счётчик Яндекс.Метрики на ваш.


Вместо заключения

Спасибо, что дочитали до конца! Собрал основные тезисы и ссылки:


  1. Многие дизайны Яндекса проходят подобное тестирование. У нас существует автоматический пайплайн, который получает картинки, загружает их в Толоку, ждёт оценок и считает метрики.
  2. Толока – гибкий инструмент для выполнения краудсорсных задач – область применения ограничена только вашей фантазией. Вот тут рассказывали как обучать беспилотники и оценивать качество сервисов. А здесь коллеги из ODS создают датасет для распознавания счётчиков.
  3. Если у вас есть регулярный процесс с необходимостью «механической», монотонной работы, его несложно автоматизировать через API Толоки.
  4. Конфигурация и настройка заданий могут вызывать трудности – в тексте постарался подсказать, на что стоит обратить внимание. Для сбора результатов достаточно небольшого упорства и знания азов HTML/CSS/Js.
  5. Используйте код на Github. Можете контрибьютить – сделаем библиотеку шаблонов для Толоки.
  6. Есть продукты, которые тестировать в Толоке всё же не стоит: что-то нестандартное, не подразумевающее массового использования – неспециалистам будет очень сложно дать качественный фидбек, например, об утилите для управления космическим кораблём.

Как начать зарабатывать деньги на Яндекс Толока:инструкция ✅

Задачи размещены посередине сайта. Их можно взять в работу сразу. Если рядом с заданием есть кнопка «Обучение», ее нужно нажать. Обучение представляет собой тест, пройти который можно бесплатно.

Для удобства поиска подходящего задания можно пользоваться фильтром. С его помощью удается разделить предложения по категориям или заказчикам.

Пример выполнения задания

За большую часть заданий Толоки денежные средства начисляются мгновенно. Конечно, честность исполнителя потом все равно проверяют, но в случае обмана снижают рейтинг, оставляя средства на счету.

Существуют заказы с предварительной проверкой. В этом случае модератор сервиса оценивает работу, и при добросовестном исполнении оплачивает ее. Если заказ выполнен плохо, со счета пользователя снимают деньги и дополнительно понижают рейтинг.

Пример выполненной работы выглядит следующим образом:

  1. Исполнителю нужно выбрать задание и нажать «Приступить».
  2. Далее необходимо следовать инструкции, которая будет прописана перед работой. Некоторые задания подразумевают предварительное прохождение обучения.
  3. Третий шаг – выполнение задания. Например, нужно ответить, одинаковые картинки размещены на странице или нет. Когда будет сделан выбор, необходимо подтвердить выполнение задания, нажав соответствующую кнопку.

После выполнения задания появится баннер с благодарностью, и затем пользователь получит новую задачу. Если работа сделана некачественно или не пройден обучающий тест, система вернет сотрудника к списку заданий.

Рейтинг

Изначальный рейтинг зарегистрированного пользователя толоки – нулевой. С помощью этого показателя можно получить информацию о том, как исполнитель справляется с поставленными задачами. Минусовой рейтинг демонстрирует недобросовестность участника Толоки, и таких пользователей часто блокируют.

Узнать рейтинг можно в разделе «Мой профиль». Здесь указывается не только число рядом с именем, но также график, посредством которого удастся отследить изменения показателя.

Выделяют два вида рейтинга:

  1. Абсолютный. Он демонстрирует, насколько результативно решаются задачи исполнителем.
  2. Относительный. Показывает место исполнителя по качеству ответов, сравнивая с другими участниками проекта. Чтобы появиться в этом рейтинге, следует набрать минимум 80 баллов и появляться на портале, решая задачи.

Стоит отметить, что чем рейтинг также зависит от того, насколько часто пользователь заходит на портал. И если редко там появляться, то заработанные баллы быстро пропадут. Баллы рядом с именем дают исполнителю ряд преимуществ.

Во-первых, он получает доступ к выгодным заданиям, если рассматривать их со стороны заработка. Во-вторых, активные сотрудники сервиса получаю премию в размере 10-100 $.

Работа с телефона в приложении

Для тех, кто хочет стать корреспондентом известной компании Яндекс, сервис позволил скачать и установить специальное мобильное приложение. Исполнитель может фотографировать здания или давать оценку объектам и улицам города, отправляя мгновенные отчеты заказчику.

Чтобы скачать приложение на Android или iOS, необходимо ввести в поисковой строке игрового центра слово «Толока» и открыть первую ссылку на программу. После останется только скачать ее и воспользоваться, авторизовавшись или зарегистрировавшись в системе.

При выполнении заданий, связанных с объектами, зданиями и сооружениями важно, чтобы на фотографии отсутствовали люди. Поэтому приходится ждать, чтобы сделать хороший кадр.

Обновление данных о работе той или иной организации подходит активным и общительным людям. В этом случае потребуется разговаривать с сотрудниками разных компаний, делать фотографии внутри помещений и просить сопроводительные документы. Стоимость заказов зависит от города.

Снимки необходимо выполнять в Толоке. При этом следует заранее подключить GPS, чтобы смартфон сразу определял местоположение исполнителя. Также рекомендуется обеспечить себя постоянным выходом в интернет. Но если такой возможности нет, это не страшно. Фотографии останутся в системе и будут загружены автоматически, как только включится интернет.

Разновидности заданий

На сервисе много разнообразных заданий на всевозможные темы. Пользователь может:

  • выявлять дубли картинок;
  • проверять видео на качество;
  • аннотировать аудиозаписи;
  • проверять работоспособность видеоплеера.

Дополнительно Толока предлагает искать товары в магазинах. Существуют и другие, не менее интересные задачи. Примечательно, что чем выше рейтинг исполнителя, тем больше заданий ему доступно. При этом плата за них тоже повышается.

Как быстрее и больше заработать?

Оптимальный вариант увеличения заработка – выполнять заказы по будням. В эти дни на сервисе много заданий, и далеко не все пользователи могут зайти в сеть. Дополнительно рекомендуется не брать дорогие задачи, лучше отдавать предпочтение заказам, где требуется нажимать горячие клавиши.

Откровенно о плюсах и минусах из личного опыта

Преимущество Толоки в том, что она выступает в качестве неплохой подработки. С помощью выполнения заданий пользователь может увеличить доход за месяц. Также среди плюсов:

    • Доступность. Воспользоваться сервисом может каждый, кто прошел успешную регистрацию и кому исполнилось 18 лет.
    • Простые и понятные задания. При этом их много, поэтому заработать могут все.
    • Увеличение дохода с повышением рейтинга. Чем больше баллов у исполнителя, тем больше список задач.

У сервиса есть недостатки. Популярными являются ошибки, большое количество проверок и экзаменов, а также сложный вывод средств. Последний пункт требует подтверждения с паспортом, поэтому многие решают покинуть портал.

Сколько реально заработать?

Максимальный заработок на Толоке зависит от того, насколько работа привлекает исполнителя. Можно за день заработать не более 1 $, а можно больше 100 $. Если постараться, то средства, вырученные за выполнение заданий, станут прибавкой к заработной плате, позволяя докупать продукты или баловать себя.

toloka.yandex.com Отзывы | Читать отзывы о сервисе клиентов toloka.yandex.com

2 звезды

8%

1 -star

29%

MA

musawar ali 1

обзор

так легко зарабатывать сайт, но задача…

так легко зарабатывать сайт, но задача Патмент низкий. но действительно сайт.я зарабатываю 50$.

Дата опыта: 20 июня 2023 г.

Реклама

Взгляните

BP

BpZsolt 2

отзывов

90 032 Очень нечестная команда

Очень нечестная команда. 1-2 ошибки и вы навсегда потеряете доступ ко всем хорошо оплачиваемым заданиям.

Дата опыта: 15 июня 2023 г.

Виктор Курия 1

отзыв

Зарабатывать легко

Зарабатывать легко, так легко. Однако мои средства не снимаются независимо от того, сколько раз я следую инструкциям, и с компанией невозможно связаться, что очень расстраивает. Создайте номер телефона или адрес электронной почты, по которому к вам можно будет обратиться. Спасибо

Дата опыта: 18 мая 2023 г.

AN

Анна 3

отзывы

В разделе вопросов и ответов

В разделе вопросов и ответов , тебе нужно пойти к репетитору b4 и начать отвечать на их вопросы. Они продолжают промывать мозги своим вопросом, за которым следуют требуемые ответы, а не ваши.

Ответ на вопрос может быть разным для разных людей, разных регионов и разных культур. Запуск любых продуктов искусственного интеллекта с использованием их вопросов и ответов сложно конкурировать с другими компаниями. Хоть Q крутые, а вот А……

Дата опыта: 10.11.2022

Байдар 4

отзывов

Необходимо улучшить алгоритм фильтрации энт ожидает этого быть.


По этой причине многие люди не могут дать так называемые правильные ответы и пройти тесты, чтобы выиграть платные задания.

Что касается меня, я выбираю задачи, которые требуют навыков категоризации различных сущностей. Таким образом, я зарабатываю около 20 долларов в неделю. Хотя не каждую неделю.

Я рекомендую попробовать, если вы среднестатистический сообразительный и целеустремленный честный человек. Потому что пропуск заданий приводит к бану на их платформе.

Кроме того, я бы сказал, что было бы лучше, если бы вы попытались освоить некоторые реальные навыки, такие как графический дизайн, программирование и т. д., и внештатно работать на Fiverr, People per Hour и других платформах.

Дата опыта: 15 февраля 2023 г.

Реклама

Ник Шеридан 3

отзывов

Atrocious Company

Ребята, это российская компания, пытающаяся эксплуатировать рабочую силу в сверхнеразвитых странах, платя МЕНЕЕ доллара в день за краудсорсинговые услуги, чтобы заполнить пробелы ML. Какого обзора вы ожидаете? То, что какая-то компания будет пользоваться услугами Толоки, это действительно зверство.

Дата опыта: 14 сентября 2022 г.

AK

Акшат 5

отзывов

Я не буду предлагать этот сайт

Я не буду предлагать этот сайт. 2 звезды только за быструю оплату. Яндексу доверяют все знают но у их Толока много проблем типа рейтинга. Никогда не понимал их рейтинговую систему. Даже после хорошего выступления или получения 100 или 95 мой рейтинг снижался.

Дата опыта: 15 мая 2021 г.

MO

Деньги 1

обзор

Разблокировка аккаунтов занимает месяцы…

Разблокировка аккаунтов сейчас долгие месяцы просто просят разблокировать и говорят ждать спецов еще один счет открывается за один день, потому что на нем нет денег. мошенники, они блокируют счета с деньгами, которые имеют правдивые и законные реквизиты

Дата опыта: 11 декабря 2022 г.

MA

Мукул Асекар 1

обзор

Английский язык добавить на веб-сайт

На рабочем столе лока дает возможность зарабатывать деньги, но они не могут предоставить на английском языке . Кроме английского яз. они предоставляют на разных языках. такие как россия, французский и т. д. Я думаю, что если они хотят улучшить свои сайты и услуги, им следует добавить английский язык. так больше людей присоединяются к этому сайту.

Дата опыта: 01 октября 2022

Реклама

KN

Kent Nolasco 1

отзыв

Заработок возможен, если не тупой 🙂

Заработок возможен, ЕСЛИ ВЫ НЕ ГЛУПЫЕ

Лично я зарабатываю около 30-50$ каждый день. С небольшим количеством усилий сидя на моем ПК. Обязательно нужно дождаться появления конкретных высокооплачиваемых и простых заданий. Набраться терпения — единственный способ добиться таких заработков, не впадая в радикальную чепуху для честных.

Дата опыта: 07 июля 2022 г.

Невилл Волу 1

отзыв

Это нормальный сайт

Это нормальный сайт. Законный. Оплата за задание довольно низкая, спору нет. Возможно, контракты, которые они получают, также предусматривают низкую заработную плату (отсюда и вышеупомянутое заявление о низкой оплате труда). Toloka.yandex.com, если вы увидите этот обзор, пожалуйста, увеличьте запрашиваемую цену за контракт, чтобы компенсировать микроработников на вашей платформе. Спасибо. Оплата производится в течение максимум 48 часов после вывода средств (с этим тоже нужно поработать). Вы можете заработать до 100 долларов, скажем, за два месяца?🤷. Четыре звезды на данный момент.

Дата опыта: 08.02.2022

GS 11

отзывы

Плата за каждое задание — убожество

Оплата за каждое задание — убожество, некоторые заказчики отказываются от заданий под тем предлогом вы не сдали экзамен когда сдали, также в некоторых таках даже если вы отвечаете что сайт не открывается они считают ответ неверным. Так что слишком много времени, чтобы работать почти бесплатно. Есть сайты, которые платят намного лучше за меньшее время.

Дата опыта: 08 декабря 2021 г.

AH

Ахмед Хосни 1

отзыв

Они мошенники, скрывающиеся под маской легитимности 900 33

меня заблокировали заработав 50 баксов заявив что как в соответствии с положениями и условиями, мы имеем право заблокировать вас даже без объяснения причин.
действительно разочарован, оно того не стоит.

Дата опыта: 05 сентября 2022 г.

Реклама

SH

Sarah Ha 1

обзор

Процедура моего найма началась 17-го…

Моя процедура найма началась 17-го августа и закончилась 25-го октября. После прохождения 4 собеседований + домашнего задания мне сказали, что меня нельзя нанять по моей студенческой визе, зная, что я с самого начала рассказал в кадровой службе о своей визе. это пустая трата времени людей

Дата опыта: 26 октября 2021

хиджры

Абрар Хусейн 1

обзор

Это действительно замечательная и законная платформа…

Это действительно замечательная и законная платформа, на которой вы должны выполнять простые или иногда сложные задачи, но она действительно платит, и первый минимальный вывод составляет 1 доллар в PayPal и Skrill. Всего за последние два месяца я заработал 110 долларов. Это совершенно удивительно.

Дата опыта: 16 апреля 2021 г.

Markmantic 10

отзывов

Заработай доллар с Толокой

Когда я впервые наткнулся на это приложение в популярной социальной сети, я сомневался его достоверность. Что-то во мне подсказало мне попробовать. Я это сделал, и с тех пор у меня нет ауры сожаления об использовании этого приложения, чтобы заработать дополнительные деньги, и я всегда с нетерпением жду ежедневных опросов / вопросов, которые они размещают в приложении. Это был прекрасный опыт на всем пути; даже несмотря на то, что плата за опрос может быть скудной, но эй, небольшие капли цента время от времени превращаются в доллар. Я думаю, стоит потратить на это время; просто попробуйте, и вы не пожалеете, что сделали. Они настоящие и выплачиваются мгновенно. Большой палец вверх руководству и разработчикам этого прибыльного приложения. Я должен признать, что вы все отлично справились с этой инициативой.

Дата опыта: 30 мая 2021 г.

KittyCat Minion 12

отзывов

Толока: Ужасно низкая оплата, крайне плохое «обучение». Нет настоящей работы.

Ужасно низкая оплата, глючное приложение и бесконечные очень неудачные попытки английского языка в инструкциях к каждому заданию. Скорее всего, вам будет предоставлено много неоплачиваемого (и часто ужасного качества) «обучения», но очень мало фактической работы.

Обучение — это действительно пустая трата времени из-за ужасающего контроля качества.

Например, «Сообщите нам, вопросы это или нет».

(1) Являются ли львы разновидностью кошек
(2) Почему я люблю слонов
(3) Нравится ли мне плавать

Вы должны притворяться, что их выбор вообще имеет смысл, и очевидно (2) это вопрос. Хотя это явно не так. Таким образом, в значительной степени преодоление мусорного обучения является полностью догадкой или основано на удаче.

На самом деле это жалко.
Даже крупные компании превращают эти жалкие «обучения» в пустую трату времени. Амазон особенно виноват в этом.

Тогда вам *может* быть предложено десять минут работы за потрясающую плату в 1-3 цента США.
Вроде… Только не заморачивайся. Действительно.

Дата опыта: 22 июля 2021 г.

Реклама

Эдуардо Хосе Торчелло 9

отзывов

Большинство задач выполняется…

Большинство заданий выполняют неграмотные люди, выдающие себя за тренеров или даже пытаясь оценить мое понимание английского или испанского, Несколько предложений бессмысленны даже после мысленного преодоления текстовых ошибок, намекая на то, что это люди, которые даже по-русски толком не говорят. Один заканчивает тем, что отказывается от задания и получает плохую оценку. Нет возможности от чего-то отказаться и быть поставленным на рассмотрение.

Дата опыта: 16 августа 2021 г.

ME

Mukherjee Enterprises 3

отзывов

Честный обзор приложения для заработка, Толока

Это одно из лучших приложений для заработка, а также вы можете заработать быстро заработать много денег, выполняя различные типы микрозадач. Самая уникальная его особенность заключается в том, что они будут проходить тест любой задачи с подробными инструкциями, и в соответствии с вашим кредитным рейтингом вы будете иметь право на платные задачи, соответствующие этой микрозадаче. Я заработал 19 долларов.10 до сих пор всего 4 дня, но после этого здесь нет доступных заданий. Итак, у меня в голове постоянно крутится неоднозначная реакция на это приложение! Вместо всего этого я искренне рекомендую всем установить это приложение и выполнять все микрозадачи, чтобы заработать много денег, не вкладывая ни копейки в качестве фрилансера!

Дата опыта: 24 мая 2021 г.

AM

Amilaaka 5

отзывов

Яндекс Толока-Лучшее приложение для заработка

Это лучший сайт для заработка. Я зарегистрировался в ноябре прошлого года и очень доволен тем, как он работает. После первого платежа (первый платеж будет получен через неделю) он будет переведен на мой счет Paypal в течение минуты. В отличие от других сайтов микровакансий, это намного лучше и на нем легко заработать. Я рекомендую этот сайт как полностью легальный сайт для заработка.

Дата опыта: 15 января 2021 г.

Это ваша компания?

Зарегистрируйте свой профиль, чтобы получить доступ к бесплатным бизнес-инструментам Trustpilot и общаться с клиентами.

Получить бесплатную учетную запись

Посмотреть

Реклама

Категория
  • Электроника и технологии

Опыт Trustpilot

Любой может написать отзыв на Trustpilot. Люди, которые пишут отзывы, имеют право редактировать или удалять их в любое время, и они будут отображаться до тех пор, пока активна учетная запись.

Компании могут запрашивать отзывы с помощью автоматических приглашений. Помеченные как «Проверено», они посвящены подлинному опыту.

Узнайте больше о других видах обзоров.

Мы используем преданных своему делу людей и умные технологии для защиты нашей платформы. Узнайте, как мы боремся с поддельными отзывами.

Вот 8 советов по написанию хороших отзывов.

Проверка может помочь убедиться, что реальные люди пишут отзывы о реальных компаниях.

Поощрение за отзывы противоречит нашим правилам. Мы также гарантируем, что все отзывы публикуются без модерации.

Взгляни поближе

Обзор Толока: закон или развод?

Обзор Толоки: Легальный способ заработать на микрозадачах? (Подробное исследование 2023 г.

)
  • Категория сообщения: