Насколько эта информация корректна?

Как количественные и качественные данные влияют на принятие решений о продукте

Качественные данные или количественные? Все компании на определённом этапе задумываются о преимуществах этих двух типов данных.

Многие впадают в крайности, слишком полагаясь на обратную связь от потребителей или же наоборот, пытаясь подкрепить любое из своих решений статистическими подсчётами. На деле же отдать приоритет какому-либо одному из типов данных невозможно.

Оптимальный вариант — использовать их совместно, считают специалисты международного сообщества Mind the Product Гленн Блок и Тимо Холхорст.

В чём разница

Для начала необходимо чётко определить, что подразумевается под этими понятиями.

Говоря простым языком, количественные данные — это информация, которую можно измерить и представить в виде чисел. Например, сколько раз использовалась та или иная опция или сколько просмотров набрала та или иная страница сайта. Качественные данные — это субъективная информация, которую нельзя измерить: например, насколько какая-либо функция удобна в использовании.

В контексте менеджмента продуктов эти понятия обозначают собранные от пользователей сведения об их опыте взаимодействия с продуктом.

Количественные данные собирают при помощи опросов, встроенных в приложения метрик и A/B-тестирования, а качественные — из интервью, звонков, почтовой переписки или обычных бесед с потребителями. Ещё один аспект данных — достоверность («жёсткость») и недостоверность («мягкость»).

Количественные данные считаются достоверными: они измеримы и однозначны. Качественные данные, напротив, недостоверны, то есть субъективны и отражают личную точку зрения лишь отдельных людей.

Чтобы принять взвешенное решение по продукту, необходимо учитывать оба вида данных. Оба они описывают поведение пользователей, но каждый — с разного ракурса и с разной степенью детализации. Достоверные данные более точны, так как основаны на измерениях — например, сколько пользователей совершают определённое действие.

Они также позволяют лучше представить впечатление пользователей от продукта, например, через среднее время ожидания ими отклика сайта. Недостоверные данные дают гораздо больше деталей и контекста пользовательского поведения: «из-за этой опции я не могу работать», «эта функция для меня важна» или «мне не нравится такой интерфейс — он слишком перегружен».

По мнению экспертов, именно эта субъективность помогает компаниям улучшить продукт.

То, как количественные и качественные данные могут дополнять друг друга, можно показать на примере А/В тестирования, помогающего выяснить, каким цветом оформить кнопку призыва к действию при проектировании интерфейса — зелёным или оранжевым.

Получив статистически значимые результаты, можно понять, какой из цветов лучше использовать, но не то, почему один цвет окажется предпочтительнее другого.

Эту информацию можно получить, изучив недостоверные данные, например, комментарии пользователей во время проведения тестов, вроде «я и не заметил эту кнопку — она как-то сливается с фоном».

Почему важны оба вида данных

В примере выше может показаться, что достоверных данных будет вполне достаточно, чтобы действовать дальше, ведь задача определить, какого цвета кнопка эффективнее, успешно решена. Даже если это так в данном отдельном случае, понять, почему тот или иной цвет привлёк потребителей больше, возможно только если продолжить разбираться глубже.

Можно пообщаться с потребителями и спросить их мнение — это поможет лучше понять их предпочтения в целом, а информация пригодится в дальнейшей разработке продуктов.

Но если в данном тесте выиграла зелёная кнопка, значит ли, что все остальные кнопки стоит также перекрасить в зелёный, или же зелёный будет выглядеть лучше лишь в данном контексте — чтобы ответить на этот вопрос, нужно больше недостоверных, «мягких» данных.

«Качественные данные позволяют сузить круг правильных вопросов благодаря пониманию проблем потребителя, того, что для них важно и почему. Достоверные данные дают чёткие ответы на чёткие вопросы, как только вы их определили», — размышляет на тему комбинирования обоих видов данных менеджер группы в компании Zillow Сергей Шевлягин.

С чего начать

В менеджменте продукта универсального ответа на этот вопрос нет. С каких данных начинать, зависит от контекста, измеряемых характеристик и доступных данных.

Когда начинать с количественных данных

Принимая решения в условиях высокой неопределённости, обычно полагаются на достоверные данные. Например, если компания планирует добавить новый продукт в портфолио, она может собрать все имеющиеся идеи в анкету, которую потом разослать клиентам.

Это позволит выяснить, найдут ли эти идеи отклик среди пользователей (по крайней мере тех, которые решат выполнить анкету до конца), но не покажет, почему та или иная идея заинтересовала их больше или же то, какими более важными проблемами могла бы заняться компания.

Для интерпретации полученных результатов потребуются «мягкие» данные.

Другое направление, где весьма полезны «жёсткие» данные — выявление закономерностей в поведении пользователей. Допустим, проанализировав поведенческие данные покупателей некоторый интернет-магазин выяснил, что они не пользуются предлагаемыми скидками.

На первый взгляд можно сделать вывод, что предложения недостаточно привлекательны, и их нужно или подкорректировать, или вообще удалить. Но это предположение может быть ошибочным: если в попытке добраться до истины провести опрос, может оказаться, что эти скидки пользователям просто было сложно заметить на странице.

Основываясь исключительно на «жёстких» данных, магазин рисковал пойти по ложному пути, так как видел бы лишь часть общей картины.

Когда начинать с качественных данных

Альтернативный способ выяснить, какой создавать продукт, — начать с недостоверных данных.

Из общения с существующими или же потенциальными клиентами можно вынести много полезного об их проблемах и потребностях, и потом использовать эти знания для формирования таких продуктов, которые будут нести максимальную ценность для той или иной целевой аудитории.

Далее можно заняться сбором «жёстких» данных, чтобы подтвердить предположения. Если начинать со сбора субъективных «мягких» данных, можно корректнее подобрать вопросы для анкет, а также правильнее организовать эксперименты, чтобы подкрепить очевидно правильные предположения достоверными данными.

Когда имеется больше достоверных «жёстких» данных, обычно начинают с «мягких». Допустим, нужно найти оптимальный способ повысить конверсию интернет-магазина. Для этого уже имеются достоверные данные о поведении пользователей, которые покажут возможные проблемные моменты.

Однако, если эти показатели нестабильны и изменчивы, то можно сделать вывод лишь о том, что происходит, но не почему именно пользователи ведут себя тем или иным образом.

Ключ к решению проблемы содержат именно «мягкие» данные: без них можно продолжать решать неправильные проблемы или неправильный аспект правильной проблемы.

Цикл данных о клиентах

Достоверные и недостоверные данные тесно взаимосвязаны. Начав с достоверных, можно выяснить значимые сценарии использования продукта.

Это позволит проводить опросы, которые помогут лучше понять контекст или же подтолкнут к новым идеям, значимость которых позже можно проверить через имеющиеся достоверные данные.

В отдельных случаях они позволят получить другие не менее полезные достоверные данные. То же самое применимо, если начинать с недостоверных данных.

Отличный пример такого цикла — мобильное приложение для медитации Calm. После запуска функции напоминания, команда заметила, что ею пользуется только 1 процент клиентов.

Дальнейший анализ показал, что коэффициент удержания среди них был в три раза выше, чем среди остальных пользователей. Пытаясь понять, почему клиенты не пользуются напоминаниями, команда Calm изучила страницу настроек и предположила, что функция была неудобно расположена на ней.

Отталкиваясь от этого, команда преобразовала страницу, сделав функцию более броской и подталкивая пользователей создавать напоминания.

После некоторых испытаний разработчики обнаружили, что теперь 40 процентов пользователей, которые видели подсказку, ставили напоминания, а метрика удержания возрастала в те же три раза. Всё это команде Calm удалось благодаря балансу достоверных и недостоверных данных.

Осторожно с предположениями

Даже при анализе как достоверных, так и недостоверных данных, полученные результаты всё равно могут оказаться неправильными.

Например, как верно истолковать имеющиеся метрики использования той или иной функции и как действовать на основе полученных выводов, насколько универсальны и правдивы результаты опросов, и действительно ли сделанные исследователями выводы были объективны — к любым получаемым данным нужно относиться критически.

Не нужно выбирать

Необходимо признать важность использования обоих видов данных — и качественных, и количественных.

Не зная, в какой мере обратная связь от небольшой группы пользователей будет важнее по сравнению со всей клиентской базой, можно переоценить её важность.

Не разобравшись, почему в поведенческих данных пользователей прослеживается та или иная закономерность, можно решать неправильные проблемы, или правильные, но неправильным образом.

Задача менеджера по продукту — собрать как можно больше информации о потребителе, что поможет выбрать перспективное направление развития продукта. В основе принимаемых по продукту решений должен лежать баланс качественных и количественных данных.

Источник: https://dev.by/news/pochemu-odinakovo-vazhny-kak-kolichestvennye-tak-i-kachestvennye-dannye

Некорректно или не корректно?

› Орфография ›

Вот, к примеру, хотите вы написать человеку, что в одной щекотливой ситуации он поступил не очень хорошо, а правильнее сказать, некорректно.

НО! Не слишком уверены в том, как правильно пишется: некорректно или не корректно. И действительно, в этом случае было бы особенно обидно: указывать человеку на его ошибку, а самому написать неверно.

Вот чтобы не попасться в такую ловушку, нужно разобраться, как пишется это слово: слитно или раздельно? Разбираемся.

Употребление слова некорректно

Прежде всего нужно сказать, что некорректно – это наречие образа действия, означающее либо просто ошибку: «написано некорректно», либо бестактное поведение: «он поступил некорректно». Наречие это происходит от прилагательного «некорректный», где «не» – это приставка, «коррект» – корень, а также два суффикса: «н» и «о».

В русском языке, как мы знаем, есть правило, говорящее, что слитное написание «не» с наречиями уместно в случае, если появившееся в результате слово является противопоставлением исходному:

правильно – неправильно, то есть ошибочно;
весело – невесело, то есть грустно;
сильно – несильно, то есть слабо

и так далее. Таким образом, «не» в новом слове выступает приставкой и пишется слитно.

Впрочем, в редких случаях некорректно может быть не наречием, а омонимичной формой краткого прилагательного, в случае если оно относится к существительному – среднего рода в единственном числе и отвечает на вопрос «каково?». При этом начальная форма – «корректный». Сравним:

Ваше выступление в конце было (какое?) некорректное. – Ваше выступление в конце было (каково?) некорректно.

Так или иначе «НЕ» с наречием «корректно» пишется слитно.

Примеры предложений

Ирина Петровна поступила некорректно, сообщив всем родственникам о том, что племянница собирается выйти замуж за кубинца Диего.
Павел заметил некорректно внесённые данные и велел срочно переделать квартальный отчёт.
Наталья обиделась на некорректно высказанное замечание в адрес её лучшей подруги.
Из-за некорректно записанных фамилий у журналиста возникли проблемы сразу же после записи интервью.
Иван выпил лишнего и в итоге повел себя крайне некорректно.

Употребление слов не корректно

Однако в зависимости от контекста и построения фразы это наречие может быть написано с частицей «не» раздельно! Разумеется, для этого случая в русском языке тоже существуют свои правила.

Во-первых, пишем «не» отдельно тогда, когда во фразе существует противопоставление с противительным союзом «а»: «не корректно, а с ошибками».

Во-вторых, раздельное написание возникает, когда в предложении стоят пояснительные слова, усиливающие отрицание, и слова с частицей «не», такие как «отнюдь не», «вовсе не», «ничуть не», «далеко не», «нисколько не»: «ничуть не корректно».

Отдельно нужно подчеркнуть следующее: пояснительное слово «совсем» может стать причиной как слитного, так и раздельного написания наречия некорректно/ не корректно:

Если слово «совсем» выступает в значении «очень», то пишем слитно: «он ведёт себя совсем (очень) некорректно».
Если же в значении «никоим образом» — пишем раздельно: «совсем (никоим образом) не корректно»

Синонимы слова

Синонимами могут выступать слова «неверно», «неправильно», «неточно» в значении «ошибка».

В отношении поведения людей схожими по значению словами могут быть «нетактично», «бестактно», «невежливо», «грубо».

Ошибочное написание

Ошибкой будет написать слитно там, где нужно раздельно, и наоборот. Также неправильно писать «некоректно», «не коректно».

Заключение

Итак, чтобы не ошибиться в правописании этого простого, по сути, наречия, достаточно обратить внимание на контекст, наличие или отсутствие противопоставлений, союза «а» и зависимых слов.

Маша некорректно ответила на вопрос учителя (=ошибочно)
Вася поступил далеко не корректно (=усиление отрицания) Некорректно или не корректно? Ссылка на основную публикацию

Источник: https://correctno.ru/orfografiya/nekorrektno_ili_ne_korrektno

О-большое. Оценка скорости алгоритма

Специальная нотация «О-большое» описывает скорость работы алгоритма. Зачем вам это? Время от времени вам предется использовать чужие алгоритмы. Поэтому неплохо было бы понимать, насколько быстро или медленно они работают. В этой статье я объясню, что представляет собой «О-большое», и приведу список самых распространенных вариантов времени выполнения для некоторых алгоритмов.

Время выполнения алгоритмов растет с разной скоростью

«О-большое» описывает, насколько быстро работает алгоритм. предположим, имеется список размером n. Простой поиск должен проверить каждый элемент, поэтому ему придется выполнить n операций.

Время выполнения «О-большое» имеет вид О(n). постойте, но где же секунды? А их здесь нет — «О-большое» не сообщает скорость в секундах, а позволяет сравнить количество операций.

Оно указывает, насколько быстро возрастает время выполнения алгоритма.:

Такая запись сообщает количество операций, которые придется выполнить алгоритму. Поэтому, она называется «О-большое», потому что перед количеством операций становится символ «О».

«О-большое» определяет время выполнения в худшем случае

Предположим, вы используете простой поиск для поиска фамилий в телефонной книге. Вы знаете, что простой поиск выполняется за время O(n), то есть в худшем случае вам придется просмотреть каждую без исключения запись в телефонной книге.

Но представьте, что искомая фамилия начинается на букву «А» и этот человек стоит на самом первом месте в вашей книге. В общем, вам не пришлось просматривать все записи — вы нашли нужную фамилию с первой попытки.

Отработал ли алгоритм за время O(n)? А может, он занял время O(1), потому что результат был получен с первой попытки?

Простой поиск все равно выполняется за время O(n). просто в данном случае вы нашли нужное значение моментально; это лучший возможный случай. Однако «О-большое» описывает худший возможный случай.

Фактически вы утверждаете, что в худшем случае придется просмотреть каждую запись в телефонной книге по одному разу. Это и есть время O(n).

И это дает определенные гарантии — вы знаете, что простой поиск никогда не будет работать медленнее O(n).

Типичные примеры «О-большого»

Ниже перечислены пять разновидностей «О-большого», которые будут встречаться вам особенно часто, в порядке убывания скорости выполнения.

O(log n), или логарифмическое время. Пример: бинарный поиск.
O(n), или линейное время. Пример: простой поиск.
O(n * log n). Пример: эффективные алгоритмы сортировки (быстрая сортировка)
O(n2). Пример: медленные алгоритмы сортировки (сортировка выбором)
O(n!). Пример: очень медленные алгоритмы.

Основные результаты:

Скорость алгоритмов изменяерся не в секундах, а в теме роста количества операций.
По сути формула описывает, насколько быстро возрастает время выполнения алгоритма с увеличением размера входных данных.
Время выполнения алгоритмов выражается как «О-большое».
Время выполнения O(log n) быстрее O(n), а с увеличением размера списка, в котором ищется значение, оно становится намного быстрее.

Наглядное представление «О-большое»

Допустим, вы должны построить сетку из 16 квадратов:

Алгоритм 1:

Как вариант можно нарисовать 16 квадратов, по одному за раз. Напоминаю: «О-большое» подсчитывает количество операций. В анном примере рисование квадрата считается одной операцией. Нужно нарисовать 16 квадратов. Сколько операций по рисованию одного квадрата придется выполнить?

Чтобы нарисовать 16 квадратов, потребуется ё6 шагов. Как выглядит время выполнения этого алгоритма?

Алгоритм 2:

А теперь попробуем иначе. Сложите лист пополам.

На этот раз операцией считается сложение листа. Получается, что одна операция создает сразу два прямоугольника!

Сложите бумагу еще раз, а потом еще и еще.

Разверните листок после четырех сложений — получилось замечательная сетка! Каждое сложение удваивает количество прямоугольников. За 4 операции вы создали 16 прямоугольников!

При каждом складывании количество прямоугольников увеличивается вдвое, так что 16 прямоугольников строятся за 4 шага. Как записать время выполнения этого алгоритма? Напишите время выполнения обоих алгоритмов.

Ответы: алгоритм 1 выполняется за время O(n), а алгоритм 2 — за время O(log n).

Упражнения на понимание «О-большое»

Приведите время выполнения «О-большое» для каждого из следующих сценариев.

Известа фамилия, нужно найти номер в телефонной книге.
Известен номер, нужно найти фамилию в телефонной книге. (Подсказка: вам придется провести поиск по всей книге!)
Нужно прочитать телефоны всех людей в телефонной книге.

Ответы:

Источник: https://world-hello.ru/algorithms/o-bolshoe-ocenka-skorosti-algoritma.html

Погрешность 30%: насколько точны данные SimilarWeb и «Яндекс.Радара» — Маркетинг на vc.ru

Самым быстрым и простым способом провести конкурентную разведку, оценить посещаемость интересующего сайта и увидеть из каких каналов он получает трафик, долгое время был SimilarWeb. С недавних пор к нему добавился еще и Яндекс.Радар. Но насколько точны данные, получаемые таким путем, и можно ли на них полагаться?

Компания OWOX провела исследование, сравнив точность данных SimilarWeb и Яндекс.Радар с данными Google Analytics на выборке из 550 сайтов. В среднем отклонение по количеству уникальных пользователей в обоих проектах – около 25%. У SimilarWeb отклонение больше зависит от посещаемости проекта, у Яндекс.Радар – от ниши. Более подробно рассказывает CEO OWOX Влад Флакс.

Для трезвой оценки рекламных кампаний нужны не только абсолютные результаты, но и возможность сравнить их с рынком. Например, маркетинг не выполнил план на 5% – это какой результат? Если рынок при этом вырос на 10% — то результат слабый, а если рынок просел на 10%, то хороший.

Источниками таких данных могут служить SimilarWeb и недавно запустившийся Яндекс.Радар. Сложность в том, что многие пользователи замечали, что в этих данных есть погрешность, но не знали, какая именно и насколько можно доверять полученным цифрам.

С одной стороны, такие сервисы и не должны давать точные данные — они служат для отслеживания трендов и независимого сравнения сайтов между собой.

С другой стороны, мы заметили, что их показатели значительно отличаются от данных Google Analytics. Иногда в большую сторону, иногда в меньшую, и тренд из-за этого получался неправильным.

Конечно, и данные в Google Analytics не абсолютно точные, но в целом мы считаем что они ближе к истинному значению, чем вычисленные косвенным путем.

Поэтому мы решили сравнить точность данных SimilarWeb и Яндекс.Радар с доступными нам в OWOX BI данными Google Analytics. Для сравнения использовались анонимные обезличенные данные 550 сайтов с посещаемостью более 100 тыс. уникальных пользователей в месяц.

Наша задача была ответить на вопрос «Насколько данные SimilarWeb и Яндекс.Радар отличаются от Google Analytics и от чего это зависит?»

Но для начала стоит понять, откуда эти сервисы берут данные.

Природа данных

С Google Analytics все просто – скрипт встроен в код вашего сайта и собирает данные о поведении пользователей. Эта статистика недоступна третьим лицам.

SimilarWeb использует несколько сотен источников, которые можно условно разделить на 4 группы:

Глобальные панельные данные с сотен миллионов компьютеров и мобильных устройств. Это анонимная информация, которая не позволяет идентифицировать пользователя. Браузерные расширения и мобильные приложения собирают данные о том, какие сайты он посещает и как переходит с одного на другой.
Глобальные данные интернет-провайдеров с миллионами подписчиков.
Публичные источники данных с более чем миллиарда сайтов и приложений страниц.
Прямые измерения данных с сотен тысяч сайтов и приложений

Яндекс.Радар выделяет 10 000 сайтов по наибольшему количеству посетителей из России. формируется на основе агрегированных обезличенных данных Яндекс.Браузера, Элементов Яндекса, Визуальных закладок, а также браузерных расширений и других продуктов Яндекса. По умолчанию данные аналитических сервисов Яндекса не учитываются.

Как считали погрешность

Чтобы определить, с какой погрешностью эти сервисы определяют посещаемость сайтов, мы сделали следующее:

Взяли обезличенные данные сайтов с посещаемостью от 100 тыс. уникальных пользователей (сайты, к которым имеет доступ OWOX BI)
Дополнили их данными о количестве уникальных пользователей из SimilarWeb и Яндекс.Радар за ноябрь 2018 года
Отфильтровали сайты, для которых в Google Analytics были аномально низкие значения. (Например, если по данным Google Analytics количество пользователей было на порядок меньше, то, вероятнее всего, Google Analytics собирает неполные данные из-за фильтров в представлении).

При этом и у SimilarWeb, и у Яндекс.Радар отклонение сильно зависит от ниши:Для сравнения в качестве метрики мы выбрали уникальных пользователей, так как алгоритм формирования сессий у разных сервисов отличается. Период – ноябрь, потому что декабрь для многих проектов является аномальным месяцем.

В результате мы получили для анализа данные 550 сайтов и вот что увидели.

Результаты

По данным Яндекс.Радар количество уникальных пользователей выше, чем значение в Google Analytics, для 29% сайтов. У SimilarWeb — для 27% сайтов. В целом можно сказать, что Яндекс.Радар и SimilarWeb чаще показывают значение ниже, чем в Google Analytics. Мы здесь специально не используем критерий «правильное» или «неправильное», потому что это зависит от того, с чем вы сравниваете.

Стандартное отклонение у SimilarWeb – 29%, у Яндекс.Радар – 31%. Причем у SimilarWeb оно меньше зависит от посещаемости проекта (в пределах 1-2%), тогда как у Яндекс.Радара – отклонение до 4%.

При этом и у SimilarWeb, и у Яндекс.Радар отклонение сильно зависит от ниши:

Можно предположить, что это связано с природой данных в обучающей выборке, которую сервисы использовали в своих моделях. Например, SimilarWeb активнее использует аддоны, а Яндекс.Радар – Яндекс.Метрику. Это объясняет меньшее отклонение для ecommerce проектов и большее для медийных.

Так что, если вы работаете в ecommerce проекте и вас лишили премии за то, что у конкурента посещаемость по данным Similarweb на 20% больше, то с вероятностью 45% это сделали несправедливо.

Что все это означает

Однозначно и SimilarWeb, и Яндекс.Радар служат ценным источником рыночных данных.

Но использовать их надо, как и любой аналитический инструмент, с пониманием природы собранных данных и погрешности измерения, так как для многих расчетов и отклонение в 30% может оказаться критичным.

Надеемся, что полученные результаты помогут вам повысить качество решений, которые вы принимаете на основе данных.

Источник: https://vc.ru/marketing/61282-pogreshnost-30-naskolko-tochny-dannye-similarweb-i-yandeks-radara

Что нужно знать о валидности заказчику оценки — FORMATTA

На осенней конференции «Оценка персонала» журнала «Штат» генеральный директор Formatta Евгений Куприянов выступал с докладом о валидности оценки. Мы публикуем текст его выступления. Это не научный доклад, а статья-обзор для заказчиков оценки: на простых и понятных примерах вы узнаете, что такое валидность и при каком показателе валидности оценка экономически оправдана.

Тема валидности становится всё популярнее в HR-сообществе. В 90-е, когда российские компании только начинали привлекать оценку персонала для решения бизнес-задач, акцент делали на разработке инструментов и методов, а их валидность интересовала далеко не всех заказчиков.

Затем стало модно говорить о валидности, и многие провайдеры, пользуясь тем, что заказчики недостаточно разбирались в теме, предъявляли мифические 0,95 как показатель валидности своих инструментов.
Сегодня мы наблюдаем другую тенденцию: академический подход к измерению валидности проник в бизнес.

Всё меньше компаний доверяют мифическим показателям и всё чаще требуют от провайдера результатов исследования валидности оценочного инструмента.

Какие значения может принимать валидность

Валидность — это коэффициент корреляции между результатами оценки и независимым критерием: мы выбираем внешний критерий и смотрим,
насколько результаты оценки ему соответствуют и насколько мы можем доверять прогнозу, который делаем по итогам оценки.

Этот коэффициент принимает значения от минус единицы до единицы. Чем выше валидность, тем выше точность прогноза. Если валидность равна нулю, значит, взаимосвязи между результатами оценки и выбранным критерием нет: количество ошибок и точных прогнозов примерно одинаково. Бывает отрицательная валидность: в этом случае прогноз по итогам оценки будет оправдываться «наоборот».

Валидность бывает нескольких видов — это зависит от внешнего критерия,
с которым сравнивают результаты проведённой оценки. Остановимся подробнее на каждом виде валидности и критериях её измерения.

Виды валидности и критерии
для её измерения

Конструктная валидность — внешним критерием становятся результаты другого инструмента оценки, который измеряет те же характеристики.

К примеру, мы хотим измерить конструктную валидность мотивационного опросника: находим инструмент, которые оценивает те же факторы мотивации, и сравниваем результаты двух инструментов.

Конструктная валидность показывает, насколько они соотносятся между собой.

Конкурентная валидность — сравниваем результаты оценки выбранного инструмента с показателями текущей или прошлой эффективности. Это может быть балл в системе performance management, результаты обучения, показатели продаж, коэффициент удовлетворённости клиента сервисом.

Прогностическая валидность показывает, насколько соотносятся результаты оценки и показатели будущей эффективности сотрудника.

Это самые интересные для компании данные: они говорят, насколько себя оправдает прогноз по результатам оценки. Но прогностическую валидность труднее всего измерить
из-за ограничения выборки.

К примеру, мы оценили 100 продавцов, у 15 из них показатели продаж оказались низкие, скорее всего, мы не сможем оценить их в следующем цикле: их уволят.

Инкрементная валидность — сравниваем, насколько повысилась корреляция
при добавлении нового инструмента в уже существующую оценочную процедуру.

Провайдеры, как правило, считают валидность так, как им удобно и выгодно.Если из всех видов валидности инструмента самые высокие показатели у конструктной, в маркетинговых материалах укажут именно эту цифру.Поэтому всегда уточняйте, о каком виде валидности говорит провайдер,

когда приводит показатель валидности.

Что означают показатели валидности на практике

На практике почти не встречается валидность выше 0,7. Если провайдер заявляет
эту цифру, уточните, о каком виде валидности идёт речь и как она рассчитывалась. Показатель 0,7 может быть только в том случае, если провайдер измерял валидность комбинацией разных оценочных инструментов.

ВалидностьЕсли выбрать 20% лучших сотрудников по итогам оценки

Нет валидности	0	4 из 20 будут в числе лучших
Средняя валидность	0,3	7 из 20 будут в числе лучших
Высокая валидность	0,6	10 из 20 будут в числе лучших

ВалидностьЕсли выбрать 20% лучших сотрудников по итогам оценки

Нет валидности	0	1 из 5 будет в числе худших
Средняя валидность	0,3	1 из 10 будет в числе худших
Высокая валидность	0,6	1 из 50 будет в числе худших

Посмотрим, что означают эти цифры на практике: к примеру, вы оценили 100 сотрудников и выбрали 20 лучших по итогам оценки. Если вы использовали инструмент со средней валидностью, то из выбранных 20 участников только семеро будут в числе лучших 20%.

Если же вы оценивали 100 сотрудников инструментом с высокой валидностью, то в числе 20% лучших окажутся десять из выбранных двадцати по итогам оценки. При этом результаты выше среднего покажут 17 из этих 20 сотрудников.

Если вы знаете валидность инструмента, вы можете посчитать точность прогноза, который сделаете по результатам оценки. К примеру, вы используете инструмент с валидностью 0,3. Разделите этот показатель на 2 и прибавьте 50% — получится 65%. С такой вероятностью прогноз по итогам оценки окажется достоверным,
если за 50% принять случайное угадывание.

3 уровня проверки валидности

Если вы используете инструмент оценки, у вас есть три уровня проверки
его валидности:

Во-первых, вы можете посмотреть, насколько велика валидность метода оценки. К примеру, вы покупаете у провайдера тесты способностей.

Чтобы оценить их валидность, используйте мета-анализы — эта процедура объединяет показатели валидности, полученные на разных инструментах и выборках от нескольких исследователей.

С их помощью вы определите среднюю валидность тестов
как метода оценки. Классическим считается мета-анализ Шмидта и Хантера 1998 года.

Во-вторых, вы можете узнать валидность инструмента — тех конкретных тестов способностей, которые вы покупаете. Эти данные вам должен предоставить провайдер.

Наконец, вы можете посмотреть, насколько конкретный инструмент валиден
для ваших задач. Чтобы посчитать валидность инструмента на ваших данных:

1. Оцените при помощи инструмента не менее 200 сотрудников одной группы должностей — это минимальная выборка. Чем больше человек вы оцените,
тем более надёжные цифры получите.

2. Выберите критерий, относительно которого будете проверять валидность. Например, оценка результативности руководителем.

3. Оцените надёжность этого критерия. Критерием могут быть объективные данные — например, показатели производительности. В этом случае его можно считать надёжным. Оценка эффективности руководителем — субъективные данные, надёжность этого критерия будет низкой.

4. Посмотрите, нет ли у вас ограничения выборки. Например, если вы используете тесты при подборе, кандидаты с низкими результатами обычно просто не попадают на работу.

5. Проверьте свои данные: насколько они полные, корректные и однородные. Если в качестве внешнего критерия вы выбрали показатели продаж, проверьте, что все данные по продажам соответствуют тому менеджеру, который продавал. Это поможет избавиться от некорректных данных: к примеру, сотрудник в отпуске, а на него записаны продажи другого.

6. Посчитайте сам показатель валидности: обычно это коэффициент корреляции или регрессии, с учётом тех поправок, которые мы упомянули выше. Для начала можно воспользоваться самыми простыми показателями. Например, коэффициентом корреляции Спирмена — его можно посчитать даже в MS Excel.

У вас получился показатель валидности конкретного инструмента на ваших данных. Он показывает, насколько достоверным будет прогноз, который вы сделаете по результатам оценки при помощи этого инструмента.

Источник: https://formatta.ru/blog/validnost-dly-zakazchika/

Новая атака в WhatsApp: казанцев пугают смертельным водяным клопом и вирусом «Танец папы»

«Максимальный репост!!!!» Зачем россияне пугают друг друга в мессенджерах и социальных сетях и кто поселил Глеба в интернете

Очередная страшилка прошла в социальных сетях и мессенджерах, актуальная для начала лета: якобы появился новый вид насекомого. «В случае укуса человек сходит с ума и умирает в течение двух часов», — предупреждает неизвестный автор.

В конце: «Давайте будем осторожны, перешлем, проинформируем друзей», — это традиционное дополнение в рассылках-страшилках. Россияне регулярно становятся адресатами подобных сообщений, пересылают их друг другу, несмотря на то, что догадываются, что, скорее всего, это фейк, мол, лучше перебдеть.

Психологи считают, что главная причина такого поведения — нежелание думать и одиночество.

18 террористов-смертников, засланных в города России, массовая акция суицидальной группы «Синий кит», в ходе которой пять тысяч детей должны были покончить с собой, отравленные мандарины из Турции, парацетамол из Израиля с проволокой внутри, жвачки с наркотиками, которые предлагают детям в школах, — это только малая часть всех страшилок, которые распространяются в мессенджерах и социальных сетях.

Одна из последних появилась в Казани перед началом летних каникул. В школьных группах активно рассылают сообщение о появлении нового вида насекомого, от укуса которого «человек сходит с ума и умирает в течение двух часов».

Сообщение сопровождается фотографией жука с пупырчатой спиной и подписью: «Покажи детям, пусть не тронут его с мыслями, что это еж».

Для усиления эффекта в спам-комплект входит еще и изображение ладони и пальцев, испещренных черными дырками — видимо, следами от уколов «ежа».

Это насекомое — гигантский водяной клоп Belostomatidae, говорится в биологической энциклопедии. Фото nnm.me

«Это насекомое — гигантский водяной клоп Belostomatidae. Он вырастает до 15 сантиметров в длину. Несмотря на не очень аппетитный вид, это насекомое считается деликатесом в некоторых азиатских странах. Укус очень болезненный, но не смертельный. Это тропическое существо, в нашей местности гигантских водяных клопов нет», — говорится в биологической энциклопедии.

Эффект возрастает в разы, если к рассылке сообщения присоединяются официальные лица.

Так, в 2015 году в Татарстане началась паника по поводу сообщения о «гибели 12 детей из-за аллергии на лекарства», исходившего от имени главного врача ГАУЗ «Врачебно-физкультурный диспансер» Набережных Челнов Рафиса Ахметзянова.

Оказалось, что секретарь главврача, получив сообщение от своей знакомой в WhatsApp, решила сделать «доброе дело» и разослать его со служебной почты своего шефа.

Накануне всемирной атаки вируса WannaCray появилось еще одно сообщение про опасности из всемирной Сети:

«Скажите всем контактам из вашего списка, чтобы они не принимали видео под названием «Танец папы». Это вирус, который форматирует ваш мобильный телефон. Остерегайтесь, это очень опасно. Они объявили об этом сегодня по радио. Выводите этот msg как можно больше!»

Как нетрудно заметить, оно похоже на другое фейковое сообщение, призывающее срочно предупредить родных и близких о новом вирусе ivchetoo 225 и ivchetoo 05.

Андрей Прозоров: «Надо использовать специализированные программные продукты, сервисы, которые позволяют выявлять в соцсетях появление новых групп, новых активностей, новых трендов и хешей, и уже оттуда смотреть, кто был первоисточником, и работать с ним». Фото ict-online.ru

Ищите автора: сложно, но можно

В данном случае выявить источник вброса не составило труда, но обычно авторы таких рассылок остаются ненайденными. Хотя сделать это, по словам эксперта по информационной безопасности Андрея Прозорова, сложно, но можно.

— Если мы говорим про мессенджеры, то могут использоваться специальные протоколы, которые усиливают безопасность, и вычислить, кто отправил, становиться сложнее.

Надо использовать специализированные программные продукты, сервисы, которые позволяют выявлять в соцсетях появление новых групп, новых активностей, новых трендов и хешей, и уже оттуда смотреть, кто был первоисточником, и работать с ним.

В целом это трудоемко, но контролировать и вести мониторинг социальных сетей все-таки необходимо, — считает Андрей Прозоров.

Пока в России нет практики привлечения к ответственности авторов панических сообщений, более того, их найти не могут. В предыдущих случаях полиция выходила только на распространителей.

В ноябре 2015 года, после посеявшего панику сообщения о 18 террористах-смертниках (интересно, что после теракта в Санкт-Петербурге 3 апреля это же сообщение, начали пересылать вновь), представитель МВД России Елена Алексеева на своей странице в «Инстаграме» написала, что изначально информация начала распространяться в Татарстане и к концу дня дошла до Москвы.

Через день полиция сообщила о задержании автора, позже выяснилось, что женщина точно так же получила сообщение от своей знакомой, просто активнее остальных распространяла его в интернет-сообществах.

В конце марта за рассылку о 5 тысячах детей, которые собираются в один день покончить с собой, был задержан участник теле-шоу «Дом-2» Антон Гусев.

По данным Life, к Гусеву обратились некие знакомые для того, чтобы распространить рассылку. Подразумевалось, что таким образом она сможет дойти до максимального количества людей из-за популярности автора.

По предварительной информации, к ответственности Гусев не будет привлечен, так как делал это, не имея преступного умысла.

За рассылку о 5 тысячах детей, которые собираются в один день покончить с собой, был задержан участник теле-шоу «Дом-2» Антон Гусев. Фото i41.woman.ru

«А давай бояться вместе», или Почему люди нажимают «поделиться»

Максимальное распространение получают рассылки, вызывающие эмоции — страх или сострадание. Достаточно вспомнить сообщение, в котором призывали забрать 150 породистых щенков из питомника, иначе их якобы усыпят.

По мнению доцента кафедры психологии КФУ Павла Афанасьева, эпидемия страшилок вызвана отсутствием критического мышления.

Люди, получая сообщения, ленятся думать и анализировать — может ли быть сообщение правдой, гораздо проще нажать на кнопку «переслать».

— Многие специалисты говорят, что у населения низкий уровень критического мышления.

Человек не может проанализировать, насколько информация корректна, воспринимает все за чистую монету и вместо того, чтобы включить критическое мышление, включает эмоциональную, аффективную реакцию.

Позиция зрелого человека — взять на себя ответственность и подумать, но это сложнее, чем просто эмоционально реагировать, — говорит Павел Афанасьев.

Второй момент — как ни странно, одиночество. Пересылая сообщение, человек, чувствует себя частью общества, объединенного некой идеей или страхом.

— Запуск таких страшилок — скрытый запрос на единство, на ликвидацию своего одиночества. Человек заражает другого человека своими эмоциями и понимает, что он не один, что рядом есть еще люди, которые испытывают схожие чувства.

Это как в мультике про котенка по имени Гав: «Что ты здесь делаешь? Боюсь. А давай бояться вместе». Если кто-то рядом с тобой тоже боится, то ты не так беззащитен, ведь не ты один, а вы вместе боитесь, — говорит Павел Алексеев.

Истерия в сети может обернуться кошмаром в реальной жизни. Так, в Татарстане через мессенджеры едва не обрушили банковскую систему, после краха Татфондбанка появилось сообщение с призывами срочно выводить деньги из банков республики. МВД заявило о задержании авторов рассылки — ими оказались двое мужчин, жители Набережных Челнов и Альметьевска.

В Татарстане через мессенджеры едва не обрушили банковскую систему, после краха Татфондбанка появилось сообщение с призывами срочно выводить деньги из банков республики. Фото Максима Платонова

«Остановите рассылку, помогите Глебу!», или Как отличить фальшивку

Есть признаки фейковой информации, которые видны невооруженным глазом.

Если сообщение изобилует фразами «СРОЧНО!!! Передайте всем своим близким!!! Сделайте максимальный репост! Разошли тому, кому можешь!» — скорее всего, сообщение — фальшивка.

Равно как и сообщения без конкретизации автора, обычно они начинаются или заканчиваются словами: «У меня есть друг в полиции, он сказал, что…», «У мужа сестра работает в банке, их предупредили, что…», «Учительница 2Б попросила всем сообщить…»

Наряду с ложными сообщениями, призванными посеять страх, в соцсетях распространяются и реальные. Одно из последних, например, запись с камеры видеонаблюдения, как мужчина подходит к мальчику у музыкальной школы.

Потом выяснилось, что подозрительный тип не педофил, как его успели окрестить взволнованные родители, а бомж из подмосковного Дзержинского, просящий у детей деньги на выпивку.

Сообщение облетело всю Россию, и родители в каждом городе были уверены, что случай произошел у них.

На самом деле, выяснить место происшествия было просто. В сообщение не указан город и номер «музыкалки», зато есть фамилия и имя директора школы, попросившего распространить видео, — забиваем его в интернете — и все встает на свои места.

Точно так же в Казани искали маму мальчика Глеба из четвертого подъезда дома номер 5 по улице Заречной.

Достаточно было открыть карту Казани, чтобы узнать, что улица Заречная в городе есть, но это частный сектор, и никакого многоподъездного дома там быть не может.

В итоге выяснилось, что дело было в Новосибирске в январе 2016 года, мама мальчика нашлась в течение пары часов. С тех пор Глеб «поселился» в интернете, его до сих пор «ищут» то в Нижнем Новгороде, то в Томске, то в Тюмени.