Каков процент подтасовки статистических данных в научных работах по психологии, какие ошибки выявила программа проверки и чем она похожа на Т9, выяснил сайт.
Программы могут не только постмодернистские тексты песен, путь в Лондонском метро, моделировать процессы и в банке, но и искать ошибки в работах нечестных или невнимательных психологов. сайт рассказывает, как компьютер выявляет неточности в научных работах и к чему это может привести.
Блеск и нищета современной психологии
Балансируя между «житейскими мудростями» и философско-метафизическими категориями на тоненькой ниточке непротиворечивых данных, «наука о душе» постоянно подвергается опасности перегибов. Копаться во внутреннем мире людей (если не рассматривать анатомическую сторону вопроса) никогда не было просто, поэтому исследования психологов с трудом поддаются верификации. Имея очень субъективный предмет изучения, психология некоторыми своими отраслями и разделами пересекается с медициной и нейробиологией, а другими выходит за грань научного: даже доктор психологических наук и заместитель директора Института психологии РАН Андрей Юревич определил место психологии между наукой и паранаукой. Даже примененные по всем правилам научной методологии, подходы психологии порой не дают удовлетворительных результатов. Если в более тщательной и долгой работе с одним человеком можно предположить уникальность случая и заявить, что экстраполировать выводы на всех людей нельзя, то в большой группе трудно понять, какое в действительности значение имеют для каждого участника исследования унифицированные вопросы и ответы. К тому же, у испытуемых всегда могут быть внутренние причины скрывать какую-либо информацию и отвечать на вопросы не до конца честно. Поэтому рефлексию (обращение внимания человека внутрь себя) нельзя считать инструментом, позволяющим добыть абсолютно достоверную информацию. о компьютерном алгоритме, который выявил потенциальные ошибки в почти восьми тысячах психологических статей (и это только в период с 1985 по 2013 год и только в восьми научных психологических журналах) сработала как палка, разворошившая осиное гнездо, и без того неспокойное из-за постоянных споров. Под руководством Мишель Нюйтен было проанализировано 30 717 статей, из них 16 695 использовали статистические данные. В половине из этих работ была как минимум одна предполагаемая статистическая ошибка, на которую указала программа.
Когда исследование проводится на большой группе испытуемых, для обработки используются статистические методы. Популярное высказывание «существует три вида лжи: ложь, наглая ложь и статистика», авторство которого так туманно, что более ста лет назад Марк Твен приписал его Бенджамину Дизраэли (но уже не был уверен, откуда оно на самом деле пошло), не так уж далеко от истины. В области человеческого знания, где так сложно создавать теории, обладающие достоверной предсказательной силой (вспомните того же Зигмунда Фрейда или Альфреда Адлера), риск случайной ошибки и соблазн сознательной «подгонки» действительного результата под желаемый довольно высок.
Как компьютер «поймал с поличным» нечестных психологов
Программа, которая подтвердила справедливость этого ироничного наблюдения, называется Statcheck. Она анализирует P-значение (p-value) - величину, которую ученые используют для проверки статистических гипотез. Эта цифра показывает, насколько вероятен полученный результат, если нулевая гипотеза, лежащая в основе исследования, верна. В статье, которая была опубликована в журнале Behavior Research Methods, показано, что программа оценила достоверность более чем 258 000 p-значений (примерно 11 на каждую научную работу) за два часа, обнаружив, что 13% работ содержат ошибку, которая «переворачивает» полученные данные. В результате, например, P < 0,05 превращается в P = 0,05, или некоторые знаки после запятой просто отбрасываются, а не влияют на следующий знак по правилам округления чисел. Казалось бы, такое маленькое различие не должно серьезно влиять на результат, однако чаще всего P = 0,05 принимается как пограничное значение между статистически достоверным и недостоверным результатом. В итоге малейшее отклонение в одну или в другую сторону делает вывод в статье ложноположительным или ложноотрицательным.
Первоначально программа работала с литературой в целом, но один из соавторов исследования, Крис Хартгеринк, специалист по научной методологии из Тильбургского университета (Нидерланды), предложил сконцентрировать внимание на более специфических текстах - научных статьях. Он же позднее, в августе этого года, загрузил на проверку 50 000 статей и выложил результаты в Pub Peer (форум ученых, где они часто обсуждают вышедшие научные статьи), вызвав огромный резонанс в профессиональном сообществе. По мнению Хатгеринка, такие посты будут информировать авторов о возможных ошибках и «принесут науке гораздо больше пользы, чем просто свалка данных». С ним, как сообщает дискуссионная статья Монии Бейкер в Nature, согласны не все. Часть ученых, в том числе представители Немецкой психологической ассоциации, предупреждает, что ложноотрицательные результаты (здесь подразумевается исправление компьютером правильных данных на неправильные) могут скорее навредить репутации ученых, чем помочь развитию психологии как науки. Исполнительный директор Ассоциации психологических наук в Вашингтоне в ответ на публикацию заявил, что осуждает «повальное очернение» психологов в блогах и социальных медиа, явственно дав понять, что публикации результатов компьютерного анализа с указанием на возможные ошибки должны расцениваться как оскорбление.
Statcheck и P-value: кого в топку, кого в топ?
С другой стороны, подобные посты продвигают концепцию открытой науки (кстати, и Нюйтен, и Хартгеринк имеют награды от организаций, поощряющих развитие этого направления), которая позволит быстрее находить и корректировать статистические неточности. По мнению Ника Брауна, ученого-психолога из Университета Гронингема в Нидерландах, такие алгоритмы помогут только в том случае, если исследователи начнут читать их и оценивать с точки зрения специалистов, а не просто проникаться недоверием к журналу, опубликовавшему сомнительные статьи с ошибками.
На данный момент уже несколько тысяч человек, воодушевленных этой возможностью, бесплатно скачали эту программу, написанную на языке программирования R.
Однако Statcheck и сам может делать ошибки, как заявляет Томас Шмидт, критикуя программу . Например, она не всегда учитывает необходимые статистические погрешности и порой не может понять, что неверно в статье: P-значение или относительный параметр. Просканировав две статьи с большим количеством статистических данных, он обнаружил, что программа не смогла оценить 43 параметра, проверила 137 и определила 35 как «потенциально некорректные». Два из них оказались ошибками, не влияющими на результат, три были ошибками в других параметрах, не касающихся P-value, а остальные 30 оказались результатом «ложной тревоги».
Некоторые психологические журналы и вовсе начинают отказываться от p-value для проверки достоверности гипотез, считая этот параметр недостаточно надежным.
Сами создатели не отрицают, что их программа «никогда не будет столь же точна, как проверка вручную», но подчеркивают быстроту ее работы: если на проверку достоверности значения P-value одной средней психологической статьи уходит около десяти минут, то программа может справится с десятками тысяч в считанные часы, что незаменимо для проведения мета-анализа или первичной проверки присылаемых редакторам научных журналов статей. В этом качестве ее уже с июля этого года используют редакторы журнала Psychological Science. Они сравнивают эту программу с корректорами Word или T9, над нелепостью которых все смеются, но отказаться от них согласились бы немногие. Как и эти автокорректоры, Statcheck, по их мнению, можно считать «удобным инструментом, который иногда говорит глупости».
Чиновники правительства как могут работают над улучшением ситуации в стране и твердят: «Экономика набирает обороты», что непременно подтверждается цифрами.
Но возникает подозрение, что жить лучше и веселее нам становится лишь благодаря манипуляциям со статистикой. Корреспондент «МН» разбиралась, стоит ли полагаться на официальные данные и почему в последнее время доверять им все сложнее.
Росстат критикуют все кому не лень - от экспертов в области экономики и ученых до рядовых граждан, которые, слыша выкладки статведомства о размерах своих зарплат и инфляции, приходят в негодование: в первом случае - от высоких цифр, во втором - от низких.
Впрочем, как бы кто ни относился к статистике, «других писателей у нас для вас нет», а самому Росстату непросто собирать качественную информацию на фоне теневой экономики, приписок региональных чиновников-респондентов, секретных госрасходов, ухода предприятий и граждан от налогов, нелегального рынка труда и товаров.
Но даже с учетом объективных трудностей сбора данных определенные события, произошедшие вокруг Росстата за последнее время, наводят на нехорошие размышления - того и гляди статистика из инструмента оценки экономической реальности превратится в заурядного пропагандиста несуществующих успехов.
СНОВА-ЗДОРОВО
Подобные мысли начали возникать в апреле прошлого года, когда президент подписал указ о переводе главного статистического ведомства страны из структуры правительства РФ в ведение Минэкономразвития.
Случилось это после того, как Росстат резко раскритиковал глава этого министерства Максим Орешкин. По его словам, опубликованные в марте данные о динамике основных макропоказателей за февраль «нерепрезентативны» и требуют пересмотра.
Напомним, тогда Росстат сообщил об ухудшении положения дел в экономике. По данным статистиков, в феврале 2017 года промышленное производство в России по сравнению с тем же месяцем 2016 года снизилось на 2,7%, а в январе и феврале - на 0,3%. Росстат также отметил, что в феврале промпроизводство упало на 1,5% по отношению к январю, а реальные располагаемые денежные доходы населения снизились на 4,1% по сравнению с аналогичным периодом предыдущего года.
Почти сразу после этого появился проект постановления о передаче Росстата в ведение МЭР, а еще некоторое время спустя - соответствующий президентский указ. Эксперты тогда вынуждены были признать: с этого момента Росстат потерял независимый статус, ведь когда критика статистических выкладок исходит от ведомства, отвечающего за экономические прогнозы, дело вовсе не в качестве статистики.
МЭР и прежде было недовольно данными статслужбы. В январе 2002 года Аркадий Дворкович, отвечавший тогда в Минэкономразвития за макропрогнозирование, засомневался в правильности методики Росстата, по которой инфляция в «тарифный» месяц оказалась слишком высокой.
В 2004 году в ходе административной реформы Росстат перевели от правительства в подчинение к Минэкономразвития и торговли, однако после несогласия с таким решением тогдашнего главы Росстата Владимира Соколина через несколько месяцев снова вернули под управление кабмина. Еще через четыре года статистическое ведомство опять переподчинили Минэкономразвития, а в 2012-м, признав такой шаг неэффективным, вернули в подчинение правительства. И вот в апреле 2017-го у статслужбы снова сменился куратор.
Глава Федерации независимых профсоюзов России Михаил Шмаков предположил, что Росстат в новом статусе вынужден будет «лакировать истинное положение». С ним солидарен и экс-глава Федеральной службы госстатистики Владимир Соколин, на собственной шкуре испытавший все прелести подчинения МЭР:
«У министерства, которое является главным пользователем статистических данных, которое занимается составлением отчетов и прогнозов, появляется соблазн поруководить статистикой в нужном ему направлении. К сожалению, среди российских чиновников сегодня много фердыщенко, убежденных в том, что предназначение статистики - веселить начальниково сердце».
ИГРЫ В ЦИФРЫ
Как бы там ни было, сегодня мы имеем то, что имеем: МЭР, отвечающее за экономический рост, пользуется статистикой Росстата, а тот, в свою очередь, оценивает ведомство, которому же и подчиняется. Не потому ли данные о нашей экономике становятся все оптимистичнее?
18 июня Росстат опубликовал свежий пакет статистики по промышленности, в котором аннулировал данные, свидетельствовавшие о стагнации производства за последние 1,5 года. По новой оценке в прошлом году промышленность в России выросла не на 1%, а на 2,1% (в точном соответствии с прогнозом Минэкономразвития).
Данные по текущей ситуации были улучшены втрое: оценка роста за апрель поднялась с 1,3 до 3,9, а ускорение на май оценено в 3,7% - вдвое больше, чем в Евросоюзе, и на 0,3 процентного пункта выше, чем в США. Объемы выпуска в несырьевых отраслях - на фабриках и заводах обрабатывающего сектора - пересмотрены: вместо 0,2% - 2,5%. Разница - 12,5 раза.
Министр экономического развития Максим Орешкин объяснил такие метаморфозы получением годовых данных о малых и средних предприятиях и тем, что была уточнена статистика по крупному бизнесу.
Эксперты сразу засомневались в объективности новых данных. Изменение показателя роста вдвое без корректировок методик, а лишь в результате досчета они назвали перебором, попутно отметив, что либо вся методика расчета в промышленности, начиная от сбора первичной информации, никуда не годится, либо присутствуют манипуляции со статистикой.
КУДА КРИВАЯ ВЫВЕДЕТ
Что еще зафиксировал Росстат за последнее время? В мае этого года - рекордный за четыре года скачок уровня жизни!
Оказывается, реальные располагаемые доходы населения - сумма, которая остается на руках после вычета инфляции и всех обязательных платежей, - в апреле подскочили на 5,7%. В номинальном выражении россияне разбогатели на 8,2%, а реальный рост благосостояния с учетом инфляции стал рекордным с мая 2014 года.
За июнь текущего года резко выросли зарплаты. В среднем каждый работающий россиянин получил прибавку в 10,2% и зарабатывал в среднем 43 550 руб. в месяц. Согласно данным Росстата, оклады в больницах и поликлиниках подскочили на 30%, в школах и вузах - на 15%, в библиотеках, музеях и архивах - на 26%.
Как говорится, все чудесатее и чудесатее, при том, что большинство россиян никакого улучшения не заметило, а проведенный ВШЭ опрос показал: доля тех, кто ощутил улучшения, практически не растет - в марте таких было 13% против 10% год назад. Еще 27% и вовсе констатировали ухудшение материального положения, а РАНХиГС в своем майском мониторинге отметила, что почти все деньги люди тратят, а норма сбережений упала до минимума за 18 лет.
Статслужба продолжила радовать и своими прогнозами. Так, к концу первого этапа пенсионной реформы (к 2024 году) продолжительность жизни россиян возрастет на пять лет: у мужчин - до 73,3 года, у женщин - до 82,1. Примечательно, что по данным того же Росстата за 2017 год мужчины жили до 67,5 года, а женщины - до 77,6. Эти цифры усредненные, и, присмотревшись к ним внимательнее, окажется, что до 65 лет мужики доживали только в 37 субъектах Федерации из 85.
По данным Всемирного банка, в России самая высокая в мире смертность мужчин до 65 лет - 43%. Однако для готовящейся в России пенсионной реформы эти показатели не указ. Росстат сказал, что к 2024 году мужское население страны будет жить до 73 лет, значит, будет.
С демографией у нас тоже, к слову, все отлично. В прогнозе Росстата до 2035 года численность населения России определялась на уровне 2017 года (147 млн человек плюс-минус несколько процентов), а в июле 2018-го были обнародованы уже другие данные: к 2036 году ожидается увеличение численности населения до... 157 млн человек. За счет чего произойдет такой всплеск, не уточняется. Наверное, рожать начнем больше, а жить, как сказано выше, дольше.
Россияне уже давно оценивают жизнь своим мерилом и посмеиваются над официальной статистикой, но когда речь идет об управлении экономикой страны, то опора на официальные данные - совсем другое дело. Это все равно что вести корабль по неверным картам. Велик риск сесть на мель и разбить судно.
В российской статистике накопилось немало проблем. Чем дольше откладывается их решение, тем более искаженной будет картина окружающего нас мира.
Елена Хакимова.
Карикатура
А. Хорошевского.
На прошлой неделе наш президент во время своего визита в Индию заявил, что рост реальных зарплат в России достиг рекордных показателей аж с 2012 года и составил 8,7%.
Само собой, это заявление вызвало шквал ехидных комментариев в сети. «Реальная зарплата у реальных пацанов выросла», «Хотел бы пожить в той России, о которой говорит нам Путин», «Всё-таки есть у нас еще наивные люди, которые верят Росстату».
На деле, сам президент объяснял во время летней прямой линии, что данные статистики нельзя воспринимать буквально и на личном опыте. Мол, если вы сами не почувствовали позитивных изменений, это ещё не означает, что данные статистики лгут.
Оспорить эти рассуждения трудно. Действительно, статистика - это наука сложная и лукавая. Есть огромное количество способов представить реальные факты тем или иным образом. Оперируя одними и теми же фактами, власть способна доказать, что у нас всё процветает и развивается, а наша оппозиция заявить, что скоро мы все приползём на кладбище.
Однако рядовой человек не мажет на хлеб цифры. Он оценивает текущее положение дел в своей повседневной реальности. И реальность эта в последнее время его, увы, не радует. Когда речь заходит об уровне зарплат в регионах, обычно называют вилку 15000 -25000 рублей, и эта вилка не изменилась с того самого 2012 года. При этом, разумеется, статистика показывает среднюю зарплату в регионах тысяч на двадцать больше. И вот эта средняя зарплата регулярно растет, тогда как деньги, которые люди получают физически на руки, остаются теми же. А в иных случаях и уменьшаются. Почему так происходит? Тому есть несколько причин.
Если руководители региона хотят отчитаться наверх о выполнении различных указов и постановлений, к их услугам множество удобных инструментов. Можно, к примеру, провести монетизацию льгот в отдельном ведомстве. То есть, сократить соцпакет, убрать, к примеру, бесплатный проезд или что-нибудь еще, а вместо этого поднять оклады на несколько процентов. Формально человек получать будет чуть-чуть больше, а в реальности качество его жизни заметно снизится. Можно поднять размеры ставки, но перевести сотрудников на половину ставки или даже на ее треть. Можно поднять зарплату за счет резкого сокращения числа сотрудников. Оставшиеся будут получать, допустим, на десять процентов больше, но при этом делать в два раза больше работы. Повышение быстро съест инфляция, тогда как высокая нагрузка останется. Психологически человек будет понимать, что ему катастрофически не доплачивают.
Поэтому разрыв между победными реляциями сверху и текущим положением дел с каждым днем становится очевиднее для всё большего числа наших граждан. Пока статистика говорит нам об увеличении реальных зарплат, действительность сообщает, что платежеспособный спрос падает, огромные торговые центры пустеют, задолженность населения по кредитам растет, а возможность находить себе подработки и халтуры уже исчерпана.
Таков результат деятельности финансово-экономического блока правительства за минувшие шесть лет. Либеральные политологи удивляются тому, что люди ждали смены экономического курса после президентских выборов. Хотя чему же тут удивляться? Во-первых, люди вовсе не ждали. Они прямо говорили, что текущий курс их не устраивает, и они ждут смены правительства. Во-вторых, вся так называемая «кремлевская пропаганда» до лета этого года была вполне себе солидарна с обществом. Неоднократно самые именитые журналисты, близкие к Кремлю, вроде господина Соловьева, безжалостно критиковали действия правительства и утверждали, что эти действия во время противостояния с Западом могут со временем привести к самым плачевным вещам. В-третьих, и наш президент во время мартовского послания Федеральному собранию тоже много говорил о внутренней экономической политике, о прорыве, о борьбе с бедностью и о других приятных и полезных вещах. Отчего же было не ждать каких-то знаковых перемен?
И эти перемены действительно наступили. Только совсем не те, которых ожидало общество. Курс постепенной стагнации и мягкого обнищания не остался прежним. Новый кабинет министров со старыми лицами радует общество своими инициативами с самого момента своего формирования. Такое ощущение, что любые тормоза полностью отказали. Что ни день, то новость. Очередные поборы, штрафы, налоги - и все это на фоне пенсионной реформы.
Происходящее уже выливается в массу неловких ситуаций, которых раньше не происходило. Во время визитов на предприятия президент озвучивает те цифры, которые ему подают советники, а это вызывает нервную реакцию слушателей, как это было во время посещения судостроительного комплекса «Звезда» в Приморском крае. Женщина, стоявшая перед Путиным сообщила, что она «начальница и зарплата у нее сто тысяч рублей». Президент спросил: а какая средняя, наверное, девяносто? На что рабочие ответили, что получают по тридцать-сорок тысяч, чему Владимир Владимирович поверить не мог.
Прямо так и видишь какого-нибудь советника, который нагибается и жарко шепчет на ухо президенту: «Прибедняются они, на слезу давят». В Приморье сошлись на том, что отдел кадров лучше знает. Не люди, которые квитки и деньги получают, а отдел кадров. Не человек, а статистика.
К чему же ведет такое положение дел? Не только к тому, что людей постоянно раздражает растущий разрыв между глянцевыми картинками по телевизору и тем, что они наблюдают вокруг себя. Люди начинают задавать вопросы. Нас так долго убеждали в том, что мы ничего не понимаем в политике, в экономике и других высоких сферах. Нас так долго убеждали, что наверху владеют всей информацией, поэтому способны принимать наиболее взвешенные и правильные решения в интересах всей страны. Но когда обычных граждан начинают уговаривать, что они получают в среднем сорок тысяч, а они таких денег и в глаза не видели, то возникает сомнение в самой информации, которую кладут на стол кремлевских начальников. Не только по зарплатам, а по всему комплексу проблем.
Вроде бы наш президент раньше никогда не боялся отвечать на острые социальные вопросы и вызовы. А сегодня есть ощущение, что он больше верит своим либеральным советникам, чем рядовым гражданам во время прямого с ними общения. На той же прямой линии губернатор Орлова де-факто обвинила людей, обратившихся за помощью к президенту, во лжи. И президент никаких выводов после этой линии не сделал. Выводы пришлось делать избирателям на избирательных участках.
Информация сегодня правит миром. Телеведущие у нас смеются над таксистами, каждый из которых может управлять государством. Но если у таксистов достоверная информация, а в кремлевских кабинетах - нет, то тогда и таксисты начинают быть предпочтительнее.
Марк ТВЕН
Законы теории вероятностей не являются абстрактными, а математически выражают реальные закономерности массовых случайных явлений природы.
Разработка методов регистрации, описания и анализа статистических экспериментальных данных, получаемых в результате наблюдения массовых случайных явлений, составляет предмет МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ.
1
Определение закона распределения случайной величины по статистическим данным.
Так как на практике приходится иметь дело с ограниченным количеством экспериментальных данных, то результаты наблюдений всегда будут содержать элемент случайности.
Поэтому возникает задача сглаживания статистических данных и описания их с помощью простых аналитических зависимостей.
2
Проверка правдоподобия гипотез.
Эта задача связана с предыдущей. Например, она может отвечать на вопрос: согласуются ли результаты эксперимента с гипотезой о том, что случайная величина подчиняется данному закону распределения?
3
ждение неизвестных параметров распредел
Часто необходимо определить не сам закон распределения СВ на основе экспериментальных данных, а некоторые числовые характеристики ПриСВ.малом числе опытов определяются только «оценочные» значения этих параметров, т.е. такие приближенные значения, которые приводят в среднем к меньшим ошибкам, чем
Отдел маркетинга швейной фабрики прове анкетирование 100 покупателей. В числе вопросов анкеты были вопросы о мужских костюмах. Обработка анкет дала следующие результаты о предпочтении:
По месту изготовления: 40 % - отечественные, 60 % - импортные.
2. По стоимости в долларах США: