Приключения Истинного Лунного Парня (pmg) в стране Корреляции. Путешествие первое.

Все началось с того, что мне в личку постучался один опроверг, широко известный в узких кругах своими монументальными трудами о делении миллиграммов на количество листов формата А4 и наоборот. Как всегда с обилием смайликов, восклицательных знаков и прочих визуальных признаков сильного душевного волнения. Данное существо, путаясь в словах и брызгая слюной, сообщило мне о новом оригинальном и неубиваемом доказательством нелетания, вышедшего из под маститого пера "мэтра" местного опровергательства – полного гуманоида под ником pmg. Кстати спасибо кабальеро Alexxey за любезно предоставленные ссылки, а то так бы и канули эти "жемчужины" в небытие. Незаслуженно забытые и не оцененные...

В принципе, благородный дон normalized в своем посте практически все про корреляцию рассказал, но мне показалось небезынтересным воспроизвести ход мыслей и порядок "расчетов", так сказать, "мэтра" И "мэтр" снова не подвёл...  

Итак, в своем очередном сакральном откровении клиент, "искусно"  используя элементарные понятия базовой математической статистики ринулся доказывать, что "...что американский грунт это просто советский..." Заход к "доказательству" был выполнен технично и в лучших традициях упоротой опропрофессуры. 

ЦитатаС чего вы взяли что разные? На глазок что ли? Это требует доказательства. Во первых всегда есть ошибки измерения как минимум процентов 10%. Т.е если вы два раза измерите одно и тоже то полученные результаты обязательно будут немного отличаться. С этим можно бороться усреднением многих измерений.

Ну, то рядовой опроверг ничего не знает про метрологию это норма. Но гражданин pmg неоднократно прямо заявлял, что он какой-то там вроде ученый и где-то там даже якобы публиковался. Мне вот интересно в каком же колхозе выращивают ученых которые ни ухом, ни рылом, про то как оценивается достоверность и воспроизводимость измерений, как определяется систематическая и случайные погрешности измерений, и которые считают, что результаты измерений тупо усредняются? Впрочем, поручик Бомбардир его уже по этому поводу облюбил в особо извращенной форме, не будем повторяться...

ЦитатаВот в данных по измерению хим. состава Луны-16 приведены эти ошибки измерения как стандартное отклонение от среднего по многим измерениям.

Тут наш упоротый профессор привычно сел в лужу.
Во-первых, данные в которых приведен диапазон значения (образцы Г-3 и А-3) это результаты американских измерений грунта Луны 16, которые выполнены неким новым способом (миниатюризованным рентгено-флуоресцентным методом), а не наши измерения.
Во-вторых, совершенно непонятно о каком стандартном отклонении чего и от чего идёт речь. Прямо же написано, ошибки при измерении "стандартных образцов". Т.е., ошибки при 95% доверительном интервале это два стандартных (среднеквадратичных) отклонения серии измерений стандартного образца новым методом. Полное впечатление, что для нашей "опропрофессуры", ключевым словом здесь оказалось прилагательное "стандартное". Т.е. человек разницы между "стандартным отклонением" и "стандартным образцом" тупо не понимает. 
Для публики поясню, что стандартным образцом называется образец количество измеряемого  вещества в котором известно заранее и с высокой точностью.

Дальше – больше

ЦитатаВ американских данных этого почему то нет а должны были бы дать и ошибки. Но дело даже не в этом. Между нашими, между американскими и между нашими и американскими данными можно рассчитать коэффициенты корреляции. В случае полного отсутствия какой либо связи между данными эта величина естественно близка 0 а в случае полной идентичности 1.0. В случае статистически значимого отличия хим. составов эти коэффициенты будут ниже чем в случае незначительных отличий из-за ошибок измерений например. Таким образом это можно интерпретировать как вероятность того что это ИДЕНТИЧНЫЙ материал.

Вот это безусловно шедевр. Причем шедевр на все времена. Когда я хулиганил с корреляцией "количественного показателей процесса доставки грунта" я честно признался, что смухлевал. Правда я сразу сказал, что опроверги никогда не догадаются где мухлёж, но мне и в голову не пришло, что моя невинная шалость так тяжело контузит наше бойкое, но увы малограмотное сообщество опровергателей. 

Товарищи опроверги, прежде чем в очередной раз считать в Ёкселе коэффициент корреляции уясните несколько простых правил. Опять же из области базовых понятий математической статистики.

1. Коэффициент корреляции Пирсона всего лишь показывает насколько отличается закон изменения одной случайной величины и другой случайной величины от линейной зависимости.
2. Никакой, даже самый высокозначимый коэффициент корреляции сам по себе никоим образом не свидетельствует, что между двумя случайными величинами существует причинно-следственная связь или что обе величины характеризуют один и тот же процесс. Ровно также справедливо и обратное – даже равный нулю коэффициент корреляции сам по себе еще не свидетельствует, что между двумя величинами не существует причинно-следственной связи или обе величины характеризуют один и тот же процесс. Для такого рода заявлений надо проводить дополнительные исследования. Дружище normalized доходчиво и наглядно рассказал о существовании "ложных" корреляций.
3. Посмотрите наконец на формулу коэффициента корреляции. Там используется среднее значение и стандартное отклонение. Рассчитывать "средний" процент и "стандартное отклонение" процента (а таблица по которой наш друг считал корреляции включает в себя исключительно проценты) также глупо как рассчитывать среднее "количественных показателей процесса доставки лунного грунта". Наглядный пример:

Грунт А11 и А12 и грунт А11 в котором процент минералов уменьшен в 10 раз

	А11	А12	А11 деленное на 10	А12
SIO2	41,9	45,9	4,19	45,9
TiO2	7,56	2,81	0,756	2,81
Al2O2	13,6	12,5	1,36	12,5
FeO	15,9	16,4	1,59	16,4
MnO	0,21	0,22	0,021	0,22
MgO	7,82	10	0,782	10
CaO	12,1	10,4	1,21	10,4
Na2O	0,4	0,41	0,04	0,41
Ka2O	0,13	0,25	0,013	0,25
R	0,9832		0,9832

Коэффициент корреляции между А11 и А12 – R=0,9832
Теперь тупо проценты А11 все разделим на 10

Угадайте с трёх раз каким будет коэффициент корреляции?. Желающие могут проверить – всё те же 0,9832 
А теперь внимание вопрос: грунт с химическим составом как в колонке "А11 деленное на 10" точно такой же как в колонке "А12"? Или это же совсем другой грунт и с другой планеты? Чисто по секрету и исключительно для гражданина pmg – ^{если посчитать коэффициент корреляции для А11 и "А11 деленного на 10", то там вообще коэффициент корреляции будет равен единице}.  Просто один и тот же грунт

Если уж кому-то неймется осваивать Ёксель и считать корреляции по грунтам, то считать его нужно для процентного содержания одного вещества в разных пробах. Например вот так;

	А11	А12	А14	Л16_Вин	Обр Г-3	Обр А-3	R
SIO2	41,9	45,9	47,2	41,7	44	45	0,998052587
TiO2	7,56	2,81	1,79	3,38	3,3	3,5	-0,277647866
Al2O2	13,6	12,5	17,2	15,3	16	16	0,29356962
FeO	15,9	16,4	10,4	16,6	16	16	0,433554985
MnO	0,21	0,22	0,14	0,21	0,23	0,23	-0,397359707
MgO	7,82	10	9,37	8,78	8,51	8,12	-0,611539312
CaO	12,1	10,4	11	12,5	12,1	12,1	0,937509342
Na2O	0,4	0,41	0,66	0,34	0,42	0,42	0,529106716
Ka2O	0,13	0,25	0,58	0,1	0,09	0,11	0,708082774

Здесь коэффициент корреляции считался построчно: для каждого минерала определялось корреляция между советским и американским грунтом. Как мы видим всего две высокозначимые корреляции – по SIO₂ и CaO. Что как бы намекает о том, что тезис видного деятеля опровергательства о том, что американцы выдают грунт Луны-16 за грунт привезенный Аполлонами летит в урну задорно помахивая ушами. Как оно всегда бывает у опровергов.

Ну и напоследок не могу не обойти вниманием еще один характерный пассаж

ЦитатаНо еще интереснее корреляция между нашими и американскими данными 0,992408, 0,994026, 0,987983, 0,993206, 0,994134, 0,988766. Они даже систематически выше чем между американскими данными и почти такие же высокие как между нашими с одного и того же места посадки.

Вообще-то насколько статистически значимо отличаются несколько числовых последовательностей тоже можно проверить с помощью методов математической статистики. Например, при помощи критерия Вилкоксона  ^{Тпру товарищи статистики, если можно  считать "средние проценты", то почему нельзя применять законные методы непараметрической статистики? Гулять так, гулять} Вот в этой табличке приведены коэффициенты корреляции посчитанные по методе "профессора" pmg 

А11_А12	0,989323	Л16_А11	0,992231
А11_А14	0,981062	Л16_А12	0,99309
А12_А14	0,982505	Л16_А14	0,981987

Так вот, по критерию Вилкоксона (желающие могут проверить) статистически значимых различий между коэффициентами корреляции американских грунтов между собой и коэффициентами корреляции между грунтом Луны-16 и американскими грунтами нет. В данным случае просьба профессионалам особо ногами не пинать. Уж в любом случае это более корректная оценка (при всех ясно понимаемых мной определенных натяжек почти невинного характера), нежели высосанное из пальца "систематически выше". По критерию Стюдента, кстати, тоже самое получается, но это  уже явный перебор.

В общем чего хочется сказать в итоге.
Путешествие нашего Идеального Лунного Мальчугана в страну Корреляции оказалась увлекательным и поучительным. В ходе него выяснилось, что:
1. Юноша ни фига не знает об элементарных основах физических измерений и элементарных правилах обработки статистических данных и, соответственно, ни фига не умеет.
2. В результате бездумного использования фигурантом табличного процессора Excel были сделаны абсолютно безграмотные и бессмысленные выводы не стоящие и выеденного яйца. Сопровождавшие весь этот бред "глубокомысленные" и псевдонаучные многословные сентенции только усугубили и без того удручающее впечатление от уровня знаний товарища  pmg. 
3. Афера опять устояла. 
P.S. Продолжение следует... Там еще один пост был за корреляции..