Большой передел мира
245,882,253 499,363
 

  Урсин ( Слушатель )
28 апр 2021 15:20:19

О принципе Бонферрони и поиске шпионов

новая дискуссия Дискуссия  685

Подозрения и доказательства виновности российских граждан строятся на результатах обработки так называемых больших данных о поездках в Европу. Давно известен один эффект в статистике - проблема множественных сравнений, неучет которого приводит к недостоверным выводам. Коротко говоря, это проблема завышения статистической значимости результатов статистических тестов, возникающая при выполнении большого числа тестов.
Например, абстрактная обезьяна, ударяя случайным образом по клавишам в течение долгого времени, рано или поздно напечатает любую наперёд заданную фразу. Таким образом, поиск осмысленных фраз в большом наборе случайных знаков закончится успехом и может быть сделан ложный вывод о грамотности обезьяны. Вот краткое изложение известного из литературы по большим данным примера по теме разговора. 
Поиск террористов. Допустим, полиция полагает, что где-то действуют «злоумышленники» и что они периодически встречаются в гостиницах, чтобы спланировать свой злой умысел. Если искать пары людей, которые несколько раз случайно пересекались в гостиницах в течении нескольких лет, то в разряд подозрительных попадет примерно четверть миллиона жителей планеты. Огромные возможности для выбора подозреваемых и подгонке под версию у нечистоплотных полицейских. 
Да очень много русских бывает в Европе. Да, они оказываются рядом с местами,  где что то произошло. Так что выбор у аналитиков западных спецслужб огромный.
Чтобы избежать трактовки случайных фактов как реальных, нужно воспользоваться  следующим "принципом Бонферрони". Вычислите ожидаемое число искомых событий в предположении, что данные случайны. Если это число существенно больше количества ожидаемых реальных событий, то следует полагать, что почти все найденные события фиктивные, т. е. являются статистическими артефактами, а не свидетельством в пользу того, что вы ищете. 
Кто-нибудь доведите уже эти соображения до европейских аналитиков.
  • +1.87 / 45
  • АУ
ОТВЕТЫ (7)
 
 
  Urri2 ( Практикант )
28 апр 2021 15:23:31
Сообщение удалено
Urri2
28 апр 2021 21:11:39
Отредактировано: Urri2 - 28 апр 2021 21:11:39

  • +0.33
 
 
  Урсин ( Слушатель )
28 апр 2021 15:30:18

Хотел как лучше и старался излагать максимально популярно. А получилось как всегда.
  • +1.53 / 23
  • АУ
 
 
 
  alb@tros ( Специалист )
28 апр 2021 15:39:45

Было интересно. Пишите ещё. Я без сарказма, серьезно. 
  • +0.90 / 11
  • АУ
 
 
 
  Urri2 ( Практикант )
28 апр 2021 15:43:48
Сообщение удалено
Urri2
28 апр 2021 21:11:13
Отредактировано: Urri2 - 28 апр 2021 21:11:13

  • +0.00
 
  __Alex_loki_ ( Слушатель )
28 апр 2021 16:43:27

у них альтернативная математика же ! Подмигивающий
  • +0.00 / 0
  • АУ
 
 
  Урсин ( Слушатель )
28 апр 2021 16:53:04

Это действительно страшная беда: при стремительном развитии технологий Data Mining, Big Data,  AI, Machine Learning ... утратить способности и навыки научного анализа результатов этих технологий. Это страшнее самого дикого средневековья.    
 Почтальонов 20 лет по ошибке сажали в тюрьму из-за «кривого» ПО
  • +0.55 / 13
  • АУ
 
  bb1788 ( Практикант )
29 апр 2021 08:29:26
Сообщение удалено
bb1788
27 дек 2021 12:15:15
Отредактировано: bb1788 - 27 дек 2021 12:15:15

  • +0.29