Программерам вопрос

[impromptu]

Маск выпер всю команду, которая идентифицировала в Твиттере консервативных райт-вингеров. А вот интересно, как можно выуживать такой алгоритм? Ну понятно, в ФБ нас в кошачьем соо банят за выражение "fat cat", идиоты - бодипозитив должон быть в  отношении животных, вдруг Мурка прочтет, что хозяйка пишет о ней в сети. Или мы пишем pus@ycat, чтобы избегнуть сексуальных коннотаций, за пусси тоже дрючат. Это понятно, как написали. Но "оценку алгоритма" сложно ж как делать-то подобную.

Но как можно выуживать превалирование консервативного трепа, если не вручную мыкались теперича безработные?

И оценить превалирование? Ну, сегодня человек недоволен этим, а завтра тем. И как именно алгоритм Твиттера потакает правым? Вот как они эту оценку-то сделали уклонистскому алгоритму.  Вообще что в их понимании был этот алгоритм.

Comments

[paserbyp]

Это очень простая задача для программирования так как создается база данных с примерами правой или левой или любой другой риторики. Затем алгоритм состоит в том, чтобы сравнивать образцы базы данных с текстом и самое главное обновлять базу данных новыми примерами риторики. На самом деле любая риторика включает в себя штампы или патерны по которым очень легко найти и определить принадлежность к крайне правой или крайне левой риторике. Например, поиск и нахождение любых паттернов связанных с конспирологическими теориями QAnon или отрицанием результатов выборов президента или скандирование лозунга MAGA говорит о наличии правой и протрампистской пропаганды.

[impromptu]

МАГА понятно, но их не так много.
Ну вот а если человек сомневается в чем-то, он же не обязательно правый. Сомнение вообще же не признак правости или левости. Ну, как с пользой ковидных прививок. Отрицатели, по моим наблюдениям, делятся напополам политически.

Как они вообще решили, что в Твиттере есть подобный алгоритм? Потому что туда ломанулись забаненные в ФБ?

[paserbyp]

Математически нельзя добиться 100% уверенности, но получить 99% результат - вполне возможно. В 1% попадут сомневающиеся и другие примеры, например сарказм или провокации…

Вы начинаете с 75% правильности определения алгоритма и базы данных поисковых паттернов. По мере разрастания базы данных и совершенствования алгоритма со временем вы достигаете сначала 90%, а потом и 95% и т.д. Конечно 100% результат не возможен и ошибки всегда неизбежны.

[stumari]

другой вопрос - я не уверен, что мы одинаково понимаем этот твит.
Мне кажется, что там написано, что Маск уволил не "команду, которая идентифицировала в Твиттере консервативных райт-вингеров"
а "команду, которая идентифицировала, что алгоритм Твиттера усиливает именно правый фланг, по сравнению со всеми остальными"

[borisk]

«Не в первый раз мы видим сотрудников (в особенности чернокожих), пострадавших за то, что они указали на то, как продукция их компании позволяет существовать и потворствует расизму»

Ко второму абзацу твита автор соскочил на привычную дорожку. Про то, что две ноги плохо, а четыре — хорошо.

[stumari]

ну, это понятно, они изначальные такие были, борцы с расизмом,
как те ("особенно чернокожие") исправители Твиттера изнутри, так и автор твита

[impromptu]

Я понимаю про усиливание алгоритма, но ведь пока всех козлищ правофланговых не пересчитаешь, как ты выяснишь, что такой потакающий алгоритм вообще существует? Который amplifies right-wing voices?

Алгоритм Твиттера - технически - это ставить наверх самые важные комменты. Он такой же в этом смысле, как у ФБ, там сортируются сообщения "по релевантности". Как бы ФБ трудно упрекнуть в потакании МАГА. А тут на тебе.

[stumari]

может, они были изначально приставлены находить "крайне-правых", а потом им показалось, что тех, кого они находят, вместо того, чтобы забанить, еще и усиливают (или просто придумали)

> Как бы ФБ трудно упрекнуть в потакании МАГА. А тут на тебе.

ну, есть достаточное количство людей, включая работников ФБ, которые считают, что ФБ если не специально крайне-правая-МАГА-организация, то, по крайней мере, Цукерберг, за деньги им продался, и поскольку ему это приносит прибыль, их раздувает (опять же, вместо того, чтобы, как это вигилянты считают, забанить всех правых нахер)

[juan_gandhi]

Этих людей называют программистами? Ну потому что они черные, или что?

[impromptu]

Ну я предположила, что они программеры, все ж слово алгоритм навевает.
А это вот это

https://blog.hootsuite.com/twitter-algorithm/#What_is_the_Twitter_algorithm

Вот у меня вопросы к методу, ну вот как они к такому выводу-то пришли.

[juan_gandhi]

Про алгоритм просто - это слово употребляется пиэмами, чтобы обозначить важность и сложность задачи.

А как пришли - очень просто, Виджая велела придти, они и пришли.

[kondybas]

Похожий алгоритм используется и для распознавания спама в почте. Определенные слова довольно однозначно метят весь текст. Вначале, конечно, нужно вручную собрать два больших массива писем, нормальных и спамовых. Затем сделать статанализ слов в них, и каждому слову назначить "вес" в баллах. Вес может быть как положительным, так отрицательным. Каждое сообщение проверяем на наличие слов-маркеров и суммируем их веса. Если ушли в плюс - спам. В минус - норм. Разумеется, около нуля из осторожности вердикт не выносим. Так удается отлавливать 99.99% спама, пропуская к получателю 1-2 спамовых письма на тысячу входящих.

Вышеописанное - старый алгоритм. Нынче появились более изощренные. Где оцениваются веса не отдельных слов, а их комбинаций, целых идиом, в разных словоформах. Например, если фильтр можно обмануть, написав fut cut или poossicat - это старый, т.н. "байесовский" фильтр. Новые нейросетевые фильтры могут гораздо больше. Но их тоже нужно учить, и для этого как раз и нужен штат людей, которые просматривают поток сообщений, вручную метят их штемпелем "фошызм" и скармливают нейросети для дообучения.

[impromptu]

OK. Ну как метить паршивцев, и как их пересчитать, понятно более или менее. Но я плохо выразилась в посте, конечно, и главное ткнула в конец. Достижение этой группы, которую он выпер - it identified that Twitter algorithm amplifies right-wing voices over others. Вот мне было неясно, как они посчитали это.

Погуглила и сама себе ответила. Алторитм твиттера (сортировка, накопление фолловеров и пр) - как у всех, наверное, как в ФБ. Видимо, они вот этим занимались.

https://blog.hootsuite.com/twitter-algorithm/#What_is_the_Twitter_algorithm

This initiative has identified Twitter algorithm bias issues, including:

The image-cropping algorithm showed racial bias, tending particularly to highlight white women over Black women.

=======================================================================================

Почему image-cropping (это, видимо, про юпик они) "высвечивает" белых женщин, а черные в тени? Почему женщин-то, ну мужское фото если стригануть, то другой результат у АфАм?

Ну полнейший же булл. Как посчитали? Никак, скорей всего.

[ordinary_joe_backup]

да никак, очевидно же. просто всех обиженных надо спасти, и если шоколодка несет хуйню - ее надо послушать, иначе сука нажалуется в эйчар и пизда твоей карьере, а нее её.

ну и вот.

вся эта левоватая пиздобратия выступает с идиотскими идеями, но все другие ссут их остановить, веть моргидж и тесла в лизинг.

и да, я не трампист, мне трамп глубоко неприятен, но боже сколько раз меня назвали расистом в энторнетах за то что я критиковал всю эту woke тусовку.

[kondybas]

Тут есть один тонкий момент :)

Сами алгоритмы распознавания - они собственного мнения не имеют. Они тупо всасывают образцы, помеченные, как "хорошие" или "плохие" и формируют некую модель, которая старается действовать точно так же, как люди, метящие образцы "хорошими" или "плохими". И по итогу оценка ставится не некая абстрактная, а максимально напоминающая поведение "учителей". И если учителя на всю голову ебанутые, и видят фошызм и альт-райт в слове "pussycat" - то и программный фильтр будет высерать эту ебанину.

Строго говоря, нет ничего плохого в фильтрации спама, или СР, или реального хейт-спича. Проблема лишь в том, кому доверено решать, каковы хорошие и плохие образцы, на которых будет учиться алгоритм. Если ебанутые ебанашки будут браковать все фото, где мужчин больше, чем женщин, то в итоге фильтр начнет браковать любое изображение мужчин. Не потому, что это плохо, а потому, что это считал плохим тот упоротый левачок, у которого сошиал джастис фивер случался по абсолютно любому поводу.

И чтобы все это исправить - нужно сбросить в ноль настройки фильтра, и выкинуть на мороз всю ту упоротую команду, которая этот фильтр засрала своими ебанутыми решениями.

Все проще

[python_regius]

https://www.theguardian.com/technology/2021/oct/22/twitter-admits-bias-in-algorithm-for-rightwing-politicians-and-news-outlets

"The social media platform examined tweets from elected officials in seven countries – the UK, US, Canada, France, Germany, Spain and Japan. It also studied whether political content from news organisations was amplified on Twitter, focusing primarily on US news sources such as Fox News, the New York Times and BuzzFeed.

The study compared Twitter’s “Home” timeline – the default way its 200 million users are served tweets, in which an algorithm tailors what users see – with the traditional chronological timeline where the most recent tweets are ranked first.

The research found that in six out of seven countries, apart from Germany, tweets from rightwing politicians received more amplification from the algorithm than those from the left; right-leaning news organisations were more amplified than those on the left; and generally politicians’ tweets were more amplified by an algorithmic timeline than by the chronological timeline."

Re: Все проще

[impromptu]

Ну вот уже сообразила, что на самом деле все проще и никакой особой ноуки там нету))

Re: Все проще

[kondybas]

Я тут случайно подумал, и мне пришла в голову мысль, что объяснение может быть довольно простое.

Поскольку человеки сами ничего не фильтруют и не амплифицируют, а только кормят робота текстами с пометками "хорошо" и "плохо", то само это содержимое фильтра робота может быть вполне себе очень нехорошей уликой. Или вовсе составом преступления. Потому что если залезть туда и увидеть, что "Трамп = плохо", или "первая поправка = плохо", или "свободные выборы = плохо", то эффект мог бы быть очень неприятным для всех причастных. И вот при первых признаках неиллюзорности продажи твитора Маску ("Маск = плохо") могла возникнуть идея почистить улики. И в том числе - почистить фильтр. А если из фильтра убрать все, что метит правое, как плохое, то он начнет метить правое, как хорошее, и тем амплифицировать его.

Т.е. перекос в амплификации может быть вызван сознательным и намеренным вмешательством в работу фильтра.

Отдельно замечу, что всякая "амплификация" должна рассматриваться, как преступление против общества. Особенно - скрытая и неявная, не имеющая сноски "спонсируется демократической партией". Потому что это есть манипуляция информацией и искажение настроений общества.

Если бы мне поручили.

[(Anonymous)]

Если бы мне поручили делать что-то подобное, я стал бы делать на основе нейросети, это по-моему классическая задача для неё. Причём, даже программировать не пришлось бы вообще, такие нейросети уже давно существуют. Только обучить, подавая на вход тексты, отсортированные человеком по степени экстремизма.

Re: Если бы мне поручили.

[kondybas]

"..отсортированные человеком по степени экстремизма.."

По степени экстремизма, как его этот самый человек понимает...

Если человек экстремизмом считает неприятие эквити, госрегуляций, госпатернализма, тоталитарного вмешательства государства во все, что только можно, то на выходе получите гестапо, каким и сделался тот же твитор.

[zuka]

Легко, тем более, что данных в инете на оба политических направления вагон и маленькая тележка. Науськиваешь самообучающийся алгоритм на спец базу данных - и привет.
Уже есть алгоритмы, определяющие следующую кучку случайных сайтов, использующихся для определенного типа вируса, или DDOS-атаки. Политика куда проще такого специально рандомизированного и "непредсказуемого" выбора. А уж последователи любого крыла политики - еще проще.

[impromptu]

Вот а можно, представь, даже не науськивать, а заявить - вот так и так, тут майноритиз и левым через твиттеровский алгоритм угнетение выходит. Что периодически и делали. А теперь делать не будут (пока не нашли работу в другом месте), но, видимо, Маска все ж будут судит0.

[irene221b]

Просто. Выбираем 100 аккаунтов, которые считаем левыми, и 100, которые правыми. И смотрим на лайки и ретвиты. Потом заключаем, что у правых больше ретвитов не потому, что они пишут задорнее, а потому что алгоритм - пособник врагов народа.

[impromptu]

Выяснилоь, кстати, что примерно таким образом они и трудились. То есть не то что вот тебе прям ныряние в глубины анализа, вот так, весомо, грубо, и зримо))

[julinona]

Браво!!!
:))))