Twitter закрыл определение числа ссылок на запись

Раньше у Твиттера была удобная возможность определить число твитов, которые ссылаются на определенную запись. Считай число шаров записи. Такое есть у фейсбука, у одноклассников и пр. Находилось эта радость у Твиттера по адресу -  http://urls.api.twitter.com/1/urls/count.json?url={0}. Но начиная с 20 ноября работа этого сервиса остановлена. Так как я использую число "шар" на запись при составлении видео-топа, то пришлось делать альтернативу путем использование прямого поиска твиттера. Вот пример функции, которая позволяет определить число ссылок на запись и доступна в библиотеке BlogsAPI:

Copy Source | Copy HTML
  1. var tokens = Configuration.GetTokens(Twitter.oSelf.username, DefaultConfig);
  2.                 TwitterResponse<TwitterSearchResultCollection> res = null;
  3.                 var total =  0;
  4.                 do
  5.                 {
  6.                     res = TwitterSearch.Search(tokens,
  7.                         Common.DelHttp(Link.OriginalString),
  8.                         new SearchOptions()
  9.                         { UseSSL = true,
  10.                             Count = 100,
  11.                             IncludeEntities = false,
  12.                             MaxId = res?.ResponseObject.Last().Id ??  0}
  13.                         );
  14.                     if (res.Result == RequestResult.Success)
  15.                     {
  16.                         total += res.ResponseObject.Count;
  17.                     }
  18.                 } while (res.Result == RequestResult.Success && res.ResponseObject.Count == 100 && total < 1000);//ограничиваемся 1000, иначе много запросов
  19.                 //все прошло на ура, иначе не будем добавлять даже 0
  20.                 if (res.Result == RequestResult.Success)
  21.                 {
  22.                     oRet.Add("count", total);
  23.                 }



Метки:   Категории:Twitter | topbot | t30p


Telegram Bot для T30P

Существует мессенджер от Дурова, о котором мало кто знает - Телеграм.org. Типа скайпа, но популярен в Узбекистане и Иране. Одна из его фишек для СМИ - возможность создания автоматических сервисов. По сути программируемый канал, который формирует ответы в зависимости от переданной команды. Революционность этого подхода в том, что кроме обычных сообщений от пользователя можно принимать все возможности его телефона - от координат до голоса и видео. Получается универсальная система автоматизированных сообщений, работающая на всех устройствах. Основной минус в том, что мало кто пользуется телеграмом.

Итого, я написал робота для Телеграма - T30P_bot . Под маком можно просто общаться, установив приложение телеграм из iTunes. А для винды - ссылка на робота выше скорее всего будет бесполезна, смотрите на телефоне. Функционал моего бота простой:

  1. Передает всевозможные топы, которые есть на t30p.ru
  2. Позволяет искать сообщения из соц.сетей рядом с локацией, как в мобильном приложении.
  3. Получать случайную гифку из (опять же) дуровского вконтактика. Так как ВК переполнен порногифками, то с большой вероятностью вернется порногифка. И сама команда названа /porn . Пример работы команды на картинке. 

Всем желающим предлагается по-тестировать бота. Предложения и идеи - сюда в комменты или на почту.

UPDATE: Добавлена команда /cat - выводит случайного котика


Метки: ,   Категории:topbot | t30p


Неинформативное бесполезное содержание от Google

Google окончательно понизил находимость моего сайта t30p в поиске с формулировкой "Неинформативное бесполезное содержание". Вот так вот, делаешь 6 лет сайт, а потом узнаешь, что на нем неинформативное содержание. Ранее я писал, что от гугла приходили сообщения об исключении ряда страниц из поиска в Европе. А теперь, видимо, по всему миру. Но я все еще надеюсь, что гугл одумается и исправится. Вот полная формулировка:

На этом сайте обнаружено значительное количество низкокачественных или малоинформативных страниц, содержание которых не представляет ценности для пользователей (например, страницы партнерских программ, шаблонные страницы, дорвеи, а также страницы, содержание которых было создано автоматически или скопировано с других сайтов).


Метки:   Категории:topbot | Google | t30p


Рейтинг блогосферы - пост 4 (про ссылки)

Примечательно, что с каким бы программистом я не начинал обсуждать алгоритм составления ТОПа, в итоге каждый говорил, что вот он сейчас пойдет создаст сайт, выложит там новый ТОП и станет популярным. Это с одной стороны хорошо, так как показывает, что программисты - люди дела и любители играть в разные алгоритмы, а также мечтают стать знаменитыми. Но с другой стороны показывает, что они не понимают
1) Как работать в команде,
2) Что так как все работают с одним векторным пространством и одинаковыми сырыми данными, то в итоге рейтинг у всех будет совпадать в значительной степени.(~20%)
3) Самая сложность не в первоначальной сортировке, а в последующих фильтрах, которые должны отсеять спамерские посты. А спамерские посты чаще всего имеют ссылки как входящие, на сам пост, так и исходящие - на рекламу - которые нужно уметь определять и фильтровать. Вот об этом алгоритме работы нового ТОПа и поговорим.

После 4х летнего изучения топов я с полной уверенностью могу сказать, что нет смысла составлять списки бана, то есть лишать определенныз определенных блогеров шанса попасть в ТОП. Ибо это равносильно тому, чтобы посадить своего модератора, так как спамер может создавать новые блоги каждый день. В связи с этим логичным видится
1) фильтр по ссылкам, которые содержаться в посте - то есть все ссылки должны проходить проверку через сервис opendns, чтобы исключить ссылки на фишинговые сайты в топе или на сайты с вирусами. Минус - медленная работа по отбору записей, поэтому я пока ограничился самосоставленным списком с плохими ресурсами. И если в после есть ссылка на плохой ресурс, то пост не попадет в топ. Также я расматриваю вариант, когда на наличие плохих ссылок будет анализироваться вся главная страница блога и страница профиля, так как вероятно их откроет человек захотевший узнать побольше об авторе ТОПа и этим тоже пользуются спамеры.
2) ссылки на популярные сервисы сокращения ссылок (bit.ly) можно пока не фильтровать, так как эти сервисы сами заинтересованы в фильтрации ссылок на фишинговые и вирусные сайты.
3) Ранее я упомянул фильтр на локальный экстримум - он заключается в том, что проверяется, что за локальный период времени ссылок именно на этот пост блогера было больше всего или комментариев было больше всего. Это прежде всего позволяет отфильтровать тех у кого есть трансляции и у кого стабильно по несколько ссылок между своими трансляциями. Также отфильтрует тех, у кого стабильно много комментариев, например из-за спама в комментариях.
4) Анализируя спамерскую активность я пришел к выводу в необходимости фильтра "LinksIntegrity" - задача которого проверить все ссылки на расматриваемый пост, отбросить одинаковые, отбросить те, которые сделаны из сообществ и отбросить все ссылки с микроблогов. Повышенная активность в микроблогах и то, что там почти каждый пост содержит ссылки - говорит о том, что нельзя микроблоги причислять к полноценным блогам. Кроме того в микроблогах сейчас каждый упоминание типа "@user" - считается ссылкой и это сильно перекосило рейтинг блогеров и вызывает недоумение в определенных кругах. Итак, после отбора ссылок, проверяется, что оставшееся число ссылок достаточно для того, чтобы интегральная характеристика поста оставалась среди 20% постов с наибольшим значением.


Метки:   Категории:Blogs | Analytics | topbot | Code


Кто я?

Программист. Я слежу за блогосферой и знаю, как будет развиваться интернет. Когда у меня есть время я даже прилагаю для этого усилия. Подробнее

Последние комментарии

Не отображать

Topbot at FeedsBurner

Мои Твиты

Twitter июня 22, 12:28
Суперлайки в Перископе http://dlvr.it/PPDsML

Twitter июня 21, 21:13
Что такое любовь? Песнь льда и пламени http://dlvr.it/PP4nxv https://twitter.com/f1ashr/status/877635527108722689/photo/1

Twitter июня 21, 09:57
Найдено применение для дополненной реальности http://dlvr.it/PNxLxw https://twitter.com/f1ashr/status/877465389294247936/photo/1

Twitter июня 21, 01:59
Periscope VIP что это? http://dlvr.it/PNsDcb https://twitter.com/f1ashr/status/877345106982035457/photo/1

Twitter июня 20, 22:13
Итоги 2016 года в Живом Журнале http://dlvr.it/PNqHw1 https://twitter.com/f1ashr/status/877288232597168128/photo/1

Twitter июня 20, 20:36
Гравитация. Сила тяжести. (Теория общего знания, часть 17) http://dlvr.it/PNpKGs https://twitter.com/f1ashr/status/877263840982913025/photo/1

Twitter июня 20, 20:36
Идеальное решение для Курильских островов http://dlvr.it/PNpKHy

Twitter июня 20, 20:36
Изменения в API Facebook / Youtube / Instagram http://dlvr.it/PNpKD4 https://twitter.com/f1ashr/status/877263832963399680/photo/1

Twitter июня 20, 20:36
Неинформативное бесполезное содержание от Google http://dlvr.it/PNpK5L https://twitter.com/f1ashr/status/877263822372847616/photo/1

Twitter июня 19, 18:29
Правила обрезания плодовых деревьев http://dlvr.it/PNVtKx https://twitter.com/f1ashr/status/876869473524789248/photo/1

Twitter июня 19, 11:51
Мобильное приложение t30p убрано из AppStore http://dlvr.it/PNQKMg

Twitter июня 9, 09:56
CDN for HTTPS на Azure http://dlvr.it/PKyPl4

Twitter июня 8, 09:12
Поиск причины популярности спиннеров http://dlvr.it/PKgm7x https://twitter.com/f1ashr/status/872743030532354048/photo/1

Twitter июня 7, 09:36
Beep-Beep Im a Sheep (go crazy now) http://dlvr.it/PKPk5M https://twitter.com/f1ashr/status/872386692468101120/photo/1

Twitter июня 7, 07:37
Где россияне праздновали новый 2017 год http://dlvr.it/PKNbfk https://twitter.com/f1ashr/status/872356936511098885/photo/1

Twitter июня 7, 04:59
7 лет аккаунту в твиттере http://dlvr.it/PKMDFt

Twitter июня 7, 01:49
Теневой бизнес ГИБДД http://dlvr.it/PKKlKx https://twitter.com/f1ashr/status/872269148281159680/photo/1

Twitter июня 6, 18:19
Трансляции Одноклассников (http://Ok.ru/live) добавлены в t30p http://dlvr.it/PKFBJH https://twitter.com/f1ashr/status/872156036446027776/photo/1

Twitter июня 6, 17:15
О смене дизайна Вконтакте http://dlvr.it/PKDQb5

Twitter июня 6, 17:15
Непонятные конкурсы в Твиттере http://dlvr.it/PKDQNz https://twitter.com/f1ashr/status/872139813071101952/photo/1

Мой твиттер

Копирайт

Все мысли, высказанные в блоге, являются моим мнением и за это мнение меня никто не забанит! Кроме того, никто не имеет право копировать материалы блога без использования ctrl+C/V!

© Copyright 2008