Twitter закрыл определение числа ссылок на запись

Раньше у Твиттера была удобная возможность определить число твитов, которые ссылаются на определенную запись. Считай число шаров записи. Такое есть у фейсбука, у одноклассников и пр. Находилось эта радость у Твиттера по адресу -  http://urls.api.twitter.com/1/urls/count.json?url={0}. Но начиная с 20 ноября работа этого сервиса остановлена. Так как я использую число "шар" на запись при составлении видео-топа, то пришлось делать альтернативу путем использование прямого поиска твиттера. Вот пример функции, которая позволяет определить число ссылок на запись и доступна в библиотеке BlogsAPI:

Copy Source | Copy HTML
  1. var tokens = Configuration.GetTokens(Twitter.oSelf.username, DefaultConfig);
  2.                 TwitterResponse<TwitterSearchResultCollection> res = null;
  3.                 var total =  0;
  4.                 do
  5.                 {
  6.                     res = TwitterSearch.Search(tokens,
  7.                         Common.DelHttp(Link.OriginalString),
  8.                         new SearchOptions()
  9.                         { UseSSL = true,
  10.                             Count = 100,
  11.                             IncludeEntities = false,
  12.                             MaxId = res?.ResponseObject.Last().Id ??  0}
  13.                         );
  14.                     if (res.Result == RequestResult.Success)
  15.                     {
  16.                         total += res.ResponseObject.Count;
  17.                     }
  18.                 } while (res.Result == RequestResult.Success && res.ResponseObject.Count == 100 && total < 1000);//ограничиваемся 1000, иначе много запросов
  19.                 //все прошло на ура, иначе не будем добавлять даже 0
  20.                 if (res.Result == RequestResult.Success)
  21.                 {
  22.                     oRet.Add("count", total);
  23.                 }



Метки:   Категории:Twitter | topbot | t30p


Telegram Bot для T30P

Существует мессенджер от Дурова, о котором мало кто знает - Телеграм.org. Типа скайпа, но популярен в Узбекистане и Иране. Одна из его фишек для СМИ - возможность создания автоматических сервисов. По сути программируемый канал, который формирует ответы в зависимости от переданной команды. Революционность этого подхода в том, что кроме обычных сообщений от пользователя можно принимать все возможности его телефона - от координат до голоса и видео. Получается универсальная система автоматизированных сообщений, работающая на всех устройствах. Основной минус в том, что мало кто пользуется телеграмом.

Итого, я написал робота для Телеграма - T30P_bot . Под маком можно просто общаться, установив приложение телеграм из iTunes. А для винды - ссылка на робота выше скорее всего будет бесполезна, смотрите на телефоне. Функционал моего бота простой:

  1. Передает всевозможные топы, которые есть на t30p.ru
  2. Позволяет искать сообщения из соц.сетей рядом с локацией, как в мобильном приложении.
  3. Получать случайную гифку из (опять же) дуровского вконтактика. Так как ВК переполнен порногифками, то с большой вероятностью вернется порногифка. И сама команда названа /porn . Пример работы команды на картинке. 

Всем желающим предлагается по-тестировать бота. Предложения и идеи - сюда в комменты или на почту.

UPDATE: Добавлена команда /cat - выводит случайного котика


Метки: ,   Категории:topbot | t30p


Популярные страницы Facebook

Обновил рейтинг популярных страниц на фейсбука. Также заработал рейтинг постов с фейсбука, ранее поломавшийся. Этот же рейтинг есть и в интерфейсе сайта с социальными аккаунтами social.t30p.ru 

PS: Сейчас думаю о настройке телеграм-бота для t30p.


Метки:   Категории:topbot | Facebook | t30p


Неинформативное бесполезное содержание от Google

Google окончательно понизил находимость моего сайта t30p в поиске с формулировкой "Неинформативное бесполезное содержание". Вот так вот, делаешь 6 лет сайт, а потом узнаешь, что на нем неинформативное содержание. Ранее я писал, что от гугла приходили сообщения об исключении ряда страниц из поиска в Европе. А теперь, видимо, по всему миру. Но я все еще надеюсь, что гугл одумается и исправится. Вот полная формулировка:

На этом сайте обнаружено значительное количество низкокачественных или малоинформативных страниц, содержание которых не представляет ценности для пользователей (например, страницы партнерских программ, шаблонные страницы, дорвеи, а также страницы, содержание которых было создано автоматически или скопировано с других сайтов).


Метки:   Категории:topbot | Google | t30p


100тыс. твитов и украинский топ

Сегодня у моего твиттера юбилей - 100 тыс. сообщений оставлено за 5,5 лет. Я заметил, что среди ряда медийных читателей бытовало мнение, что это "украинский твиттер-топ", из-за того, что в нем много новостей про Украину. Но взглянув на самый первый твит этого аккаунт, обнаружил, что он также был сделан на украинском в 2009 году. Более того, открыв аналитику, оказалось, что большая часть читателей этого твиттера 5600 чел. из Украины. Картинка со статой ниже. Такие дела, только через 5 лет, узнаешь, что создал не русский, а украинский топ твиттера =).


Метки:   Категории:Twitter | topbot | t30p


Мобильное приложение t30p.ru

Примерно 3 года назад я говорил, что сайту нужна мобильная версия. Естественно, никто не про-инвестировал эту сомнительную разработку и ранее она мне казалась очень сложной. Но вот, не прошло и три года мне удалось своять мобильное приложение, которое обладает следующим функционалом:

  1. Читать актуальные новости из социальных сетей. Это топы, видео, инстаграм. Почти все, что есть на t30p.ru.
  2. Смотреть кто что пишет рядом с вами, используя геолокацию, а также постить с гео-тэгом и картинкой
  3. Мобильный социальный поиск. Искать упоминания слов в общедоступных сетях.

Доступна эта радость пока на двух платформах - Android,WP8 (wp7 пролетает). Недели через 3 думаю будет и в AppStore для Apple. Так как только там процесс публикации занимает много времени на модерацию. 

Сделано, как все гениальное, просто. На базе триала в Telerik Appbuilder (Icenium) и Kendo UI. Все можно использовать бесплатно. В итоге создается фактически сайт прямо в Visual Studio 2013, а потом на сервере конвертирует уже в нужный код для публикации на маркете. Плюс, там еще разная заморочка, чтобы подписать уже скомпиленный файл. В итоге создание мобильного приложение становиться простым как и создание сайта на .net с использованием JS.

Скриншоты приложения есть по ссылкам по кнопкам маркетом. Будет здорово, если хоть кто-то их протестирует и начнет ими пользоваться. И да, отзывы тоже пишите, можно прямо на маркете.


Метки: ,   Категории:Mobile | topbot | Code | t30p | life


Yandex Map 2.1

Примерно полгода назад было объявлено о новой версии 2.1 яндекс-карт. За полгода они так и не успели выйти из беты, но это не помешало мне перевести карту гео-сообщений на новую версию. Улучшено определение местоположения пользователя, да и просто стало работать как обещают на треть быстрее. Кто хочет тестируйте, так как все-равно, судя по логам, эта карта не популярна. Нужно когда-нибудь сделать мобильное приложение, чтобы пользователи начали читать о том, что происходит рядом с ними.


Метки:   Категории:topbot | Code | t30p


Тренды Твиттера - update

В конце прошлого года было небольшое изменение в фильтр трендов твиттера на т30п, что теперь темы раскручиваемые ботами более не попадают в общий список. Так и сегодня, когда падал Вконтакте, на графике хорошо видно, что это произошло в 14-00 по Москве. Однако другая тема, раскручиваемая одновременно с этим - #ОНФНаучитЭкономить - хоть и индексировалась, но не была включена в тренды, так как крутилась ботами.

Метки:   Категории:Twitter | topbot | t30p


Не могу не пропиарить

Один из блогеров, узнав, что попал на общую карту из миллиона русских блогеров, решил, что это обусловлено тем, что у его канала 1 млн. просмотров. И снял следующее видео. Можем только порадоваться за Олега и пожелать роста популярности.


Метки:   Категории:topbot


Немного про t30p и youtube

Итак, два момента. Во-первых, видео на ютубе часто стали удалять, поэтому я добавил копирование почти всех популярных видео из видеотопа. То есть получить копию видео с большой вероятностью можно по примерно такой ссылке http://www.t30p.ru/cache.aspx?youtube.com%2fwatch%3fv%3dvuQgPtS_W_Y, где в аргументах можно поставить другую ссылку. Либо перейти по ссылке "Копия поста" из самого видеотопа. Стоит отметить, что копия видео при помощи html5 работает и на мобильных устройствах, так что мои опасения не оправдались.
Почему "почти все видео" - потому что в видеотоп попадают и те видео, которые опубликованы "не для всех", а для тех кто знает прямую ссылку, если эта ссылка покала как-то в очередь на индексирование. Однако сам Youtube не позволяет скачиваеть подобные видео. Более того, сама функция скачки прямого видео с серверов американской кампании - не является документированным использованием сервиса. Напомню, что по задумке американских спецслужб, вы все свои видео-знания должны загружать им на модерацию, а о скачке назад - только если они вам позволят.

Функция YouTube.DirectLink получения прямой ссылки для скачивания видео с Youtube в различных форматах, как всегда в открытом доступе в библиотеке BlogsAPI.

Второй момент, хочу обратить, что индексируется Facebook, GooglePlus, Vkontakte, первый дает 150-200 тыс русскоязычных постов в сутки. Второй - 1000 постов. Третий - 50-100тыс. (тут точно не все, зато больше, чем у яндекса). Отмечу, что никто в эти цифры мне не верит. Наверное они думают, что и в ЖЖ делается 100 тыс постов в сутки, а не 15 тыс. Но тем не менее, когда у меня все работает стабильно, в условиях жесткой нехватки ресурсов, то получаются такие цифры. Стоит отметить, что у фейсбука в след.месяце будут серьезные изменения в API, так что заново придутся думать.


Метки:   Категории:trend | topbot | Google | Facebook | t30p


Наглядная иллюстрация к книге "Уши машут ослом"

Как видно из картинки ниже, что если топблогеру в лоб сказать правду, что информационная повестка формирует топблогеров, так тут же включается защитный механизм самоидентификации, что я топблогер, так как знаю, что хочет народ. Ага, а народ читает то, что хочет, а не то что пишут? Для ясности, контекст обсуждения заключался в том, что высказано неудовлетворение содержимым постов топблогера в точки зрения общей информационной картины.


Метки:   Категории:topbot | humor | t30p


[2012] - Обзор блогосферы от t30p.ru

Несколько запоздалый ежегодный обзор блогосферы, на этот раз третий, может быть скачан по ссылке http://yadi.sk/d/D20xMWx221XGu

Метки:   Категории:Analytics | topbot | t30p


Обновление в топе, видеотоп

Вчера случился сбой подсчета трендов твиттера. Но сегодня вроде все нормально и уже обновилось. Кроме того с сегодняшнего дня в потоковом режиме индексируются русскоязычный Ютую, поэтому в Видео топе начали появляться совершенно незнакомые ранее авторы, которые действительно популярны. Что с этим делать и как вернуть привычные ролики про политику - пока не понятно. Но можно кликать на иконку платформы или пользоваться простым поиском по ютубу с любым интересующим словом, например Каникулы в Мексике. В видео-топе появились совершенные шедевры. Да, из области видео-игр, но это очень смешно.

Метки: ,   Категории:topbot | t30p


Техническое по топу

На выходных переключились с A записи по дефолту, на CNAME с www (картинка ниже приведена). Это последний этап помещения топа в облачную архитектуру. Сейчас все выглядит примерно следующим образом.
  • За DNS отвечают 5 серверов Dynect с технологией Anycast. Их же использует Твиттер.
  • Веб-часть выдает Azure CDN, который имеет точку в москве
  • Картинки хранятся в BlobStorage вместимостью 100ТБ и доступом до 5000 обращений в секунду.
  • База данных в Amazon RDS multi A-Z, large.
Итого, из любой точки мира должно открываться за 4 секунды, выдержит любые нагрузки, к ядерной войне готовы.
Неудобство CDN лишь в том, что используя OpenDNS я постоянно попадаю на сервер CDN в америке, к которому видимо мало обращений, так что постоянно попадаю на долгий "холодный старт" прокси-сервера CDN.

Остается немного и можно конкурировать с Яндексом
  • Перенести контекстное индексирование постов в облако. Благо есть библиотека Lucene Azure + Lemmatizer
  • Запустить динамическое обновление социального авторитета, а то пока он статический.
  • Разобраться с влиянием ссылок твиттера на топы.
  • Много других мыслей, например, объединить Сводный и Чистый топы, и добавить "НародныйТОП", где можно было бы голосовать за записи.



Метки:   Категории:topbot | t30p


Facebook meltdown

Сегодняшнее падение фейсбука уже широко обсуждается на том же хабре. Говорят ошибка была в DNS. Наглядно падение активности русских людей в фейсбуке видно на странице рейтинга, где число talks упало суммарно аж на 12%. Сейчас все восстановилось. Куда более интересна проблема спама, которая захлестнула ЖЖ и прежде всего выдачу яндекса по блогам как раз после окончания выборов. Странно, что яндекс до сих пор не бьет тревогу. Очень много ботов пишут теперь не про политику, а про всякие турпоездки да авиаперелеты. Это негативно влияет на качество работы топа по части ЖЖ, поэтому все больше сообщений попадает в топ из ГуглПлюса.

Метки:   Категории:topbot | t30p


Twitter Streaming and Twitter Trends

Не так давно Яндекс заявил об интеграции с Твиттером по технологии firehorse. Это доступно не каждому, а только избранным, как можно видеть в документации. Зато существует немалополезная функция track, которая уже реализована в Twitterizer 2.4, а значит и в BlogsAPI 0.4.5. На практике она используется следующим способом
Copy Source | Copy HTML
  1. public override void Work(object sender, ElapsedEventArgs e)
  2. {
  3.     try
  4.     {
  5.         var uso = new UserStreamOptions()
  6.                                     {
  7.                                         AllReplies = true,
  8.                                         Count = -100,//отмотаем 100 назад
  9.                                         Track = new List<string>(
  10.                                             "слово1,слово2,слово3".Split(','))
  11.                                     };
  12.         TwitterStream stream = new TwitterStream(tokens, Twitter.appName, uso);
  13.         IAsyncResult result = stream.StartPublicStream(
  14.             StreamStopped,
  15.             NewTweet,
  16.             DeletedTweet,
  17.             OtherEvent
  18.         );
  19.         // Wait for the WaitHandle to become signaled.
  20.         result.AsyncWaitHandle.WaitOne();
  21.         // Close the wait handle.
  22.         result.AsyncWaitHandle.Close();
  23.     }
  24.     catch (Exception exception)
  25.     {
  26.         FireException(exception);
  27.     }
  28. }

Благодаря использованию потоковой функции Track удалось интегрировать T30P с Твиттером плотнее и теперь при формировании топа Твиттера, как по твитам, так и по трендам, есть полная независимость от Яндекса. А новые алгоритмы фильтрования ботов позволяют делать топ действительно качественным. По нагрузке получилось, что не смотря на поток в 2млн. русскоязычных сообщений в твиттере в сутки, токлько примерно 1 сообщение в 2 секунды не является спамовым и является популярным сообщением или обсуждением популярного сообщения, что заметно упростило задачу.

Метки:   Категории:Twitter | trend | topbot | t30p


@masterhost_ru второй день лежит

мастерхост падает вторую ночь подряд, со всеми своими DNS, что также привело к падению топа постов блогосферы Т30П. Однако, не смотря на это, топ можно открыть по прямому адресу 89.108.115.22. DNS еще не успели смениться.

Метки:   Категории:topbot | t30p


Masterhost down

Опять завалился masterhost, а вместе с ним все мое, что перечисленно в тэгах. Особенно печально, что t30p недоступен. Наверняка за неуплату отключили трафик у мастерхоста. Но пока нет никакой информации о случившемся, однако уже час не работает и непонятно сколько еще это будет продолжаться. При включении все домены будут перенесены.

Метки:   Категории:MailID | topbot | t30p


Обзор блогосферы

Обзоз блогосферы за 2011 год скачать можно тут . В отчете собрана текущая статистика т30п до ресета. Напоминаю, что каждый год в новый год сбрасываются некоторые счетчики, такие как число постов в текущем году.

Метки:   Категории:topbot | t30p


Падение DNS мастерхоста

Подтверждаю, что с 8 до 12 утра #24дек неработали DNS сервера мастерхоста, что привело к неработоспособности многих сайтов, в том числе и t30p.ru.

Метки:   Категории:topbot | t30p


Кто я?

Программист. Я слежу за блогосферой и знаю, как будет развиваться интернет. Когда у меня есть время я даже прилагаю для этого усилия. Подробнее

Последние комментарии

Не отображать

Topbot at FeedsBurner

Облако тэгов

Мои Твиты

Twitter июля 19, 21:14
☠Разбор сериала Американские боги (1й сезон) http://dlvr.it/PWtYJ2 https://twitter.com/f1ashr/status/887782628924968960/photo/1

Twitter июля 16, 17:11
Давай же оторвемся, как в 1986 http://dlvr.it/PW1Dfj

Twitter июля 12, 21:05
читать спутник и погром бесплатно http://dlvr.it/PV81Dt

Twitter июля 10, 20:44
Разбор сериала Кремниевая долина (Silicon Valley) http://dlvr.it/PTdGJk https://twitter.com/f1ashr/status/884513586814439424/photo/1

Twitter июля 9, 15:34
Heineken 0 0 http://dlvr.it/PTLNKG

Twitter июля 7, 11:13
Роскомнадзор планирует заблокировать IP сайта t30p http://dlvr.it/PSsvCq

Twitter июля 2, 10:35
Добродел обновился http://dlvr.it/PRdlv1 https://twitter.com/f1ashr/status/881461233085366272/photo/1

Twitter июня 28, 09:48
Самоуправляемые ездящие картошки http://dlvr.it/PQfwZc

Twitter июня 28, 06:20
коломенский кремль: альтернативная история 2 http://dlvr.it/PQd671 https://twitter.com/f1ashr/status/879947652816814080/photo/1

Twitter июня 26, 08:44
Пасха в Москве 2 сентября 2017 года http://dlvr.it/PQ7Jsz https://twitter.com/f1ashr/status/879258969776177153/photo/1

Twitter июня 25, 17:55
@AnMax38 @history_RF Коломне от силы 270 лет, как и другим российским городам.

Twitter июня 22, 12:28
Суперлайки в Перископе http://dlvr.it/PPDsML

Twitter июня 21, 21:13
Что такое любовь? Песнь льда и пламени http://dlvr.it/PP4nxv https://twitter.com/f1ashr/status/877635527108722689/photo/1

Twitter июня 21, 09:57
Найдено применение для дополненной реальности http://dlvr.it/PNxLxw https://twitter.com/f1ashr/status/877465389294247936/photo/1

Twitter июня 21, 01:59
Periscope VIP что это? http://dlvr.it/PNsDcb https://twitter.com/f1ashr/status/877345106982035457/photo/1

Twitter июня 20, 22:13
Итоги 2016 года в Живом Журнале http://dlvr.it/PNqHw1 https://twitter.com/f1ashr/status/877288232597168128/photo/1

Twitter июня 20, 20:36
Гравитация. Сила тяжести. (Теория общего знания, часть 17) http://dlvr.it/PNpKGs https://twitter.com/f1ashr/status/877263840982913025/photo/1

Twitter июня 20, 20:36
Идеальное решение для Курильских островов http://dlvr.it/PNpKHy

Twitter июня 20, 20:36
Изменения в API Facebook / Youtube / Instagram http://dlvr.it/PNpKD4 https://twitter.com/f1ashr/status/877263832963399680/photo/1

Twitter июня 20, 20:36
Неинформативное бесполезное содержание от Google http://dlvr.it/PNpK5L https://twitter.com/f1ashr/status/877263822372847616/photo/1

Мой твиттер

Копирайт

Все мысли, высказанные в блоге, являются моим мнением и за это мнение меня никто не забанит! Кроме того, никто не имеет право копировать материалы блога без использования ctrl+C/V!

© Copyright 2008