Немного про t30p и youtube

Итак, два момента. Во-первых, видео на ютубе часто стали удалять, поэтому я добавил копирование почти всех популярных видео из видеотопа. То есть получить копию видео с большой вероятностью можно по примерно такой ссылке http://www.t30p.ru/cache.aspx?youtube.com%2fwatch%3fv%3dvuQgPtS_W_Y, где в аргументах можно поставить другую ссылку. Либо перейти по ссылке "Копия поста" из самого видеотопа. Стоит отметить, что копия видео при помощи html5 работает и на мобильных устройствах, так что мои опасения не оправдались.
Почему "почти все видео" - потому что в видеотоп попадают и те видео, которые опубликованы "не для всех", а для тех кто знает прямую ссылку, если эта ссылка покала как-то в очередь на индексирование. Однако сам Youtube не позволяет скачиваеть подобные видео. Более того, сама функция скачки прямого видео с серверов американской кампании - не является документированным использованием сервиса. Напомню, что по задумке американских спецслужб, вы все свои видео-знания должны загружать им на модерацию, а о скачке назад - только если они вам позволят.

Функция YouTube.DirectLink получения прямой ссылки для скачивания видео с Youtube в различных форматах, как всегда в открытом доступе в библиотеке BlogsAPI.

Второй момент, хочу обратить, что индексируется Facebook, GooglePlus, Vkontakte, первый дает 150-200 тыс русскоязычных постов в сутки. Второй - 1000 постов. Третий - 50-100тыс. (тут точно не все, зато больше, чем у яндекса). Отмечу, что никто в эти цифры мне не верит. Наверное они думают, что и в ЖЖ делается 100 тыс постов в сутки, а не 15 тыс. Но тем не менее, когда у меня все работает стабильно, в условиях жесткой нехватки ресурсов, то получаются такие цифры. Стоит отметить, что у фейсбука в след.месяце будут серьезные изменения в API, так что заново придутся думать.


Метки:   Категории:trend | topbot | Google | Facebook | t30p


Популярность фильмов российского проката

Создана страница со списком фильмов в российском прокате по упоминаемости в блогосфере. В отличии от прошлых экспериментов Яндекса тут нет вариации по времени, так как возможности хранения активного индекса у меня более чем ограничены (неделя).

Метки:   Категории:Analytics | t30p


Наглядная иллюстрация к книге "Уши машут ослом"

Как видно из картинки ниже, что если топблогеру в лоб сказать правду, что информационная повестка формирует топблогеров, так тут же включается защитный механизм самоидентификации, что я топблогер, так как знаю, что хочет народ. Ага, а народ читает то, что хочет, а не то что пишут? Для ясности, контекст обсуждения заключался в том, что высказано неудовлетворение содержимым постов топблогера в точки зрения общей информационной картины.


Метки:   Категории:topbot | humor | t30p


[2012] - Обзор блогосферы от t30p.ru

Несколько запоздалый ежегодный обзор блогосферы, на этот раз третий, может быть скачан по ссылке http://yadi.sk/d/D20xMWx221XGu

Метки:   Категории:Analytics | topbot | t30p


Lucene net 3.0.3

Полтора месяца назад доступна стала обновленная версия Lucene 3.0, а значит команда, которая полтора года назад забросила развитие этого проекта получила новое финансирование. В связи с этим была обновлена и моя поисковая система. Замечено заметное улучшение скорости индексирования при ограниченных ресурсах. Примерно в 2-2,5 раза. То есть даже при минимальных мощностях можно индексировать по 300 постов в секунду. Обусловлено прежде всего тем, что анализаторы в новой библиотеки оперируют не токенами, а байтами и буферами, что сильно ускоряет токенизацию. Также в связи с новой библиотекой потребуется обновить Azure Directory, но там ничего сложного. Общая концепция изменения объекта Directory в том, что объединили функции Close и Dispose и во многих местах ушли от функций в пользу get-property что уменьшает расход памяти.

AzureDirectory.rar (1,58 mb)


Метки:   Категории:microsoft | Code | t30p


Двач (2ch) атаковало Azure

Выяснилось, что этой ночью сетевые хулиганы, известные как анонимы с борды "Двач" атаковали сайт Интернет-ополчения и заодно зацепили своей атакой мой сайты расположенные в облаке Windows Azure. Это было обусловлено тем, что у меня в индексе накапливается много информации, в том числе и копия постов интернет ополчения. Если первое они быстро положили, то второе, как работало, так и продолжило работать. (Отчасти так как функционал там простой - простая выдача данных, без сложных операций залогиниваний и т.п.). Ну и скриншоты в тему:

По факту анонимы используют программу с целью забивания канала у сайта жертвы. В логах azure это выглядело так:

И конечно же этого оказалось недостаточно, чтобы остановить работу мульти-инстансового сервиса, который даже заточен на то, чтобы регулярно "падать"(перезапускаться) и я использую сервис распределенного мониторинга pingdom.com, чтобы вовремя узнавать о сбоях в работе. Его логи также не показали никаких сбоев (большая величина пинга обусловлена тем, что большая часть серверов сервиса в США, а азур в Европе):

Метки:   Категории:Analytics | t30p


Обновление в топе, видеотоп

Вчера случился сбой подсчета трендов твиттера. Но сегодня вроде все нормально и уже обновилось. Кроме того с сегодняшнего дня в потоковом режиме индексируются русскоязычный Ютую, поэтому в Видео топе начали появляться совершенно незнакомые ранее авторы, которые действительно популярны. Что с этим делать и как вернуть привычные ролики про политику - пока не понятно. Но можно кликать на иконку платформы или пользоваться простым поиском по ютубу с любым интересующим словом, например Каникулы в Мексике. В видео-топе появились совершенные шедевры. Да, из области видео-игр, но это очень смешно.

Метки: ,   Категории:topbot | t30p


top twitter vs t30p

Топ твиттера успешно попал в топ твиттера. Информационный поток замкнулся сам на себя, achievement unlocked так сказать.

Метки:   Категории:t30p


Техническое по топу

На выходных переключились с A записи по дефолту, на CNAME с www (картинка ниже приведена). Это последний этап помещения топа в облачную архитектуру. Сейчас все выглядит примерно следующим образом.
  • За DNS отвечают 5 серверов Dynect с технологией Anycast. Их же использует Твиттер.
  • Веб-часть выдает Azure CDN, который имеет точку в москве
  • Картинки хранятся в BlobStorage вместимостью 100ТБ и доступом до 5000 обращений в секунду.
  • База данных в Amazon RDS multi A-Z, large.
Итого, из любой точки мира должно открываться за 4 секунды, выдержит любые нагрузки, к ядерной войне готовы.
Неудобство CDN лишь в том, что используя OpenDNS я постоянно попадаю на сервер CDN в америке, к которому видимо мало обращений, так что постоянно попадаю на долгий "холодный старт" прокси-сервера CDN.

Остается немного и можно конкурировать с Яндексом
  • Перенести контекстное индексирование постов в облако. Благо есть библиотека Lucene Azure + Lemmatizer
  • Запустить динамическое обновление социального авторитета, а то пока он статический.
  • Разобраться с влиянием ссылок твиттера на топы.
  • Много других мыслей, например, объединить Сводный и Чистый топы, и добавить "НародныйТОП", где можно было бы голосовать за записи.



Метки:   Категории:topbot | t30p


Московские тренды твиттера

Достаточно недавно Твиттер ввел тренды по России, а фактически по Москве, Питеру и Новосибу. Сразу же туда стали попадать разные вещи на русском языке и многие даже начали путаться, что это мировые тренды. В любом случае разные мировые сервисы тоже начинают активно ретвитить русские хэштэги попавгие в "российские тренды" в надежде сбора трафика. За все то время, что я наблюдаю более детально то, что происходит с российскими трендами можно с уверенностью сказать, что для попадания в "российские тренды" достаточно 600 уникальных твитов с тэгом за 6 часов, а если взять 1000, то это уже и первое место. С экономической точки зрения - это примерно 5000р расхода на ботов для выведение в тренды любого слова.

Заодно кратенько новости от т30п.ru:
1) на главных страницах справа кроме трендов твиттера выводятся "герои дня" - фактически наиболее частые словосочетания.
2) последнее время можно наблюдать перебои с доступом к t30p, обусловлено это сменой DNS с dnsazure (durabledns) на dyn.com , которым пользуется и сам твиттер. Первый упал не предупредив, а второй что-то очень медленно обновляется.

Метки:   Категории:Twitter | t30p


Facebook meltdown

Сегодняшнее падение фейсбука уже широко обсуждается на том же хабре. Говорят ошибка была в DNS. Наглядно падение активности русских людей в фейсбуке видно на странице рейтинга, где число talks упало суммарно аж на 12%. Сейчас все восстановилось. Куда более интересна проблема спама, которая захлестнула ЖЖ и прежде всего выдачу яндекса по блогам как раз после окончания выборов. Странно, что яндекс до сих пор не бьет тревогу. Очень много ботов пишут теперь не про политику, а про всякие турпоездки да авиаперелеты. Это негативно влияет на качество работы топа по части ЖЖ, поэтому все больше сообщений попадает в топ из ГуглПлюса.

Метки:   Категории:topbot | t30p


Twitter Streaming and Twitter Trends

Не так давно Яндекс заявил об интеграции с Твиттером по технологии firehorse. Это доступно не каждому, а только избранным, как можно видеть в документации. Зато существует немалополезная функция track, которая уже реализована в Twitterizer 2.4, а значит и в BlogsAPI 0.4.5. На практике она используется следующим способом
Copy Source | Copy HTML
  1. public override void Work(object sender, ElapsedEventArgs e)
  2. {
  3.     try
  4.     {
  5.         var uso = new UserStreamOptions()
  6.                                     {
  7.                                         AllReplies = true,
  8.                                         Count = -100,//отмотаем 100 назад
  9.                                         Track = new List<string>(
  10.                                             "слово1,слово2,слово3".Split(','))
  11.                                     };
  12.         TwitterStream stream = new TwitterStream(tokens, Twitter.appName, uso);
  13.         IAsyncResult result = stream.StartPublicStream(
  14.             StreamStopped,
  15.             NewTweet,
  16.             DeletedTweet,
  17.             OtherEvent
  18.         );
  19.         // Wait for the WaitHandle to become signaled.
  20.         result.AsyncWaitHandle.WaitOne();
  21.         // Close the wait handle.
  22.         result.AsyncWaitHandle.Close();
  23.     }
  24.     catch (Exception exception)
  25.     {
  26.         FireException(exception);
  27.     }
  28. }

Благодаря использованию потоковой функции Track удалось интегрировать T30P с Твиттером плотнее и теперь при формировании топа Твиттера, как по твитам, так и по трендам, есть полная независимость от Яндекса. А новые алгоритмы фильтрования ботов позволяют делать топ действительно качественным. По нагрузке получилось, что не смотря на поток в 2млн. русскоязычных сообщений в твиттере в сутки, токлько примерно 1 сообщение в 2 секунды не является спамовым и является популярным сообщением или обсуждением популярного сообщения, что заметно упростило задачу.

Метки:   Категории:Twitter | trend | topbot | t30p


обо всем по немногу

  • Очень интересная флешка с информацией о размерах всех известных человечеству объектах
  • Оптимизация 100 из 100 по версии гугла для блога на BlogEngine достижима
  • В ЖЖ на след.неделе появится социальный капитал, который уже можно смотреть на страницах топа, сейчас там обновленная версия по вчерашнее число.
  • Для рейтинга по фейсбуку появилась возможность вывести колонку с кнопками лайков, что позволяет удобно залайкать почти все русскоязычные страницы.
  • В ходе тестирований ссылки с русскоязычными буквами признаны неполноценными в некоторых браузерах, особенно в Хроме, поэтому проставляем только англоязычные

Метки:   Категории:Blogs | t30p


@masterhost_ru второй день лежит

мастерхост падает вторую ночь подряд, со всеми своими DNS, что также привело к падению топа постов блогосферы Т30П. Однако, не смотря на это, топ можно открыть по прямому адресу 89.108.115.22. DNS еще не успели смениться.

Метки:   Категории:topbot | t30p


Masterhost down

Опять завалился masterhost, а вместе с ним все мое, что перечисленно в тэгах. Особенно печально, что t30p недоступен. Наверняка за неуплату отключили трафик у мастерхоста. Но пока нет никакой информации о случившемся, однако уже час не работает и непонятно сколько еще это будет продолжаться. При включении все домены будут перенесены.

Метки:   Категории:MailID | topbot | t30p


Обзор блогосферы

Обзоз блогосферы за 2011 год скачать можно тут . В отчете собрана текущая статистика т30п до ресета. Напоминаю, что каждый год в новый год сбрасываются некоторые счетчики, такие как число постов в текущем году.

Метки:   Категории:topbot | t30p


Падение DNS мастерхоста

Подтверждаю, что с 8 до 12 утра #24дек неработали DNS сервера мастерхоста, что привело к неработоспособности многих сайтов, в том числе и t30p.ru.

Метки:   Категории:topbot | t30p


Индекс блогеров ЖЖ

С нового года в ЖЖ появится индекс активности аудитории блогеров. Это не число френдов, не посещаемость, так как и то и то уже научились накручивать за 10 лет существования. Теперь нас ждет так называемый "социальный капитал". Социальный - так как завязан на социуме ваших друзей, а капитал, наверное потому, что от всех этих интернетов веет равенством и коммунизмом. Где все равны, но некоторые равнее как раз из-за наличия этого социального капитала. Узнать значение своего социального капитала можно уже сейчас на страницах т30п и также для сообществ. Там пока первые 300 из каждой группы. Хорошо видно тех, кто не светился в топах, но имеет определенную активность.

Метки:   Категории:trend | topbot | t30p


10 декабря

Кратко, так как сегодня надышался сигаретного дыма, а это сильно мешает думать.
  • Печально видеть как знакомые за хорошие деньги продались западу и теперь собирают устроить революцию. При этом думают только о своем кармане, а о том, что "вырастет стоимость гробов" - молчат.
  • После того, как t30p.ru успешно публикует топ блогосферы, который переполнен оппозиционными текстами - яндекс почему-то сильно уронил ТИц сайта.
  • У нас появились новые фишки, кроме топа твиттера теперь есть и список русскоязычных трендов в твиттере.
  • В топе по рекламным поста, если пост импортирован с Промо ЖЖ, теперь показывается его стоимость. Интересно видеть как посты с политикой оценены
  • Тиньков призвал выходить на митинг. Ничего удивительного, просто реклама, так как в москве и в питере больше всего людей в процентах проголосовало против Единой России.
  • Следите за нашим топом в твиттере он публикует не только ссылки на топы в блогах, но и топовые (наиболее заретвиченные) твиты. То есть полноценный топ твиттера.

Метки:   Категории:Twitter | trend | topbot | t30p


Like LJ?

По многочисленным просьбам убираю из блога ЖЖ (topbloger) в начале поста кнопки лайка (lj-like). Во-первых, ЖЖ не смогла за 2 месяца починить RSS выдачу, чтобы дурацкое слово Tweet не появлялося. Во-вторых, размещение рекламных блоков AdSense в блоге провалилось и мне рельно безразницы в денежном отношении расшаривают ТОПы или нет и растет посещаемость или нет. Проблема рекламных блоков AdSense в том, как я упомянал ранее, что после включения их в интерфейсе ЖЖ они успешно прокрутились 3 месяца, однако, ничего не было отражено в аккаунте AdSense по показам. Включение-выключение не помогло. Техподдержка Ж ответила, что ничем помочь не может. Ждем ответа гугла.

Но самая главная причина - это то, что эти дурацкие кнопки лайков действительно тормозят загрузку страницы. Ниже пример для кнопки гугла, которая добавляет 3 секунды. Прежде всего из-за того, что лезет к себе по httpS , но несмотря на все оптимизации обещанные гуглом, защищенное соединение нельзя закэшировать и оно заметно медленнее простого HTTP.

Для фейсбука проблема в том, что когда кнопок много на страницу, то все обращения идут по одному IP адресу , а браузер как мы знаем имеет ограничение на число парраллельных обращений к одному адресу. Что тоже дает потерю на 3 секунды, если у нас 10 кнопок рекомендовать на главной странице.


Метки:   Категории:topbot | Google | Facebook | t30p


Кто я?

Программист. Я слежу за блогосферой и знаю, как будет развиваться интернет. Когда у меня есть время я даже прилагаю для этого усилия. Подробнее

Последние комментарии

Не отображать

Topbot at FeedsBurner

Облако тэгов

Мои Твиты

Twitter марта 20, 20:32
⚫️Тематика черного цвета для России http://dlvr.it/R1DKm7 https://twitter.com/f1ashr/status/1108466259765555200/photo/1

Twitter марта 20, 20:32
Автоматическое информирование о выходе новых сезонов http://dlvr.it/R1DKlZ

Twitter марта 20, 20:32
Голосовой набор тэгов http://dlvr.it/R1DKlv

Twitter марта 19, 20:27
Ради дружбы с Индией http://dlvr.it/R18YMd

Twitter марта 19, 20:27
Вконтакте 7 лет http://dlvr.it/R18YKm

Twitter марта 19, 20:27
Разбор фильма Дивергент2 Инсургент http://dlvr.it/R18YLy https://twitter.com/f1ashr/status/1108102729656762369/photo/1

Twitter марта 15, 12:51
Фильтр по стране на Ютубе http://dlvr.it/R0tgZq https://twitter.com/f1ashr/status/1106538299487739905/photo/1

Twitter марта 14, 12:25
Роскомнадзор и Криптовалюты http://dlvr.it/R0pqG6

Twitter марта 5, 19:59
Россияне встречают рассвет индийской йогой http://dlvr.it/R0DszD https://twitter.com/f1ashr/status/1103022131506425856/photo/1

Twitter февраля 24, 09:53
Что интересного есть в греческом языке? http://dlvr.it/QzZ2dK

Twitter февраля 24, 09:53
Ретро-поезд на угле с надписью СССР http://dlvr.it/QzZ2cT https://twitter.com/f1ashr/status/1099608139756843009/photo/1

Twitter февраля 24, 09:53
Следующий шаг криптовалют http://dlvr.it/QzZ2Y4 https://twitter.com/f1ashr/status/1099608134694256641/photo/1

Twitter февраля 23, 09:49
Рутин тутин Путин http://dlvr.it/QzWBXG

Twitter февраля 23, 09:49
Индия: Чем славится индийская культура? http://dlvr.it/QzWBVK https://twitter.com/f1ashr/status/1099244865022357506/photo/1

Twitter февраля 23, 09:49
Главное изменение в Твиттере http://dlvr.it/QzWBX9

Twitter февраля 12, 09:04
Роскомнадзор достучался до Azure http://dlvr.it/QyjSPS

Twitter февраля 6, 07:58
Про жизнь в Южной Осетии http://dlvr.it/QyHTwx

Twitter февраля 6, 07:58
Хиллари против Трампа в Америке и приход женщин во власть http://dlvr.it/QyHTxG https://twitter.com/f1ashr/status/1093056334906281985/photo/1

Twitter февраля 6, 07:58
Powering Down Google Reader http://dlvr.it/QyHTvM

Twitter февраля 4, 22:48
Разбор сериала Медичи: Повелители Флоренции http://dlvr.it/QyBKWh https://twitter.com/f1ashr/status/1092555544953466880/photo/1

Мой твиттер

Копирайт

Все мысли, высказанные в блоге, являются моим мнением и за это мнение меня никто не забанит! Кроме того, никто не имеет право копировать материалы блога без использования ctrl+C/V!

© Copyright 2008