Lucene net 3.0.3

Полтора месяца назад доступна стала обновленная версия Lucene 3.0, а значит команда, которая полтора года назад забросила развитие этого проекта получила новое финансирование. В связи с этим была обновлена и моя поисковая система. Замечено заметное улучшение скорости индексирования при ограниченных ресурсах. Примерно в 2-2,5 раза. То есть даже при минимальных мощностях можно индексировать по 300 постов в секунду. Обусловлено прежде всего тем, что анализаторы в новой библиотеки оперируют не токенами, а байтами и буферами, что сильно ускоряет токенизацию. Также в связи с новой библиотекой потребуется обновить Azure Directory, но там ничего сложного. Общая концепция изменения объекта Directory в том, что объединили функции Close и Dispose и во многих местах ушли от функций в пользу get-property что уменьшает расход памяти.

AzureDirectory.rar (1,58 mb)


Метки:   Категории:microsoft | Code | t30p


Двач (2ch) атаковало Azure

Выяснилось, что этой ночью сетевые хулиганы, известные как анонимы с борды "Двач" атаковали сайт Интернет-ополчения и заодно зацепили своей атакой мой сайты расположенные в облаке Windows Azure. Это было обусловлено тем, что у меня в индексе накапливается много информации, в том числе и копия постов интернет ополчения. Если первое они быстро положили, то второе, как работало, так и продолжило работать. (Отчасти так как функционал там простой - простая выдача данных, без сложных операций залогиниваний и т.п.). Ну и скриншоты в тему:

По факту анонимы используют программу с целью забивания канала у сайта жертвы. В логах azure это выглядело так:

И конечно же этого оказалось недостаточно, чтобы остановить работу мульти-инстансового сервиса, который даже заточен на то, чтобы регулярно "падать"(перезапускаться) и я использую сервис распределенного мониторинга pingdom.com, чтобы вовремя узнавать о сбоях в работе. Его логи также не показали никаких сбоев (большая величина пинга обусловлена тем, что большая часть серверов сервиса в США, а азур в Европе):

Метки:   Категории:Analytics | t30p


Обновление в топе, видеотоп

Вчера случился сбой подсчета трендов твиттера. Но сегодня вроде все нормально и уже обновилось. Кроме того с сегодняшнего дня в потоковом режиме индексируются русскоязычный Ютую, поэтому в Видео топе начали появляться совершенно незнакомые ранее авторы, которые действительно популярны. Что с этим делать и как вернуть привычные ролики про политику - пока не понятно. Но можно кликать на иконку платформы или пользоваться простым поиском по ютубу с любым интересующим словом, например Каникулы в Мексике. В видео-топе появились совершенные шедевры. Да, из области видео-игр, но это очень смешно.

Метки: ,   Категории:topbot | t30p


top twitter vs t30p

Топ твиттера успешно попал в топ твиттера. Информационный поток замкнулся сам на себя, achievement unlocked так сказать.

Метки:   Категории:t30p


Техническое по топу

На выходных переключились с A записи по дефолту, на CNAME с www (картинка ниже приведена). Это последний этап помещения топа в облачную архитектуру. Сейчас все выглядит примерно следующим образом.
  • За DNS отвечают 5 серверов Dynect с технологией Anycast. Их же использует Твиттер.
  • Веб-часть выдает Azure CDN, который имеет точку в москве
  • Картинки хранятся в BlobStorage вместимостью 100ТБ и доступом до 5000 обращений в секунду.
  • База данных в Amazon RDS multi A-Z, large.
Итого, из любой точки мира должно открываться за 4 секунды, выдержит любые нагрузки, к ядерной войне готовы.
Неудобство CDN лишь в том, что используя OpenDNS я постоянно попадаю на сервер CDN в америке, к которому видимо мало обращений, так что постоянно попадаю на долгий "холодный старт" прокси-сервера CDN.

Остается немного и можно конкурировать с Яндексом
  • Перенести контекстное индексирование постов в облако. Благо есть библиотека Lucene Azure + Lemmatizer
  • Запустить динамическое обновление социального авторитета, а то пока он статический.
  • Разобраться с влиянием ссылок твиттера на топы.
  • Много других мыслей, например, объединить Сводный и Чистый топы, и добавить "НародныйТОП", где можно было бы голосовать за записи.



Метки:   Категории:topbot | t30p


Московские тренды твиттера

Достаточно недавно Твиттер ввел тренды по России, а фактически по Москве, Питеру и Новосибу. Сразу же туда стали попадать разные вещи на русском языке и многие даже начали путаться, что это мировые тренды. В любом случае разные мировые сервисы тоже начинают активно ретвитить русские хэштэги попавгие в "российские тренды" в надежде сбора трафика. За все то время, что я наблюдаю более детально то, что происходит с российскими трендами можно с уверенностью сказать, что для попадания в "российские тренды" достаточно 600 уникальных твитов с тэгом за 6 часов, а если взять 1000, то это уже и первое место. С экономической точки зрения - это примерно 5000р расхода на ботов для выведение в тренды любого слова.

Заодно кратенько новости от т30п.ru:
1) на главных страницах справа кроме трендов твиттера выводятся "герои дня" - фактически наиболее частые словосочетания.
2) последнее время можно наблюдать перебои с доступом к t30p, обусловлено это сменой DNS с dnsazure (durabledns) на dyn.com , которым пользуется и сам твиттер. Первый упал не предупредив, а второй что-то очень медленно обновляется.

Метки:   Категории:Twitter | t30p


Facebook meltdown

Сегодняшнее падение фейсбука уже широко обсуждается на том же хабре. Говорят ошибка была в DNS. Наглядно падение активности русских людей в фейсбуке видно на странице рейтинга, где число talks упало суммарно аж на 12%. Сейчас все восстановилось. Куда более интересна проблема спама, которая захлестнула ЖЖ и прежде всего выдачу яндекса по блогам как раз после окончания выборов. Странно, что яндекс до сих пор не бьет тревогу. Очень много ботов пишут теперь не про политику, а про всякие турпоездки да авиаперелеты. Это негативно влияет на качество работы топа по части ЖЖ, поэтому все больше сообщений попадает в топ из ГуглПлюса.

Метки:   Категории:topbot | t30p


Twitter Streaming and Twitter Trends

Не так давно Яндекс заявил об интеграции с Твиттером по технологии firehorse. Это доступно не каждому, а только избранным, как можно видеть в документации. Зато существует немалополезная функция track, которая уже реализована в Twitterizer 2.4, а значит и в BlogsAPI 0.4.5. На практике она используется следующим способом
Copy Source | Copy HTML
  1. public override void Work(object sender, ElapsedEventArgs e)
  2. {
  3.     try
  4.     {
  5.         var uso = new UserStreamOptions()
  6.                                     {
  7.                                         AllReplies = true,
  8.                                         Count = -100,//отмотаем 100 назад
  9.                                         Track = new List<string>(
  10.                                             "слово1,слово2,слово3".Split(','))
  11.                                     };
  12.         TwitterStream stream = new TwitterStream(tokens, Twitter.appName, uso);
  13.         IAsyncResult result = stream.StartPublicStream(
  14.             StreamStopped,
  15.             NewTweet,
  16.             DeletedTweet,
  17.             OtherEvent
  18.         );
  19.         // Wait for the WaitHandle to become signaled.
  20.         result.AsyncWaitHandle.WaitOne();
  21.         // Close the wait handle.
  22.         result.AsyncWaitHandle.Close();
  23.     }
  24.     catch (Exception exception)
  25.     {
  26.         FireException(exception);
  27.     }
  28. }

Благодаря использованию потоковой функции Track удалось интегрировать T30P с Твиттером плотнее и теперь при формировании топа Твиттера, как по твитам, так и по трендам, есть полная независимость от Яндекса. А новые алгоритмы фильтрования ботов позволяют делать топ действительно качественным. По нагрузке получилось, что не смотря на поток в 2млн. русскоязычных сообщений в твиттере в сутки, токлько примерно 1 сообщение в 2 секунды не является спамовым и является популярным сообщением или обсуждением популярного сообщения, что заметно упростило задачу.

Метки:   Категории:Twitter | trend | topbot | t30p


обо всем по немногу

  • Очень интересная флешка с информацией о размерах всех известных человечеству объектах
  • Оптимизация 100 из 100 по версии гугла для блога на BlogEngine достижима
  • В ЖЖ на след.неделе появится социальный капитал, который уже можно смотреть на страницах топа, сейчас там обновленная версия по вчерашнее число.
  • Для рейтинга по фейсбуку появилась возможность вывести колонку с кнопками лайков, что позволяет удобно залайкать почти все русскоязычные страницы.
  • В ходе тестирований ссылки с русскоязычными буквами признаны неполноценными в некоторых браузерах, особенно в Хроме, поэтому проставляем только англоязычные

Метки:   Категории:Blogs | t30p


@masterhost_ru второй день лежит

мастерхост падает вторую ночь подряд, со всеми своими DNS, что также привело к падению топа постов блогосферы Т30П. Однако, не смотря на это, топ можно открыть по прямому адресу 89.108.115.22. DNS еще не успели смениться.

Метки:   Категории:topbot | t30p


Masterhost down

Опять завалился masterhost, а вместе с ним все мое, что перечисленно в тэгах. Особенно печально, что t30p недоступен. Наверняка за неуплату отключили трафик у мастерхоста. Но пока нет никакой информации о случившемся, однако уже час не работает и непонятно сколько еще это будет продолжаться. При включении все домены будут перенесены.

Метки:   Категории:MailID | topbot | t30p


Обзор блогосферы

Обзоз блогосферы за 2011 год скачать можно тут . В отчете собрана текущая статистика т30п до ресета. Напоминаю, что каждый год в новый год сбрасываются некоторые счетчики, такие как число постов в текущем году.

Метки:   Категории:topbot | t30p


Падение DNS мастерхоста

Подтверждаю, что с 8 до 12 утра #24дек неработали DNS сервера мастерхоста, что привело к неработоспособности многих сайтов, в том числе и t30p.ru.

Метки:   Категории:topbot | t30p


Индекс блогеров ЖЖ

С нового года в ЖЖ появится индекс активности аудитории блогеров. Это не число френдов, не посещаемость, так как и то и то уже научились накручивать за 10 лет существования. Теперь нас ждет так называемый "социальный капитал". Социальный - так как завязан на социуме ваших друзей, а капитал, наверное потому, что от всех этих интернетов веет равенством и коммунизмом. Где все равны, но некоторые равнее как раз из-за наличия этого социального капитала. Узнать значение своего социального капитала можно уже сейчас на страницах т30п и также для сообществ. Там пока первые 300 из каждой группы. Хорошо видно тех, кто не светился в топах, но имеет определенную активность.

Метки:   Категории:trend | topbot | t30p


10 декабря

Кратко, так как сегодня надышался сигаретного дыма, а это сильно мешает думать.
  • Печально видеть как знакомые за хорошие деньги продались западу и теперь собирают устроить революцию. При этом думают только о своем кармане, а о том, что "вырастет стоимость гробов" - молчат.
  • После того, как t30p.ru успешно публикует топ блогосферы, который переполнен оппозиционными текстами - яндекс почему-то сильно уронил ТИц сайта.
  • У нас появились новые фишки, кроме топа твиттера теперь есть и список русскоязычных трендов в твиттере.
  • В топе по рекламным поста, если пост импортирован с Промо ЖЖ, теперь показывается его стоимость. Интересно видеть как посты с политикой оценены
  • Тиньков призвал выходить на митинг. Ничего удивительного, просто реклама, так как в москве и в питере больше всего людей в процентах проголосовало против Единой России.
  • Следите за нашим топом в твиттере он публикует не только ссылки на топы в блогах, но и топовые (наиболее заретвиченные) твиты. То есть полноценный топ твиттера.

Метки:   Категории:Twitter | trend | topbot | t30p


Like LJ?

По многочисленным просьбам убираю из блога ЖЖ (topbloger) в начале поста кнопки лайка (lj-like). Во-первых, ЖЖ не смогла за 2 месяца починить RSS выдачу, чтобы дурацкое слово Tweet не появлялося. Во-вторых, размещение рекламных блоков AdSense в блоге провалилось и мне рельно безразницы в денежном отношении расшаривают ТОПы или нет и растет посещаемость или нет. Проблема рекламных блоков AdSense в том, как я упомянал ранее, что после включения их в интерфейсе ЖЖ они успешно прокрутились 3 месяца, однако, ничего не было отражено в аккаунте AdSense по показам. Включение-выключение не помогло. Техподдержка Ж ответила, что ничем помочь не может. Ждем ответа гугла.

Но самая главная причина - это то, что эти дурацкие кнопки лайков действительно тормозят загрузку страницы. Ниже пример для кнопки гугла, которая добавляет 3 секунды. Прежде всего из-за того, что лезет к себе по httpS , но несмотря на все оптимизации обещанные гуглом, защищенное соединение нельзя закэшировать и оно заметно медленнее простого HTTP.

Для фейсбука проблема в том, что когда кнопок много на страницу, то все обращения идут по одному IP адресу , а браузер как мы знаем имеет ограничение на число парраллельных обращений к одному адресу. Что тоже дает потерю на 3 секунды, если у нас 10 кнопок рекомендовать на главной странице.


Метки:   Категории:topbot | Google | Facebook | t30p


промо и прото

ЖЖ обновило свой внутренний рейтинг добавив в него возможности по покупке "promo" первой записи. Действует аукционная система. Цену я предсказываю в районе 300у.е. за сутки. Сейчас порядка 150 у.е. висит. Чем-то это напоминает трендовые тэги в Твиттере. Про которые сами пользователи говорят следующее. Иными словами, для ЖЖ это будет выглядеть так - пользователи кликают на "промо", чтобы 1) все таки понять что же имелось ввиду в первом показанном предложении 2) оставить комментарий к теме, что их задолбала эта тема 3) поспамить своими ссылками.

Потестировал промо, пока оно стоило стобакс. Получилось висеть не более часа, что дало около 300 переходов, 50 комментов, несколько лайков, ссылок, неплохо. Те же кто висел более 2х часов, умудрились также попасть и в простой топ из-за возросшего интереса к записи. То есть ЖЖ нарушает основной принцип экспертной системы, что ее деятельность не должна влиять на получаемую с ее помощью оценку.

Далее, фейсбук в третий раз забанил мой аккаунт, несмотря на сотни вложенные в рекламу. Именно по этому его и не любят маркетологи. Зато он увеличил прибыль в 2 раза в прошлом полугодии.

По уровню нае*ательства ЖЖ не отстает. Как выяснилось после заключения с ним договора по программе GoogleAdsense ЖЖ умудрился 2 месяца крутить у меня в блоге рекламу и ничего мне не платить, что даже в аккаунте AdSense не отображается. Техподдержка пока молчит.

Метки:   Категории:Twitter | topbot | Facebook | t30p


gplus news

Плюс от гугла продолжает стремительно набирать популярность к концу второго месяца наверное подойдем к 100тыс. русскоязычным участникам. Однако, как я ранее замечал, очень многие просто заводят аккаунт, френдят кого-то и ничего более не пишут. Согласно исследованию на выборке из 400к аккаунтов, около 48% не сделали ни одного публичного поста. У меня же для можно видеть, что процент "непишущих" во френдах тысячников составляет около 45%, то есть почти половина. Но подобная ситуация встречается в рунете не впервой! Тоже самое можно видеть с блогами на mail.ru, где миллионы людей завели аккаунт только ради почты и в нагрузку получили блог, но не сумели собраться с духом туда писать.
Другая интересная новость, что фейсбук блокирует инвайты на гугл. Насколько это правда или фейк, я не знаю, но вот показательное видео.
Также добавил по многочисленным просьбам на страницу рейтинга возможности поиска себя по имели или номеру. А тем временем Яндекс ответил мне за увлечение гуглом падением тИЦа на 30 пунктов.

Метки:   Категории:Yandex | Google | t30p


Русский рейтинг гугл плюса

На странице с рейтингом google plus была добавлена колонка с количеством русских френдов и колонка со статусом. Важно отметить, что для понимания кто есть кто в гугле, пришлось перебрать всех френдов топовых аккаунтов и посмотреть кто из них действительно ведет дневник в G+, да еще и пишет по-русски, а у кого в друзьях просто боты и те, кто только создал аккаунт. Так как на некоторые сервисы гугла стоит ограничение в 60 запросов в минуту, то процесс этот оказался не быстрым и пришлось несколько раз пересчитывать. Результаты тоже неоднозначны, во-первых почти у всех топовиков полно друзей (около 50%), которые не ведут дневник по-русски. А это значит, что аккаунта с 10тыс русских френдов у нас еще не появилось. Во-вторых отчетливо можно видеть как много массфолловеров и ботоводов выбилось в топ за первый месяц. Определялись они по сравнению числа друзей и занесенных в друзья. И в завершение, не смотря на то, что число русских аккаунтов превысило 30тыс, а это выше темпов роста твиттера, можно с уверенностью сказать, что основной ажиотаж нагнан рекламщиками, которым нужны новые способы разведения заказчиков на деньги.

Метки:   Категории:Google | t30p


Lj Counter

Кажется в ЖЖ накрылся подсчет посетителей сайта. Или как это объяснить? Неужели перестали читать.

Метки:   Категории:Livejournal | t30p


Кто я?

Программист. Я слежу за блогосферой и знаю, как будет развиваться интернет. Когда у меня есть время я даже прилагаю для этого усилия. Подробнее

Последние комментарии

Не отображать

Topbot at FeedsBurner

Мои Твиты

Twitter июня 18, 16:03
Где искать инопланетян или как зародилась жизнь http://dlvr.it/QXjCQB https://twitter.com/f1ashr/status/1008741906925277184/photo/1

Twitter июня 18, 09:02
Выборы в Америке и будущее запада http://dlvr.it/QXfv8m

Twitter июня 18, 09:02
Памятник крестителю Владимиру http://dlvr.it/QXfttG https://twitter.com/f1ashr/status/1008635961939378177/photo/1

Twitter июня 18, 09:02
YouTube рекламирует свой ВидеоТоп http://dlvr.it/QXftqv

Twitter июня 18, 08:29
Цукенберг встретился с Папой http://dlvr.it/QXflWH https://twitter.com/f1ashr/status/1008627785961635840/photo/1

Twitter июня 18, 08:29
Российские дирижабли покарят мир в 2035 году http://dlvr.it/QXflVs https://twitter.com/f1ashr/status/1008627780785860608/photo/1

Twitter июня 17, 20:42
Азбука киносценариста http://dlvr.it/QXcZL8 https://twitter.com/f1ashr/status/1008449854152929280/photo/1

Twitter июня 14, 11:00
@red_shira @kolomnacity Да это бот какойто , нет никакого запаха

Twitter июня 13, 19:20
Проекционные шоу набирают популярность http://dlvr.it/QXBfLK https://twitter.com/f1ashr/status/1006979531750559745/photo/1

Twitter июня 8, 07:28
Сколько подписчиков должно быть у знаменитости в Твиттере http://dlvr.it/QWbHv9

Twitter мая 29, 07:54
Разбор трилогии Матрицы (The Matrix Trilogy) http://dlvr.it/QVRdCn https://twitter.com/f1ashr/status/1001371287661391873/photo/1

Twitter мая 28, 19:36
Разбор Звездные войны: Последние джедаи http://dlvr.it/QVP48q https://twitter.com/f1ashr/status/1001185546402652161/photo/1

Twitter мая 28, 15:20
По игре престолов небольшая схема http://dlvr.it/QVMyHd https://twitter.com/f1ashr/status/1001121153170096128/photo/1

Twitter мая 28, 13:13
Разбор сериала Кремниевая долина (Silicon Valley) http://dlvr.it/QVMKG9 https://twitter.com/f1ashr/status/1001089026814763008/photo/1

Twitter мая 28, 12:40
читать спутник и погром бесплатно http://dlvr.it/QVM8Wp

Twitter мая 28, 09:59
Пасха в Москве 2 сентября 2017 года http://dlvr.it/QVLNS1 https://twitter.com/f1ashr/status/1001040366471008261/photo/1

Twitter мая 28, 09:27
Канадцы готовят фильм про рептилоидов http://dlvr.it/QVLF4R https://twitter.com/f1ashr/status/1001032318558003200/photo/1

Twitter мая 28, 08:55
Обновлен робот instagram для лайков http://dlvr.it/QVL4kN

Twitter мая 28, 08:55
Инновации в Бангладеше http://dlvr.it/QVL4hr

Twitter мая 28, 08:23
Рейтинг каналов и ботов Телеграмм http://dlvr.it/QVKxrQ https://twitter.com/f1ashr/status/1001016045774159878/photo/1

Мой твиттер

Копирайт

Все мысли, высказанные в блоге, являются моим мнением и за это мнение меня никто не забанит! Кроме того, никто не имеет право копировать материалы блога без использования ctrl+C/V!

© Copyright 2008