Lucene net 3.0.3

Полтора месяца назад доступна стала обновленная версия Lucene 3.0, а значит команда, которая полтора года назад забросила развитие этого проекта получила новое финансирование. В связи с этим была обновлена и моя поисковая система. Замечено заметное улучшение скорости индексирования при ограниченных ресурсах. Примерно в 2-2,5 раза. То есть даже при минимальных мощностях можно индексировать по 300 постов в секунду. Обусловлено прежде всего тем, что анализаторы в новой библиотеки оперируют не токенами, а байтами и буферами, что сильно ускоряет токенизацию. Также в связи с новой библиотекой потребуется обновить Azure Directory, но там ничего сложного. Общая концепция изменения объекта Directory в том, что объединили функции Close и Dispose и во многих местах ушли от функций в пользу get-property что уменьшает расход памяти.

AzureDirectory.rar (1,58 mb)


Метки:   Категории:microsoft | Code | t30p


Двач (2ch) атаковало Azure

Выяснилось, что этой ночью сетевые хулиганы, известные как анонимы с борды "Двач" атаковали сайт Интернет-ополчения и заодно зацепили своей атакой мой сайты расположенные в облаке Windows Azure. Это было обусловлено тем, что у меня в индексе накапливается много информации, в том числе и копия постов интернет ополчения. Если первое они быстро положили, то второе, как работало, так и продолжило работать. (Отчасти так как функционал там простой - простая выдача данных, без сложных операций залогиниваний и т.п.). Ну и скриншоты в тему:

По факту анонимы используют программу с целью забивания канала у сайта жертвы. В логах azure это выглядело так:

И конечно же этого оказалось недостаточно, чтобы остановить работу мульти-инстансового сервиса, который даже заточен на то, чтобы регулярно "падать"(перезапускаться) и я использую сервис распределенного мониторинга pingdom.com, чтобы вовремя узнавать о сбоях в работе. Его логи также не показали никаких сбоев (большая величина пинга обусловлена тем, что большая часть серверов сервиса в США, а азур в Европе):

Метки:   Категории:Analytics | t30p


Обновление в топе, видеотоп

Вчера случился сбой подсчета трендов твиттера. Но сегодня вроде все нормально и уже обновилось. Кроме того с сегодняшнего дня в потоковом режиме индексируются русскоязычный Ютую, поэтому в Видео топе начали появляться совершенно незнакомые ранее авторы, которые действительно популярны. Что с этим делать и как вернуть привычные ролики про политику - пока не понятно. Но можно кликать на иконку платформы или пользоваться простым поиском по ютубу с любым интересующим словом, например Каникулы в Мексике. В видео-топе появились совершенные шедевры. Да, из области видео-игр, но это очень смешно.

Метки: ,   Категории:topbot | t30p


top twitter vs t30p

Топ твиттера успешно попал в топ твиттера. Информационный поток замкнулся сам на себя, achievement unlocked так сказать.

Метки:   Категории:t30p


Техническое по топу

На выходных переключились с A записи по дефолту, на CNAME с www (картинка ниже приведена). Это последний этап помещения топа в облачную архитектуру. Сейчас все выглядит примерно следующим образом.
  • За DNS отвечают 5 серверов Dynect с технологией Anycast. Их же использует Твиттер.
  • Веб-часть выдает Azure CDN, который имеет точку в москве
  • Картинки хранятся в BlobStorage вместимостью 100ТБ и доступом до 5000 обращений в секунду.
  • База данных в Amazon RDS multi A-Z, large.
Итого, из любой точки мира должно открываться за 4 секунды, выдержит любые нагрузки, к ядерной войне готовы.
Неудобство CDN лишь в том, что используя OpenDNS я постоянно попадаю на сервер CDN в америке, к которому видимо мало обращений, так что постоянно попадаю на долгий "холодный старт" прокси-сервера CDN.

Остается немного и можно конкурировать с Яндексом
  • Перенести контекстное индексирование постов в облако. Благо есть библиотека Lucene Azure + Lemmatizer
  • Запустить динамическое обновление социального авторитета, а то пока он статический.
  • Разобраться с влиянием ссылок твиттера на топы.
  • Много других мыслей, например, объединить Сводный и Чистый топы, и добавить "НародныйТОП", где можно было бы голосовать за записи.



Метки:   Категории:topbot | t30p


Московские тренды твиттера

Достаточно недавно Твиттер ввел тренды по России, а фактически по Москве, Питеру и Новосибу. Сразу же туда стали попадать разные вещи на русском языке и многие даже начали путаться, что это мировые тренды. В любом случае разные мировые сервисы тоже начинают активно ретвитить русские хэштэги попавгие в "российские тренды" в надежде сбора трафика. За все то время, что я наблюдаю более детально то, что происходит с российскими трендами можно с уверенностью сказать, что для попадания в "российские тренды" достаточно 600 уникальных твитов с тэгом за 6 часов, а если взять 1000, то это уже и первое место. С экономической точки зрения - это примерно 5000р расхода на ботов для выведение в тренды любого слова.

Заодно кратенько новости от т30п.ru:
1) на главных страницах справа кроме трендов твиттера выводятся "герои дня" - фактически наиболее частые словосочетания.
2) последнее время можно наблюдать перебои с доступом к t30p, обусловлено это сменой DNS с dnsazure (durabledns) на dyn.com , которым пользуется и сам твиттер. Первый упал не предупредив, а второй что-то очень медленно обновляется.

Метки:   Категории:Twitter | t30p


Facebook meltdown

Сегодняшнее падение фейсбука уже широко обсуждается на том же хабре. Говорят ошибка была в DNS. Наглядно падение активности русских людей в фейсбуке видно на странице рейтинга, где число talks упало суммарно аж на 12%. Сейчас все восстановилось. Куда более интересна проблема спама, которая захлестнула ЖЖ и прежде всего выдачу яндекса по блогам как раз после окончания выборов. Странно, что яндекс до сих пор не бьет тревогу. Очень много ботов пишут теперь не про политику, а про всякие турпоездки да авиаперелеты. Это негативно влияет на качество работы топа по части ЖЖ, поэтому все больше сообщений попадает в топ из ГуглПлюса.

Метки:   Категории:topbot | t30p


Twitter Streaming and Twitter Trends

Не так давно Яндекс заявил об интеграции с Твиттером по технологии firehorse. Это доступно не каждому, а только избранным, как можно видеть в документации. Зато существует немалополезная функция track, которая уже реализована в Twitterizer 2.4, а значит и в BlogsAPI 0.4.5. На практике она используется следующим способом
Copy Source | Copy HTML
  1. public override void Work(object sender, ElapsedEventArgs e)
  2. {
  3.     try
  4.     {
  5.         var uso = new UserStreamOptions()
  6.                                     {
  7.                                         AllReplies = true,
  8.                                         Count = -100,//отмотаем 100 назад
  9.                                         Track = new List<string>(
  10.                                             "слово1,слово2,слово3".Split(','))
  11.                                     };
  12.         TwitterStream stream = new TwitterStream(tokens, Twitter.appName, uso);
  13.         IAsyncResult result = stream.StartPublicStream(
  14.             StreamStopped,
  15.             NewTweet,
  16.             DeletedTweet,
  17.             OtherEvent
  18.         );
  19.         // Wait for the WaitHandle to become signaled.
  20.         result.AsyncWaitHandle.WaitOne();
  21.         // Close the wait handle.
  22.         result.AsyncWaitHandle.Close();
  23.     }
  24.     catch (Exception exception)
  25.     {
  26.         FireException(exception);
  27.     }
  28. }

Благодаря использованию потоковой функции Track удалось интегрировать T30P с Твиттером плотнее и теперь при формировании топа Твиттера, как по твитам, так и по трендам, есть полная независимость от Яндекса. А новые алгоритмы фильтрования ботов позволяют делать топ действительно качественным. По нагрузке получилось, что не смотря на поток в 2млн. русскоязычных сообщений в твиттере в сутки, токлько примерно 1 сообщение в 2 секунды не является спамовым и является популярным сообщением или обсуждением популярного сообщения, что заметно упростило задачу.

Метки:   Категории:Twitter | trend | topbot | t30p


обо всем по немногу

  • Очень интересная флешка с информацией о размерах всех известных человечеству объектах
  • Оптимизация 100 из 100 по версии гугла для блога на BlogEngine достижима
  • В ЖЖ на след.неделе появится социальный капитал, который уже можно смотреть на страницах топа, сейчас там обновленная версия по вчерашнее число.
  • Для рейтинга по фейсбуку появилась возможность вывести колонку с кнопками лайков, что позволяет удобно залайкать почти все русскоязычные страницы.
  • В ходе тестирований ссылки с русскоязычными буквами признаны неполноценными в некоторых браузерах, особенно в Хроме, поэтому проставляем только англоязычные

Метки:   Категории:Blogs | t30p


@masterhost_ru второй день лежит

мастерхост падает вторую ночь подряд, со всеми своими DNS, что также привело к падению топа постов блогосферы Т30П. Однако, не смотря на это, топ можно открыть по прямому адресу 89.108.115.22. DNS еще не успели смениться.

Метки:   Категории:topbot | t30p


Masterhost down

Опять завалился masterhost, а вместе с ним все мое, что перечисленно в тэгах. Особенно печально, что t30p недоступен. Наверняка за неуплату отключили трафик у мастерхоста. Но пока нет никакой информации о случившемся, однако уже час не работает и непонятно сколько еще это будет продолжаться. При включении все домены будут перенесены.

Метки:   Категории:MailID | topbot | t30p


Обзор блогосферы

Обзоз блогосферы за 2011 год скачать можно тут . В отчете собрана текущая статистика т30п до ресета. Напоминаю, что каждый год в новый год сбрасываются некоторые счетчики, такие как число постов в текущем году.

Метки:   Категории:topbot | t30p


Падение DNS мастерхоста

Подтверждаю, что с 8 до 12 утра #24дек неработали DNS сервера мастерхоста, что привело к неработоспособности многих сайтов, в том числе и t30p.ru.

Метки:   Категории:topbot | t30p


Индекс блогеров ЖЖ

С нового года в ЖЖ появится индекс активности аудитории блогеров. Это не число френдов, не посещаемость, так как и то и то уже научились накручивать за 10 лет существования. Теперь нас ждет так называемый "социальный капитал". Социальный - так как завязан на социуме ваших друзей, а капитал, наверное потому, что от всех этих интернетов веет равенством и коммунизмом. Где все равны, но некоторые равнее как раз из-за наличия этого социального капитала. Узнать значение своего социального капитала можно уже сейчас на страницах т30п и также для сообществ. Там пока первые 300 из каждой группы. Хорошо видно тех, кто не светился в топах, но имеет определенную активность.

Метки:   Категории:trend | topbot | t30p


10 декабря

Кратко, так как сегодня надышался сигаретного дыма, а это сильно мешает думать.
  • Печально видеть как знакомые за хорошие деньги продались западу и теперь собирают устроить революцию. При этом думают только о своем кармане, а о том, что "вырастет стоимость гробов" - молчат.
  • После того, как t30p.ru успешно публикует топ блогосферы, который переполнен оппозиционными текстами - яндекс почему-то сильно уронил ТИц сайта.
  • У нас появились новые фишки, кроме топа твиттера теперь есть и список русскоязычных трендов в твиттере.
  • В топе по рекламным поста, если пост импортирован с Промо ЖЖ, теперь показывается его стоимость. Интересно видеть как посты с политикой оценены
  • Тиньков призвал выходить на митинг. Ничего удивительного, просто реклама, так как в москве и в питере больше всего людей в процентах проголосовало против Единой России.
  • Следите за нашим топом в твиттере он публикует не только ссылки на топы в блогах, но и топовые (наиболее заретвиченные) твиты. То есть полноценный топ твиттера.

Метки:   Категории:Twitter | trend | topbot | t30p


Like LJ?

По многочисленным просьбам убираю из блога ЖЖ (topbloger) в начале поста кнопки лайка (lj-like). Во-первых, ЖЖ не смогла за 2 месяца починить RSS выдачу, чтобы дурацкое слово Tweet не появлялося. Во-вторых, размещение рекламных блоков AdSense в блоге провалилось и мне рельно безразницы в денежном отношении расшаривают ТОПы или нет и растет посещаемость или нет. Проблема рекламных блоков AdSense в том, как я упомянал ранее, что после включения их в интерфейсе ЖЖ они успешно прокрутились 3 месяца, однако, ничего не было отражено в аккаунте AdSense по показам. Включение-выключение не помогло. Техподдержка Ж ответила, что ничем помочь не может. Ждем ответа гугла.

Но самая главная причина - это то, что эти дурацкие кнопки лайков действительно тормозят загрузку страницы. Ниже пример для кнопки гугла, которая добавляет 3 секунды. Прежде всего из-за того, что лезет к себе по httpS , но несмотря на все оптимизации обещанные гуглом, защищенное соединение нельзя закэшировать и оно заметно медленнее простого HTTP.

Для фейсбука проблема в том, что когда кнопок много на страницу, то все обращения идут по одному IP адресу , а браузер как мы знаем имеет ограничение на число парраллельных обращений к одному адресу. Что тоже дает потерю на 3 секунды, если у нас 10 кнопок рекомендовать на главной странице.


Метки:   Категории:topbot | Google | Facebook | t30p


промо и прото

ЖЖ обновило свой внутренний рейтинг добавив в него возможности по покупке "promo" первой записи. Действует аукционная система. Цену я предсказываю в районе 300у.е. за сутки. Сейчас порядка 150 у.е. висит. Чем-то это напоминает трендовые тэги в Твиттере. Про которые сами пользователи говорят следующее. Иными словами, для ЖЖ это будет выглядеть так - пользователи кликают на "промо", чтобы 1) все таки понять что же имелось ввиду в первом показанном предложении 2) оставить комментарий к теме, что их задолбала эта тема 3) поспамить своими ссылками.

Потестировал промо, пока оно стоило стобакс. Получилось висеть не более часа, что дало около 300 переходов, 50 комментов, несколько лайков, ссылок, неплохо. Те же кто висел более 2х часов, умудрились также попасть и в простой топ из-за возросшего интереса к записи. То есть ЖЖ нарушает основной принцип экспертной системы, что ее деятельность не должна влиять на получаемую с ее помощью оценку.

Далее, фейсбук в третий раз забанил мой аккаунт, несмотря на сотни вложенные в рекламу. Именно по этому его и не любят маркетологи. Зато он увеличил прибыль в 2 раза в прошлом полугодии.

По уровню нае*ательства ЖЖ не отстает. Как выяснилось после заключения с ним договора по программе GoogleAdsense ЖЖ умудрился 2 месяца крутить у меня в блоге рекламу и ничего мне не платить, что даже в аккаунте AdSense не отображается. Техподдержка пока молчит.

Метки:   Категории:Twitter | topbot | Facebook | t30p


gplus news

Плюс от гугла продолжает стремительно набирать популярность к концу второго месяца наверное подойдем к 100тыс. русскоязычным участникам. Однако, как я ранее замечал, очень многие просто заводят аккаунт, френдят кого-то и ничего более не пишут. Согласно исследованию на выборке из 400к аккаунтов, около 48% не сделали ни одного публичного поста. У меня же для можно видеть, что процент "непишущих" во френдах тысячников составляет около 45%, то есть почти половина. Но подобная ситуация встречается в рунете не впервой! Тоже самое можно видеть с блогами на mail.ru, где миллионы людей завели аккаунт только ради почты и в нагрузку получили блог, но не сумели собраться с духом туда писать.
Другая интересная новость, что фейсбук блокирует инвайты на гугл. Насколько это правда или фейк, я не знаю, но вот показательное видео.
Также добавил по многочисленным просьбам на страницу рейтинга возможности поиска себя по имели или номеру. А тем временем Яндекс ответил мне за увлечение гуглом падением тИЦа на 30 пунктов.

Метки:   Категории:Yandex | Google | t30p


Русский рейтинг гугл плюса

На странице с рейтингом google plus была добавлена колонка с количеством русских френдов и колонка со статусом. Важно отметить, что для понимания кто есть кто в гугле, пришлось перебрать всех френдов топовых аккаунтов и посмотреть кто из них действительно ведет дневник в G+, да еще и пишет по-русски, а у кого в друзьях просто боты и те, кто только создал аккаунт. Так как на некоторые сервисы гугла стоит ограничение в 60 запросов в минуту, то процесс этот оказался не быстрым и пришлось несколько раз пересчитывать. Результаты тоже неоднозначны, во-первых почти у всех топовиков полно друзей (около 50%), которые не ведут дневник по-русски. А это значит, что аккаунта с 10тыс русских френдов у нас еще не появилось. Во-вторых отчетливо можно видеть как много массфолловеров и ботоводов выбилось в топ за первый месяц. Определялись они по сравнению числа друзей и занесенных в друзья. И в завершение, не смотря на то, что число русских аккаунтов превысило 30тыс, а это выше темпов роста твиттера, можно с уверенностью сказать, что основной ажиотаж нагнан рекламщиками, которым нужны новые способы разведения заказчиков на деньги.

Метки:   Категории:Google | t30p


Lj Counter

Кажется в ЖЖ накрылся подсчет посетителей сайта. Или как это объяснить? Неужели перестали читать.

Метки:   Категории:Livejournal | t30p


Кто я?

Программист. Я слежу за блогосферой и знаю, как будет развиваться интернет. Когда у меня есть время я даже прилагаю для этого усилия. Подробнее

Последние комментарии

Не отображать

Topbot at FeedsBurner

Мои Твиты

Twitter января 16, 16:22
Разбор Звездные войны: Последние джедаи http://dlvr.it/QBSdwN https://twitter.com/f1ashr/status/953301465962921985/photo/1

Twitter января 14, 19:00
8 японок основали поп-группу для пропаганды криптовалют http://dlvr.it/QBC3cw https://twitter.com/f1ashr/status/952616326605938688/photo/1

Twitter января 7, 10:12
Белый шум защищен авторским правом на youtube http://dlvr.it/Q9DFXS

Twitter января 1, 20:52
Новогодние белки http://dlvr.it/Q8SyPZ https://twitter.com/f1ashr/status/947933468222152704/photo/1

Twitter января 1, 16:43
Популярные блогеры и посты за 2017 год http://dlvr.it/Q8RpTj https://twitter.com/f1ashr/status/947870931896082433/photo/1

Twitter января 1, 15:37
@true_policy @nickolas_vs @KremlinRussia @iremeslo Но Путин делает все, чтобы выборная система в глазах аборигенов стала нелегитимной.

Twitter января 1, 11:32
@true_policy @nickolas_vs @KremlinRussia @iremeslo Нужен не новый президент, а другой система. От демократии к респ… https://twitter.com/i/web/status/947792574697431040

Twitter декабря 31, 21:11
Самоуправляемые ездящие картошки http://dlvr.it/Q8MGMd

Twitter декабря 31, 13:34
Разбор сериала Медичи: Повелители Флоренции http://dlvr.it/Q8KDRt https://twitter.com/f1ashr/status/947460855972601857/photo/1

Twitter декабря 31, 11:32
Папа Римский выступил на TED http://dlvr.it/Q8Jjb5

Twitter декабря 31, 10:25
коломенский кремль: альтернативная история 2 http://dlvr.it/Q8JRYv https://twitter.com/f1ashr/status/947413453701971968/photo/1

Twitter декабря 31, 10:25
Суперлайки в Перископе http://dlvr.it/Q8JRYr

Twitter декабря 30, 15:16
Peace, Death! (Пиз Дец) http://dlvr.it/Q8Cv1S https://twitter.com/f1ashr/status/947124264259395584/photo/1

Twitter декабря 30, 15:16
Итоги 2016 года в Живом Журнале http://dlvr.it/Q8Ctw6 https://twitter.com/f1ashr/status/947124257149956096/photo/1

Twitter декабря 30, 13:39
Разбор сериала "Молодой папа" (теория общего знания, часть 22) http://dlvr.it/Q8CP7P https://twitter.com/f1ashr/status/947099721675370496/photo/1

Twitter декабря 30, 13:05
Механического медведя не починить - пятая песня FNAF http://dlvr.it/Q8CDG8 https://twitter.com/f1ashr/status/947091170844278784/photo/1

Twitter декабря 30, 10:55
Skype and Baidu links http://dlvr.it/Q8Bf03

Twitter декабря 30, 10:23
Яндекс атаковал Израиль http://dlvr.it/Q8BWKR

Twitter декабря 30, 10:23
По случаю 8 марта погасили статую свободы http://dlvr.it/Q8BW9V https://twitter.com/f1ashr/status/947050399160156161/photo/1

Twitter декабря 30, 10:23
Рутин тутин Путин http://dlvr.it/Q8BW8y

Мой твиттер

Копирайт

Все мысли, высказанные в блоге, являются моим мнением и за это мнение меня никто не забанит! Кроме того, никто не имеет право копировать материалы блога без использования ctrl+C/V!

© Copyright 2008