Вот и прошло лето :-)

Несмотря на практически партизанское молчание в этом блоге, лето у меня было наполнено событиями выше крыши, о которых вкратце я и расскажу.

Как и у любого студента приход лета знаменуется не первым обгоранием на пляже и даже не легко одетыми девушками, а сессией. Какие уж тут девушки, когда надо за месяц пройти семестровую программу по 5 предметам :D Тем не менее, мне удалось побороть даже самые зверские предметы и избежать троек, честно заработав стипендию (1300р./мес. !).

А вот дальше все пошло гораздо приятнее. Весь июль у меня прошел под знаком Parallels®, поскольку я в этом году все же решил изменить ЛШЮП'у (прости, в следующем году постараюсь наверстать) и пошел на летнюю практику в лабораторию Параллелс-НГУ. Там я работал в довольно большой команде аж из 16 человек над проектом PCI Scanner.

С этим проектом связана достаточно забавная история. Согласно задумке нашего куратора-научрука в команду набрали студентов, окончивших 1-2 курсы и из тех, кто после летней школы останется на стажировку в лаборатории, будет сформирована команда, ориентированная на информационную безопасность. В конце концов, именно эта команда должна заняться изготовлением инструмента проверки биллинговых систем стандарту безопасности PCI. Но, учитывая общую неопытность команды в качестве триального проекта, который позволит нам набить руку в программировании и веб-технологиях в частности, было выбрано создание сайта с играми, основанными на разных математических проблем. Так, например, игра Complexity имеет в своей основе тот факт, что решение системы уравнений над кольцом Z₂ - задача NP-трудная, то есть разрешима только полным перебором.

Таким образом, весь июль у меня был посвящен проекту NP-Hard Games, где в мои обязанности входила разработка самого движка сайта. И несмотря на то, что новичком в веб-программировании я уже давно себя не считаю, мне довелось столкнуться с несколькими новыми для меня интересными проблемами и получить массу полезного опыта. В частности я познакомился с новым для меня фреймворком Yii и уже успел его полюбить :-) Еще одной новой для меня задачей стала разработка API для сетевого взаимодействия в играх (да, даже в математических играх бывает мультиплеер ;-)

Происходило все это с 28 июня по 29 июля, и финишной чертой в виде отчетной конференции 30-го июля. Все это время я работал в режиме фулл-тайм, по 8 часов в день с 9 до 18 и часовым перерывом на обед, тоже довольно занимательный опыт. Зато пятидневная рабочая неделя для нас стала раем на земле!

Тем не менее, 30 июля я с облегчением последний синхронизировал продакшен с девелоперской веткой и позволил себе забыть об этом проекте аж до сегодняшнего дня.

На август у меня была запланирована поездка в город Абаза, что в Хакасии, в гости к родителям моей девушки, аж на целых три недели. И, надо отдать должное, эти три недели не сумели омрачить даже такие прелести жизни в частном секторе, как "туалет типа сортир" на улице. 3 недели полной безответственности, вкусной еды, свежего воздуха и позитивного общения оказались именно тем, что нужно измученному учебой, сессией, а потом и летней практикой студенту. Так что теперь я точно знаю, где проведу следующий август :-) Кстати, несмотря на то (или скорее благодаря тому), что Абаза - довольно маленький город, он очень симпатичный, а природа вокруг просто зашибись, да еще и мошек нет (те, кто живут в Академгородке меня поймут). Взять хотя бы то, что я, насквозь городское дитя, с удовольствием дважды съездил по грибы, второй и третий раз в жизни соответственно. Еще одним результатом поездки стало, что я наконец вплотную занялся своим проектом-долгостроем и теперь он уверенно движется к завершению, что не может не радовать.

Вот такое вот было лето. Одно из самых приятных в моей жизни :-)

И напоследок немного о планах - их до фига, дай бог свободного времени. Я планирую написать пару-тройку статей по мотивам разработки nphardgames.com, а так же представить парочку своих последних проектов. Кроме того, я уже давно собираюсь модернизировать этот блог и перевести в порядок уже вышедшие продукты. Наиболее интересными свершениями скорее всего станут две вещи: Google&Bing Cache Dumper станут доступны по свободной цене, а RegSubmitter и вовсе станет бесплатным. Правда, еще не очень скоро, но станет. А еще блог переедет на новый домен и заодно модернизируется.

Чуть больше двух лет назад я запустил один небольшой эксперимент с кодовым названием RoboMap.txt. Суть его заключалась в том, чтобы на практике выяснить какие ссылки способны опознать поисковики. Спустя три недели после начала эксперимента я подвел итоги и забыл о нем. До сегодняшнего дня.

В прошлое воскресенье мне пришло уведомление от хостера о том, что я выбрал 80% квоты трафика. Я слегка удивился, поскольку все мои сайты, размещенные на этом аккаунте (включая этот блог =) особой популярностью не пользуются, глянув на календарь, решил не дергаться, ведь месяц подходил к концу и квота скоро должна была возобновиться. Я оказался почти прав, квота таки кончилась, но в самый последний день месяца. Именно поэтому вчера весь день мой блог был недоступен. Поскольку целый день я бегал вдали от компа, обнаружил я проблему только к вечеру и решил не дергаться и просто подождать конца суток.

Сегодня утром я первым делом убедился, что сайт снова онлайн, и стал разбираться, в чем причина. Каково же было мое удивление, когда я увидел, что 70% квоты трафика пришлось на robomap.stalker-x.ru - тот самый проект двухлетней давности! Я тут же полез смотреть его собственную статистику и увидел, что лог посещений поисковиками за два года раздулся до полутора сотен тысяч записей, при чем последние записи датировались сегодняшним днем!

Вот тут-то на мнея и снизошло озарение. Изначально я запретил поисковикам индексировать лог посещений, но в результате небольшой ошибки в robots.txt Яндекс таки проиндексировал эти страницы. Мне стало интересно, будут ли остальные поисковики их индексировать, и я убрал запрет вообще.

Оказалось, что будут и еще как. Google и Rambler принялись с таким энтузиазмом жрать страницы, что в июле выкачали с сайта 16 Гб абсолютно неинтересного, генерированного контента. Почему? Хотел бы я знать, но в индексе Google в данный момент сидит 5 тысяч страниц, а у Рамблера - 14. Яндекс оставил только заглавную и еще парочку, а на остальных я не смотрел.

Есть ли от этого практическая польза? Думаю, нет. Об этом говорит статистика Liveinternet. С другой стороны я даже не пытался оптимизировать все это под какие-то запросы, так что может профи бы и сумел извлечь из этого хороший результат.

Тем не менее, сейчас я возвращаю запрет на индексацию лога, чтобы не грузить бесполезным трафиком сервер. Эксперимент удался и закрыт.

В этом посте я процитирую свой ответ на одно из заданий в олимпиаде по веб-технологиям, о которой я писал в прошлом посте. Задание формулировалось примерно так: придумать концепт файлохранилища, полезного для пользователя и владельца, описать возможные схемы монетизации.

Вот что мне удалось сочинить за час, который я потратил на это задание:

I. Термины.

Для удобства я сразу оговорю значение терминов, которыми буду пользоваться ниже.

• Пользователь - зарегистрированный пользователь сервиса, владелец файлов и хранилища.
• Посетитель - незарегистрированный пользователь сервиса, скачивающий файлы и основной потребитель рекламы.

II. Общая концепция.

Учитывая последние тенденции (которые некоторыми называются web 3.0) для создания успешного файлового хранилища стоит следовать трем важным условиям:

• Простота использования
• Простота интеграции
• Персонализация
• Так же следует принять во внимание популяризацию облачных хранилищ (Ubuntu One, Dropbox).

Из этих посылок можно прийти к таким выводам относительно свойств файлового хранилища:

1. Должно предоставляться удобное API для управления файлами в персональном хранилище с одной стороны и API для доступа к публичным файлам с другой.
2. Необходимо реализовать софт на базе первого API для прозрачной интеграции в систему пользователя. Это могут быть решения на базе fuse для Linux и Installable File System для Windows.
3. Пользователь может открывать общий доступ к некоторым файлам, что позволяет посетителям их скачивать. Возможно устанавление стоимости скачивания файла - посетитель должен будет оплатить доступ к файлу.
4. Пользователь может присваивать файлам дополнительную метаинформацию, на основе которой он может структурировать файлы (это в дополнение, но не взамен папок)
5. Для посетителя не должно быть прямых препятствий для получения доступа к желаемому файлу. Реклама демонстрируется в процессе скачивания/поиска нужного файла.
6. Глобальная система поиска по публичным файлам (для этого можно так же использовать метаинформацию из п. 4.
7. Реклама таргетируется на конкретного посетителя с учетом его интересов. Для этого можно использовать его историю скачивания файлов и, возможно, интеграцию с какой-нибудь популярной системой web-статистики (Liveinternet.ru и т. п.) для получения сведений о посещаемых сайтах.

III. Реклама.

Контекстная.

Реклама, отображающаяся посетителю во время его нахождения на сайте. Обязательно - тематический таргеттинг согласно интересам пользователя. В частности, прямая реклама от рекламодателей или ссылки на похожие/потенциально интересные пользователю платные публичные файлы, размещенные в хранилище.

Медиа-реклама.

Реклама, интегрируемая непосредственно в содержимое файла. Возможные варианты:

1. Водяные знаки на изображении/видео. Перед отдачей файла пользователю эта реклама (выбранная с учетом интересов пользователя) накладывается на контент и после этого передается в браузер. Вариант более щадящий в отношении нагрузки на сервер - добавление рекламы к файлу в момент добавления на сервис в соответствии с извлеченной метаинформации, предусмотренной форматом файла, и дополнительно указанной пользователем.
2. Рекламные ролики в начале/конце/середине видео файлов. Подход аналогично предыдущему.
3. Дополнительные файлы с рекламой в архивах. А архивы пользователя добавляются дополнительные файлы какого-либо формата с рекламой.

При этом хранится и не модифицированная версия файла, чтобы иметь возможность корректно заменять рекламу и предоставлять файл пользователю в исходном виде.

IV. Монетизация сервиса.

Пользователь (владелец файлов):

1. Бесплатный аккаунт: ограничение по общему объему файлов, нет рекламы для пользователя.
2. Условно-бесплатный аккаунт: медиа-реклама добавляется во все файлы на хранилище пользователя и она отображается так же и пользователю. При этом допустимый объем хранимых файлов существенно больше.
3. Платный аккаунт: пользователь вносит оплату и за это получает большое количество места и не получает рекламу, а так же имеет возможность публиковать файлы, в которые не будет интегрирована реклама для посетителей  :-)
4. Партнерская программа: часть дохода за счет скачивания публичных файлов с рекламой, размещенных пользователям, поступает на счет пользователя и может быть выведено из системы, либо использовано для оплаты платного аккаунта.

Посетитель:

1. В процессе навигации по сайту ему показывается контекстная реклама.
2. Бесплатный доступ к файлу предоставляется при условии интеграции в файл медиа-рекламы.
3. Платный доступ позволяет скачивать оригинальный файл без рекламы.

Что же можно сказать в заключении? С одной стороны, мне кажется, такой сервис не остался бы невостребованным. Он действительно будет удобен и полезен и для пользователя, и для посетителя.

В то же время, создание такого сервиса и раскрутка потребуют просто гигантских усилий и инвестиций, что под силу лишь команде хороших спецов, при чем самых разных направлений - и администрирование, и системное/сетевое программирование, и веб-программирование, и дизайн, и маркетинг в конце концов. И не факт, что я бы вообще рискнул ввязаться в такой проект, даже если бы меня сейчас не ограничивал универ.

PS. Среди моих читателей обнаружен хороший человек по имени Павел, который в своем блоге популярно пишет обзоры про разные компьютерные технологии и личности, к ним причастные. Кто не подпишется - сам себе злобный Буратино.

Изначально я хотел лишь кратко описать саму олимпиаду и подробнее сфокусироваться на одном из заданий в ней, но рассказ вышел большим и я разделил пост на два. Так что тут будет немного жизнеописания, а в следующем - вещи уже более близкие тематике этого блога.

Речь пойдет об олимпиаде по веб-технологиям под эгидой Бийского технологического института, прошедшей в апреле этого года. Узнал я о ней еще в начале семестра благодаря объявлению, появившемуся на доске деканата. Поскольку веб-программирование - это мой профиль, то я заинтересовался и тут же залез на сайт. К моему удивлению, зарегистрироваться там не получилось: регистрация начиналась за месяц до начала олимпиады, а пресс-релиз был повешен гораздо раньше. Какой смысл этого ограничения - понятия не имею, пришлось ставить себе напоминалку в огранайзер, чтобы тупо не забыть про них.

Как только регистрация стала доступна, я быстро заполнил форму, а потом получил ошибку, гласящую о том, что письмо со ссылкой для подтверждения отправить не удалось, в то время как реально письмо отправилось и дошло. Организаторы олимпиады по веб-технологиям не могут заставить нормально работать собственный сайт, надо же. Сайт, кстати, на джумле, которую я саму по себе не уважаю, но это вопрос вкуса.

Когда дошло до самого тура, я получил выбор между тремя секциями: веб-дизайн, анимация и веб-программирование. Я выбрал последнее, как наиболее близкое по духу. После этого передо мною оказался список из семи (или что-то около того) заданий на разные веб-технологии, включая CSS, PHP и немного JS. Были и "теоретические" задачи, об одной из которых я напишу в следующем посте. но в целом все они были простые и довольно легко решались при наличии базовых навыков. Разве что в задаче про CSS мне пришлось погуглить, чтобы разобраться с трехмерными эффектами в CSS3. В общем, отведенного времени мне вполне хватило, чтобы выполнить большую часть заданий с хорошими баллами и перейти в фазу ожидания результатов.

Через пару дней на сайте появилось сообщение о том, что проверка близка к концу и скоро результаты будут. Еще через пару - появились результаты секций веб-дизайн и анимация, а веб-программирование было обещано "совсем скоро". Результаты появились лишь через неделю после тура, но долгое ожидание компенсировалось приятной новостью: я занял первое место с почти двукратным отрывом. Одновременно на сайте появилась просьба сообщить контактные данные для рассылки призов, что я тут же и проделал.

Следующий виток событий имел место уже в мае, через месяц. Сайт висел в том же виде, что и в момент публикации результатов, никакой информации о ходе рассылки призов не было. Попытки писать на почтовые ящики, указанные на сайте давали только отлуп "Mainbox is full". Видимо не я один такой любопытный был, хотел узнать где мои обещанные "ценные призы". Поэтому мне осталось долбиться в аську, указанную среди прочих контактов. Спустя несколько дней мне все же ответили. при чем весьма вежливо, что посылки и письма уже переданы в общий отдел и скоро будут отправлены. Я успокоился еще на месяц.

Через месяц (в сумме - через два после тура) я снова задался вопросом, где мой "ценный приз", но пошел с ним уже в свой деканат, так как считал, что пота почтой, но за месяц-то посылка из Бийска до Новосибирска дойти должна. В деканате удивились и сказали, что они вообще без понятия и пишите в оргкомитет олимпиады. И только когда я был в дверях, одна из женщин, сидевших в кабинете припомнила, что им вчера пришло какое-то извещение о посылке из Бийска. Однако, вовремя я пришел. На вопрос, когда же они получат посылку и я смогу забрать приз, я получил совет зайти на следующей неделе, дескать "посылка прислана на имя деканата, а у деканата паспорта нет и на почту он прийти не может. Придется через отдел снабжения получать". На следующей неделе мне торжественно отдали диплом, но сказали, что посылку еще не забрали ("нужный человек" находится незнамо где, бывает), посоветовали зайти еще через пару дней.

И наконец, через эти пару дней я таки получил в руки длинную коробку, непонятно зачем обклеенную белой бумагой, так что надписи на ней было не прочесть. Вскрытие показало, что в коробке - веб-камера от неизвестного мне бренда marksman. Подключение к компу показало, что у нее безумно крутое разрешение в 0.3 килопикселей и нет встроенного микрофона. Вот такой вот "ценный приз", большего я, в прочем, и не ждал. Кстати, до сих пор я пользовался веб-камерой от d-link с матрицей (боже правый!) 0.1 мегапиксель, но зато со встроенным микрофоном, полученной в приз 3 года назад в другом конкурсе :) Для скайпа худо-бедно хватало. Прогресс, конечно, есть, но отсутствие встроенного микрофона в новой камере означало геморрой и отдельным микрофоном или гарнитурой, что мне нафиг не сдалось. Посему пока буду юзать старую, а потом присмотрю что-нибудь приличное.

В качестве итога могу сказать, что несмотря на довольно негативный характер поста, олимпиада была забавной и славно меня развлекла, а от призов я ничего другого вообще-то и не ждал :) Так что в целом, я в плюсах а это сплошной позитив.

Публикую перевод статьи API Battle Plans: Fighting for Next, давным-давно сделанный мною в рамках акции 50 лучших SEO-постов 2009 года и благополуно забытый в пылу учебы и работы :) Только чейчас наткнулся на него в Гуглодоках, когда искал кое-какие материалы по одной интересующей меня теме. Тем не менее, лучше уж поздно, чем никогда, посему публикую.

План битвы API - Сражение за будущее

В наши дни API достигли такого уровня зрелости, что все три ключевые компоненты Веба - контент, службы и данные можно легко получить с их помощью. Результатом этого процесса стало ничто иное как рождение новго Веба. Более умного Веба, предоставляющего более релевантную информацию, более удобного и дающего более широкие возможности получения прибыли. После того, как стали очевидны преимущества этого подхода, у современных компаний не осталось иного выбора, кроме как поддерживать суперструктуру API, столпами которой являются контент, сервисы, разработка и аналитика.