агрегация в Интернет масштабах?
Смотрю на развивающуюся Сеть и понимаю, что скоро самостоятельных проектов определенной направленности не останется… Информационное пространство все больше и больше занимают агрегирующие порталы, такие как Гугл (наибольший агрегатор), Price.ua (цены на быт. технику), Jooble.com.ua (поиск работы) и пр. и пр. По каждому типу данных появились агрегаторы, которые часто без спросу берут контент с сайтов, которые занимались месяцами, а то и годами только тем, что собирали у себя информацию, а эти монстры (я в плане размеров, а не качества 
приходят и безапеляционно контент “одалживают” и используют как свой…
Да уж — чем больше информации, тем тяжелее ее сохранить и тем актуальнее становится вопрос защиты баз данных с этой информацией, но в Сети процесс получения доступа настолько прозрачен, что варианты ее (информации) защиты не видится реальным.
Так вот неужели пройдет пара тройка лет и от сайтов по трудоустройству не останется и следа, потому что сначала Jooble контент крала, выращивала свою базу данных, а потом просто введет сервисы аналогичные существующим на порталах и будет предоставлять услуги на том же уровне? Не значит ли это, что портал вырос до огромных размеров за счет того, что питался мелкими и средними сайтами по тематике?
Интересно посмотреть на ТОТ Интернет, что будет… Как будут уживаться в Сети эти монстры. Похоже на игру “в живых останется только один”, а кто от этого выигрывает? Пользователь? определенно. Проще найти информацию на одном крупном сайте, чем облазить десятки мелких. Кто еще? А вот наверное и все, не говоря о хозяевах проекта-гиганта. Да — они молодцы и бизнес построили правильно с точки зрения роста и прибыльности, но жаль что путь к победе выложен “трупами” мелких собратьев.. Очень жаль…
Tags: блоги, интернет, информация, работа
Также рекомендую к прочтению:
Октябрь 30th, 2007 at 09:23
Респект за статью!!!!
Октябрь 30th, 2007 at 09:27
Говоришь гугл большой, говоришь он “ворует” - ты его сам пустил в свой дом. Гул знает какие страницы можно индексировать какие (отдельно по каждой странице), гугл понимает robots.txt - которым ты запрещаешь всё - и он этого слушается.
Price.com.ua - украли - это преступление уголовно наказуемо. (только тебе самому выгодна реклама)
Jooble - а вот тут достаточно прописать что все данне оставленные соискателями принадлежат сайту работы, и в термсах описать, что использование информации в других источниках - запрещёно и капец Jooble =).
Как будут уживатся эти монстры ? Знаешь какая самая большая проблема в сети ? это нехватка контента, да в данный момент я произвожу самое дорогое что есть в инете - это контент (правда его цена варируется от самой низкой, как за мой говноконтетн, так и самой высокой, пример контент http://www.nytimes.com или http://www.myspace.com).
Так, что я сегодня немного критичен в плане будущего интернета. Если веб 1.0 - было создать сайт, наполнить контеном - продать.
веб 2.0 - создать сайт, созать аудиторию - продать (аудитория сама создаст контент)
что будет в веб 3.0 ??? - агрегация уже сейчас есть, это просто модерация информации которая есть.
Октябрь 30th, 2007 at 09:33
БеГе, гугл был приведен в качестве примера, для объяснения эффекта “агрегации”, так как не все поймут сразу о чем идет речь, и он видимо единственный чесный игрок на рынке, который следует правилам (и тем что ты указал в частности), а вот остальные… Есть проблема отсутствия законодательной базы для Сети и поэтому заявление “если ворует, то заяви и капец” не реальна. Кому заявлять?
Что говорить? Нет нормативных положений и все…
Касательно Jooble — я работал на rabotaplus, когда джубл появился на рынке
столько противоречивых мнений о нем я наслушался — еще на рассказ хватит… Контент тырили — заявляю, как ответственный за портал (Р+), мы им в свою очередь закрывали доступ. Затем начали делиться (они) трафиком и руководство приняло решение что стоит смириться ибо хрен с ними… Так и живут по сей день, если в политике ничего не поменялось…
Октябрь 30th, 2007 at 09:34
Ну Jooble & Price не самое зло.
Что в первом что во второму случаи - контент провайдеры (инет. магазины, сайты вакансий и агентства по подбору персонала - передают на ура - даже деньги платят ) ).
Хотя проблема и правда существует.
) с эксклюзивным контентом. Но раскрутиться вам будет просто не реально - так как контент тут же разберут и растиражируют под видом пользователей три десятка порталов и.т.д.
Но это проблема не агрегации, а проблема прав на контент.
Скажем вы создали сайт приколов (утром на другие примеры не тянет
Аналогично - новости, видео, аудио и другой контент и.т.д.
Гонятся по сети в поисках кто у вас украл - и устраивать разборки что бы удалить ваш контент - нереально.
Вот такие вот дела
Октябрь 30th, 2007 at 09:45
джублу никто не платит… джубл обзавелся спайдерами и ни в чем себе не отказывает
такой у него жизненный цикл…
если порталы первоисточники наполняются за счет пользователей, то джубл наполняется за счет сайтов-первоисточников
Прайс.уа? да — у него есть возвожность купить места в прайсе, но это же не весь контент
не так ли? на сайтах-первоисточниках тоже продаются места, но это немного не то…
Октябрь 31st, 2007 at 10:38
Если агрегаторы не нарушают авторских прав
(прописанных на сайте) то я не вижу ничего плохо в том что вся информация на одном портале и ссылки ведут на сайт с расширенной информацией.
Получается агрегаторы действуют как поисковики
Если же тупо воруют несмотря на (c) то это просто воры.
У меня тоже есть модуль паука, который лазит по сайтам, но … в модуле есть проверка… (именно контента а не заголовков), встречаем например “юниан”,”украинские новости” и т п то просто игнорируем контент.
А остальной берется только с разрешения администрации сайтов. И обязательно ссылки на сайт источник.
Октябрь 31st, 2007 at 10:44
А пауки на основе RSS это преступление…
обьясню почему…
На сайте есть разрешение на использование контента с примечанием, что например использование новостей с Юниан запрещено…
Что мы видим в RSS - очень часто только заголовок или description.
Агрегатор берет новсть и ставит у себя… но в новости (внизу)
Написано… Источник Агенство Юниан…
всё торба… своровали…
Поэтому надо не только получать RSS, но и каждый контент проверять
Ноябрь 1st, 2007 at 14:27
Честно говоря странные рассуждения.
Я один из руководителей порталов и доволен jooble. Суть агрегаторов, что они меняют мой контент на целевых посетителей. Это же делает и Google, и Price. Если не хотите, чтобы вас индексировали, пишите письмо, пишите robots.txt и вас не индексируют, но смысл? Контент нужен для привлечения пользователей, агрегаторы этих пользователей дают.
Посмотрите на рынок, рынок заинтересован в агрегаторах. Так как близок рынок трудоустройства, на примере jooble. Такие сайты, как work, rabotaplus, jobmarket, jobportal (по моему еще где-то видел) размещают баннера jooble по принципу обмена трафиком. По сайтам, у которых в bigmir открыта статистика jooble практически везде в первой тройке по передачи пользователей, на равне с тем же google.
Ноябрь 2nd, 2007 at 09:33
пример. есть rabotaplus и есть jobmarket
на обоих сайтах размещена одна и та же вакансия
по какому принципу трафик уйдет к одному из участников агрегации?
Ноябрь 2nd, 2007 at 09:47
Я тоже задавал этот вопрос. Ответ получил следующий:
1. В первую очередь переход получают сайты, которые покупают трафик.
2. Далее переходы получают сайты-партнеры. Сайты, которые размещают у себя баннер jooble.
3. Сайты, которые передают свой контент по XML.
4. Все остальные получают трафик поровно, то есть кому одать трафик определяется случайным образом.
Если ничего не напутал, по-моему так. Но вообще лучше у jooble спросить.
Ноябрь 2nd, 2007 at 10:03
к сожалению не знаю как он ведет себя сейчас — этот вопрос уже давно мне не актуален, но раньше понятия “рейтинг” у джубла небыло. так вот. Да и вопрос не конкретно в этих сайтах, а вообще — не будет ли скучно жить в Сети с 10ю сайтами?