 |
|
|
 |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
Уважаемые коллеги!
Предлагаю вам ознакомиться с одной программой из моего рабочего арсенала. Программа называется SiteSputnik и разработана она волгоградским программистом Алексеем Мыльниковым. Работаю с ней уже больше года. Она сэкономила мне такую прорву времени, что при своей немалой загруженности у меня остается время писать на Составе :) .
1. Эта программа осуществляет поиск нужной информации во всех распространенных поисковых системах по запросу, при этом автоматически выбрасывает одинаковые страницы, найденные разными поисковиками.
2. Для каждого поисковика может быть применен свой язык запросов, в итоге количество информационного мусора существенно сокращается;
3. За один запуск процедуры поиска по запросу можно раскрыть все ссылки "еще с сайта", которые вручную мало кто просматривает.
4. Можно настроить внутренний поиск по сайтам (пауки поисковых систем могут не все проиндексировать, поэтому внутренним поиском пренебрегать не советую)
Пока СайтСпутник ищет информацию по нужному запросу, можно спокойно пить кофе или делать другую работу. Программа все найдет и представит в удобночитаемом виде.
Все это позволяет найти максимум релевантной информации и не упустить ничего лишнего. А теперь цифры:
Полнота информации : Есть такой жилой комплекс "Изумрудные холмы". Программа принесла мне 11 тыс. релевантных ссылок. При этом Яндекс нашел только 31% всех ссылок, а Гугл- 41% (вот и доказательство того, что ни один поисковик не находит всю информацию)
скорость работы - два часа. Представьте, сколько времени ушло бы на поиск и систематизацию 11 тыс ссылок и вычищение дублей!
Какие маркетинговые задачи может решить программа:
1. Найти всю нужную информацию по вопросу;
2. Отслеживать появление новых материалов по теме;
3. Составить список ресурсов, на которых упоминается название нужной компании, продукции, человека;
4. Систематизировать упоминания компании по контексту. Например: Вася Пупкин-работа; Вася Пупкин- учеба; Вася Пупкин- личная жизнь и т.п.
5. Найти внешние ссылки на сайт
6 Составить карту изучаемого сайта
Найти программу и скачать демо- версию можно, вбив название SiteSputnik в поисковик.
З.Ы. Коммерческой выгоды не преследую, поэтому публикую здесь, а не на ДО. Как пользователь- практик готов ответить на вопросы.
|
|
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
   09.10.2009 14:28 |  |
|
|
|
Arbeit macht frei
Постов: 7061
Дата регистрации: 04.03.2005 |
| Дим, а что ты потом делал с текстами, которые были по 11 000 ссылок? Столько же прочитать нереально. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
 09.10.2009 14:41 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
Цитата, автор AAZ:
Дим, а что ты потом делал с текстами, которые были по 11 000 ссылок? Столько же прочитать нереально. |
Естественно, все 11 тыс. ссылок я не читал- физически нереально. Я применил специальную процедуру аналитического объединения, и эти 11 тыс. ссылок были разбросаны на подразделы. В итоге получил таблицу, что из 11 тыс упоминаний объекта в Интернете столько-то процентов посвящены продаже квартир в этом комплексе, столько-то новостям компании, строящей этот комплекс и т.п. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.10.2009 14:44 | |
|
|
|
Постов: 3209
Дата регистрации: 28.10.2005 |
| Пользовался предыдущей версией. Изучал. Согласен, что экономит массу времени. Правда тот вариант программы был еще далек от идеала. Думается, что новая версия исправлена. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.10.2009 15:04 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.10.2009 15:20 | |
|
|
|
Постов: 2352
Дата регистрации: 18.12.2006 |
для: Дмитрий Петряшов©,
а чем кластеризуете информацию? Это даже интереснее, чем сам "граббер"... |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.10.2009 15:40 | |
|
|
|
Постов: 12
Дата регистрации: 11.09.2008 |
Цитата, автор Koldima:
Пользовался предыдущей версией. Изучал. Согласен, что экономит массу времени. Правда тот вариант программы был еще далек от идеала. Думается, что новая версия исправлена. |
Последний номер версии 5.5.4. Если наткнетесь на ошибку - пишите мне по 1a(dog)sitesputnik.ru, исправлю. Возможно, что многие неудобства возникали из-за работы на демоверсии.
На мой взгляд, наиболее эффективное применение СайтСпутника при сборе информации. Если Вы ищете, например, телефон приемной ВУЗа, то достаточно открыть Яндекс или Гугль и ввести наименование ВУЗа +приемная и все. Но если Вы собираете информацию о Вузе, то в этом случае придется задать десятки разных запросов к нескольким поисковикам. К тому, что написал Дмитрий, я бы добавил еще одну уникальную особенность программы SiteSputnik: обойдя оплаченный рейтинг и уловки веб-мастеров, он упорядочит информацию в порядке РЕАЛЬНОЙ значимости (релевантности). О том, как это делается открыто поясняется здесь ....... ссылку снес модератор форума Д. Петряшов Прочитайте и убедитесь сами - все очень просто и понятно, без какого-либо искусственного интеллекта и прочих сложных и громоздских вещей.
|
|
--------
Алексей Мыльников, г. Волгоград, www.sitesputnik.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.10.2009 17:19 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
Цитата, автор koska:
для: Дмитрий Петряшов©,
а чем кластеризуете информацию? Это даже интереснее, чем сам "граббер"... |
Есть в СайтСпутнике такая функция, как "Аналитическое объединение". Вот ей и пользуюсь :) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.10.2009 18:20 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
для: Alexei Mylnikov©
Алексей, убедительная просьба: эта тема не является рекламной, поэтому прошу воздержаться от гиперссылок на свой сайт, ладно? Здесь так не принято. Нужный документ Вы можете приколоть к своему посту.
Модератор форума Дмитрий Петряшов
И еще одно предложение. Алексей, Вы хотели пообщаться с потенциальной целевой аудиторией своего продукта. Эту возможность мы Вам предоставили. Поэтому продумайте тот перечень вопросов, которые Вы хотите задать присутствующим здесь маркетологам.
Здесь есть:
1. Специалисты, планирующие рекламные кампании в прессе, на радио, на телевидении, отслеживающие результаты и эффективность;
2. Специалисты по продвижению сайтов и проведению рекламных кампаний в Интернете;
3. PR-специалисты;
4. Копирайтеры;
5. Маркетологи- исследователи;
6. Представители рекламных, креативных и маркетинговых агентств%
7. Представители рекламных, аналитических, маруетинговых и PR- отделов предприятий
8. Студенты
и пр.
Насколько я могу судить, им всем Ваш продукт потенциально интересен. Вам осталось выяснить только потребности этих специалистов :) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 12:43 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
для: Дмитрий Петряшов©
Ок.
2 конкретные задачи.
1. Поиск и мониторинг прайсов конкурентов. (это от меня)
2. Анализ ссылочной базы. На предмет оценить количественно на сайтах каких типов размещаются ссылки на ресурс. (задача не моя, но мне показалась интересной, у меня человек интересовался хотя я и не спец в этих вопросах) можно ли это сделать не вручную.
Возможно ли решение этих задач с помощью упомянутого софта и как. Я так понимаю, в базовый функционал они не входят. Или я ошибаюсь? |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 13:29 | |
|
|
|
Постов: 12
Дата регистрации: 11.09.2008 |
Если Петряшов не против и выложит свою "маркетологическую" версию решения этих задач, будет хорошо.
Давайте, я тоже выскажусь по этим задачам, хотя не являюсь маркетологом.
Взгляд математика на решение этих задач таков.
ЗАДАЧА 1. Поиск и мониторинг прайсов конкурентов.
=========
А. Поиск.
Я бы составил несколько запросов по поиску прайсов, а именно, следующие (запросы с долей шутки, - мы будем рассматривать принципиальную сторону вопроса).
^^Пакет №1.
((серная /1 кислота) | (аш два эс о четыре)) +( прайс | price ) || Yandex=100 ^^ Это выполнение запроса только на Яндексе
"серная кислота" +прайс || Метапоиск=100 ^^ это поиск серной кислоты на Яндексе, Google, Yahoo, Bing, Рамблере, ... и, быть может, на Ваших спецресурсах со встроенным поиском. Их надо еще суметь подключить. Пусть в Яндексе мы уже искали - повторных ссылок не будет (они будут отброшены).
"серная кислота" +price || Метапоиск=100 ^^ Пусть мащина ишет, повторные ссылки будут отброшены
"аш два эс о четыре" +прайс || Метапоиск=100 ^^Здесь и везде 100 - это глубина поиска в страницах.
...
^^Пакет №2.
этилсиликат +прайс || Метапоиск=100 ^^ Если потребуется, то пишите на языке запросов конкретного поисковика и
этилсиликат +price || Метапоиск=100 ^^ выполняйте запрос только на нем.
...
^^Пакет №3.
"эмаль МЛ-12" +прайс || Метапоиск=100
"эмаль МЛ-12" +price || Метапоиск=100
...
и так далее, пусть мы задали 20 пакетов (групп запросов) по поиску прайсов на 20 продуктов. 20 - это не предел, пределу количества пакетов и количеству запросов в пакете нет.
Далее я бы каждый пакет, выполнил совместно с объединением результатов поиска. Получил 20 списков ссылок с прайсами для конкретного наименования товара.
Далее провел бы над 20 списками операцию "Аналитическое объединение".
Зачем? Что это даст?
Наверх всплывут ссылки на прайсы, где больше всего интересующих меня наименований товара. Список товаров, найденных на конкретной ссылке, будет приложен к сниппету. Далее будут следовать ссылки, содержащие меньшее количество наименований товара в прайс-листах.
Таким способом, я бы нашел прайсы конкурентов, причем расположенные в порядке убывания количества наименований интересующего меня товара.
Б. Мониторинг.
Б1. На предмет появления новых конкурентов. Периодически выполнял бы 20 пакетов запросов, объединив их в один пакет. СайтСпутник будет выдавать список новых ссылок относительно предыдущего выполнения пакета.
Б2. На предмет сравнительного анализа цен. Если прайсы в виде html (xls и doc сравнивать по контенту СайтСпутник не научен), то можно (как в Вотчере) мониторить по контенту. Все состояния прайс-листов будут сохраняться во встроенной базе данных "Ссылки открытые". Соглашусь, что это не самый "автоматизированный" вариант. Можно "уйти" в другую спецпрограмму или написать в рамках СайтСпутника специальную процедуру сравнительного анализа прайс-листов.
Планирую сделать отдельную базу данных "Мониторинг", собрать и развить функционал для работы с ее содержимым. Пока монторинг только контента ссылок в базе данных "Ссылки открытые".
Далее, если задача периодическая, имеется ввиду, что надо работать с другими конкурентами по другому ассортименту товара, то параметризовал бы пакеты. Параметрами бы служили наименования товаров.
ЗАДАЧА 2. Анализ ссылочной базы. На предмет оценить количественно на сайтах каких типов размещаются ссылки на ресурс.
=========
Есть в СайтСпутник(е) готовый пакет с параметрами, называемый "Беклинки" (обратные ссылки). Он собирает сайты, с которых есть ссылки на сайт, задаваемый как параметр.
Сбор беклинков осуществляется в Yahoo, Altavista, блогах Яндекса и блогах Google. Если знаете другие средства поиска обратных ссылок, то можно попытаться подключить их в готовый пакет. |
|
--------
Алексей Мыльников, г. Волгоград, www.sitesputnik.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 16:27 | |
|
|
|
Постов: 4030
Дата регистрации: 16.06.2006 |
Господа математики! Подумайте об окружающих, среди вас могут затесаться гуманитарии.
У меня вопрос. Способна ли эта прога мониторить несколько запросов одновременно + в автоматическом режиме. Поясняю.
Запросы:
1. Page Up
2. Скво Page Up
3. Вторая Скво Page Up
Я завожу в три поиска, выставляю время к которому отчет должен быть готов. Есть ли такая функция? Отвечать прошу без использования алгоритмов и трехмерных графиков ;) просто, как для ребенка.
Спасибо! |
|
--------
http://rutube.ru/tracks/1104547.html |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 16:42 | |
|
|
|
Постов: 12
Дата регистрации: 11.09.2008 |
Цитата, автор Page Up:
Господа математики! Подумайте об окружающих, среди вас могут затесаться гуманитарии.
У меня вопрос. Способна ли эта прога мониторить несколько запросов одновременно + в автоматическом режиме. Поясняю.
Запросы:
1. Page Up
2. Скво Page Up
3. Вторая Скво Page Up
Я завожу в три поиска, выставляю время к которому отчет должен быть готов. Есть ли такая функция? Отвечать прошу без использования алгоритмов и трехмерных графиков ;) просто, как для ребенка.
Спасибо! |
Может, но только по щелчку мышки. По таймеру не может, но реализовать эту возможность реально. |
|
--------
Алексей Мыльников, г. Волгоград, www.sitesputnik.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 16:58 | |
|
|
|
Постов: 12
Дата регистрации: 11.09.2008 |
В посте от 13.10.2009 16:27 фактически дано пояснение того, как СайтСпутник упорядочивает ссылки по реальной релевантности, а не по проплаченной и не созданной умелыми руками вебмастеров.
Не очень важно на каком месте в выдаче поисковика(ов) стоит сайт конкурента по нужным нам запросам, важнее сколькими запросами этот сайт был найден, а это эквивалентно (извините, уважаемый Page Up) сколько наименований нужного нам товара в его прайсе содержится.
В принципе, для покупателя это автоматизация поиска поставщика, наиболее выгодного с точки зрения количества имеющегося у него товара.
К слову будет сказано, в качестве искомого объекта (у нас было наименование товара) может быть что угодно, например, люди. Для людей описанная выше процедура способствует выявлению из связей.
Сделав по каждому "исследуемому" человеку сборку информации (ФИО, телефоны, адреса, ICQ, Ники, ...), а затем выполнив "Аналитическое объединение" мы получим страницы, на которых эти люди присутствуют (упоминаются).
Остается просмотреть содержание страниц, чтобы выяснить суть взаимоотношений исследуемых людей.
|
|
--------
Алексей Мыльников, г. Волгоград, www.sitesputnik.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 18:42 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
для: Page Up©
Господа математики! Подумайте об окружающих, среди вас могут затесаться гуманитарии.
... Отвечать прошу без использования алгоритмов и трехмерных графиков просто, как для ребенка.
Спасибо!
|
Степа, там все просто на самом деле. Могу продемонстрировать небольшой мастер- класс по поиску инфы в Интернете. С тебя пиво. Ну, еще Колдиму уговори, чтобы мы к нему в гости завалились. Ну и роутер притащи 
З.Ы. я учитель истории по диплому, вообще-то :) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 21:47 | |
|
|
|
Постов: 3643
Дата регистрации: 11.01.2008 |
Дмитрий!
Есть десятка лидеров (поставщиков).
Направление бизнеса без разницы.
Ценообразование по регионам - сами понимаете как формируется.
Для меня: смысл от ресурса - никакой. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 22:48 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
Цитата, автор GASS:
Дмитрий!
Есть десятка лидеров (поставщиков).
Направление бизнеса без разницы.
Ценообразование по регионам - сами понимаете как формируется.
Для меня: смысл от ресурса - никакой. |
Ниасилил, многобукаф. Будьте любезны, излагайте свои мысли яснее (с) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 23:01 | |
|
|
|
Постов: 3643
Дата регистрации: 11.01.2008 |
для: Дмитрий Петряшов©: Она сэкономила мне такую прорву времени...
Для мониторинга десятка основных поставщиков - есть другие инструменты.
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.10.2009 23:08 | |
|
|
|
Постов: 12
Дата регистрации: 11.09.2008 |
Цитата, автор GASS:
для: Дмитрий Петряшов©: Она сэкономила мне такую прорву времени...
Для мониторинга десятка основных поставщиков - есть другие инструменты.
|
Для мониторинга есть, для сбора информации аналогов нет.
SiteSputnik, по крайней мере пока, - это, в первую очередь, поиск и сбор информации.
Заявки на развитие мониторинга постоянно получаю, развивать его обязательно буду.
|
|
--------
Алексей Мыльников, г. Волгоград, www.sitesputnik.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
14.10.2009 00:07 | |
|
|
|
Ride the lightning
Постов: 2245
Дата регистрации: 08.08.2006 |
Цитата, автор GASS:
для: Дмитрий Петряшов©: Она сэкономила мне такую прорву времени...
Для мониторинга десятка основных поставщиков - есть другие инструменты.
|
Я догадываюсь, более того, работаю с такими программами каждый день и даже статьи про них публикую. Ценность данного инструмента не в том, что это средство мониторинга, а в его поисковых возможностях |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
14.10.2009 08:49 | |
|
|
|
 | Только зарегистрированные пользователи могут оставлять сообщения в этом форуме |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
