Смотрите начало статьи здесь.

В-четвертых, среди многочисленных обсуждений в группах есть масса информации, которая мне может быть интересна, и я предпочел бы, чтобы сеть помогала мне ее найти. Но здесь без анализа моего профайла, где я описал свои интересы и предпочтения - что я читаю и как это оцениваю, какие фильмы смотрю и пр. - опять же трудно что-то сделать. Проблемы с моим профайлом в том, что он: а) неполный, т.е. далеко не полностью соответствует тому, что он должен представлять; б) для его описания я мог выбрать не стандартную семантику или не общепринято использовать стандартные термины и онтологии (см. проблемы, приведшие к парадигме Семантического Веба); или в) в своем описании я субъективен или даже пытаюсь выдать желаемое за действительное, например, в моем профайле я могу описать себя, как эксперта в некоторой области, хотя и прочитал только пару книг по этой тематике и убедил своих друзей, не имеющих к ней никакого отношения, что я в ней эксперт и дать мне рекомендации, "удостоверяющие" мою “экспертность”. Значит ли это, что система должна этому "доверять" и рекомендовать меня, если кто-то ищет совета или помощи? Один из подходов к решению этой проблемы - определение степени доверия к моему профайлу (и, следовательно, к моим сообщениям) на основе доверительного анализа внутри и снаружи (рейтинг научных публикаций и пр.) социальной сети. Другой - создание моего цифрового профайла, "вычисленного" на основе моих контактов, общений и обсуждений - некое подобие Google’s PageRank, извлекающего "семантику" из использования веб-сайтов. Такой профайл, отличный от созданного мной, будет более унифицирован, "семантически" понятен сети и позволит ей сравнивать его с другими, находить в них совпадения и различия, классифицировать, вычислять наши общие интересы и делать более аккуратные рекомендации. Кроме того, такой профайл позволит сделать рекламу в сети более целенаправленной и эффективной.

В-пятых, сеть, должна уметь анализировать (ближе к человеческому анализу) мои сообщения, чтобы делать мой цифровой профайл более аккуратным. Для этого она может использовать мои обсуждения в группах, замечания других лиц, переправлять мне как лицу компетентному в каких-то вопросах запросы или просьбы о помощи от других лиц и анализировать их оценки, а также тестировать меня, генерируя подобные обращения. И "зная" так много обо мне, может помочь мне найти нужные контакты, возможности и ресурсы, например, для реализации конкретного проекта. Или найти экспертов, которые могли бы ответить и на мои вопросы, дать мне нужные ссылки или решить мою проблему, уложившись в имеющийся у меня бюджет, а также дать мне возможность найти проекты, соответствующие моим интересам, и принять участие в них наподобие того, как это делает InnoCentive.

А где взять для этого вычислительные ресурсы? Сегодня социальные сети реализованы как централизованные системы с использованием модной концепции виртуализации - Облачные Вычисления. Мне кажется, что надо переходить к смешанной архитектуре, где присутствует и централизованные сервисы, и интеллектуальные программные агенты отдельных пользователей, которые используют вычислительные ресурсы компьютеров их владельцев, чтобы формировать и полировать цифровой профайл их владельцев, производить персонализацию сервисов и делать их более "умными". Кстати, разработчик сети может зарабатывать, предлагая шаблоны агентов разной степени интеллектуальности. И наиболее "развитые" агенты могут кооперироваться друг с другом, чтобы сообща решать какие-то проблемы, сложность которых превосходит возможности каждого в отдельности, например, тот же поиск лиц по приблизительному их описанию.

Но если такой агент уже создан и работает в одной социальной сети, то можно договориться о стандарте, подобному OpenSocial и дать ему возможность работать со всеми социальными сетями (проблема интероперабельности). Или, на худой конец, можно создать для каждой сети proxy моего агента как одну из моих "персон", соответствующую данной социальной среде.

И последнее. Можно ли реализовать эту модель в рамках семантических социальных сетей? Я убежден, что нельзя, и это причина, почему необходимо дополнять возможности Семантического Веба (Веб 3.0) машинной обработкой естественного языка, которая с концепцией интеллектуальных программных агентов больше подходит парадигме Интеллектуального Веба (Веб 4.0), а если требовать от агентов и большей автономности, и адаптивности и к окружающей социальной среде, и в кооперации с другими агентами, то мы уже войдем в парадигму Адаптивного Веба (Веб 5.0).

P.S. Можно ли еще как-то зарабатывать в социальных сетях? Я вижу еще один способ: можно проводить интеллектуальный маркетинг и анализировать, как в сети формируeтся мнение о некотором брэнде, как на это формирование можно влиять, его предсказывать, выбирать оптимальную стратегию маркетинга и определять к каким брэндам сеть благосклонна и наоборот. 

Если вы в своей сети соберете толпу людей и предоставите им "вручную" решать там свои проблемы, например, находить нужные контакты и информацию, то, скорее всего, им  это быстро надоест, a у вас останутся только их устаревшие профайлы (в лучшем случае). Многие сети измеряют свою эффективность кол-вом имеющихся там профайлов и включают в эту метрику даже лиц, которые зарегистрировались в них несколько лет назад и больше не посетили их ни разу!? Делайте анализ своей сети, чтобы аккуратно измерять уровень ее сложности и темпы его роста, но главное измеряйте ее динамику - активность своей сети и интенсивность этой активности, чтобы определять ее текущую популярность. И есть только один способ сделать свою сеть популярной - это все время улучшать ее интеллектуальность. Предоставьте своим пользователям возможности решать свои социальные и профессиональные задачи через сочетание их интеллекта с алгоритмами искусственного в рамках концепции Коллективного Интеллекта, как это делают digg.com (lots of people liked this story so you might too), last.fm (people who like Madonna also like this artist), и др. (см. мою первую статью "Адаптивные Веб Сайты").

Здесь я опишу некоторые свойства интеллектуальных социальных сетей, за пользование которыми я согласился бы платить.

Во-первых, поиск человека по имени не всегда работает - он мог его поменять, либо я забыл его или неправильно запомнил. Но я могу описать некоторые факты о нем, например, когда, где, кем и с кем он работал и каждый из которых недостаточен для того, чтобы найти профайл нужного мне человека. А вот их совокупность может быть уникальной, позволит однозначно найти этого человека или сузить число похожих профайлов до возможности их быстрого просмотра. Или сеть может определить круг лиц, которые могут уточнить мой поиск своей информацией об этом человеке, и так далее по цепочке, пока задача не будет решена, либо я не получу его телефон, электронный или физический адрес или кто-то не согласится передать ему мою контактную информацию.

Во-вторых, в сетях часто в качестве идентификатора выбирают названия, а  в результате имеют десятки сущностей, обозначающих на самом деле одно и то же и затрудняющих поиск по ним. В одной сети, например, я указал в своем профайле, что закончил четыре (!) университета, хотя это все лишь были разные написания одного. Стандартная классификация обычно не работает для больших сетей, но существует простое децентрализованное решение этой проблемы - если достаточное число людей, имеющих в своих профайлах разные названия, указывают, что они обозначают одну и ту же сущность, значит их надо объединить общим идентификатором этой сущности и рассматривать как разные значения ее атрибута "названия". Если остаются какие-либо сомнения, то это предположение можно сформулировать в качестве гипотезы и протестировать на значительной выборке людей, имеющих эти названия.

В-третьих, большинство рассылок, которые я получаю каждый день с моих групп, не имеют никакого отношения к моим интересам, описанным мною в  профайле. Этот поток для меня - уже упомянутый "шум", в котором настолько редко попадается что-то интересное, что обычно я не копаюсь в нем и удаляю все сообщения. Я предпочел бы, чтобы сеть взяла на себя задачу фильтрации и ре-категоризации моей почты, возможно, с указанием степеней важности. Конечно, для этого надо подвергать входящие тексты машинной обработке естественного языка, но это же не в реальном времени. Более того, если я нашел что-то интересное в этих рассылках, я хотел бы, чтобы сеть указала мне на другие обсуждения в группах, близкие по содержанию, а также могла порекомендовать группы, в которых подобные обсуждения случаются. Кстати, поиски групп - это еще одна сложная проблема, которую нельзя решить одним названием и поиском по ключевым словам. Например, название группы может и соответствовать моим интересам, однако последние полгода там не было ни одного обсуждения, а в другой -  с ничего не значащим для меня названием - собралась активная группа людей, постоянно обсуждающая интересующие меня темы. Т.е проблема групп - это проблема семантическая. И, конечно же, я предпочел бы получать не только информацию, соответствующую моим интересам, но и то, что меня МОЖЕТ заинтересовать, но о чем я еще не догадываюсь.

Новость: Вчера международная команда "BellKor's Pragmatic Chaos" (Bob Bell, Martin Chabbert, Michael Jahrer, Yehuda Koren, Martin Piotte, Andreas Töscher и Chris Volinsky) получила приз в миллион долларов, победив в конкурсе по улучшению рекомендательной системы компании Netflix - алгоритма Cinematch.

Смотрите окончание статьи здесь. 

Существует два основных способа строить мосты: снизу вверх и сверху вниз. Первый – привычный для нас и, к сожалению, всё еще используемый: строим мост и смотрим, каким он получится, а если еще и будет выдерживать все нагрузки (хотя бы до поры, до времени), то и совсем хорошо. Другой - много сложнее и уже из другой дисциплины - инжиниринг: мы определяем наши потребности в мосте и метрику его эффективности - грузоподъемность – и, используя сопротивление материалов, вычисляем, конструируем, испытываем его модель,... и только после того, как результат нас удовлетворяет, украшаем выстроенный мост, например, статуями лежащих на передних лапах львов... Из моего предпочтения второму способу и вытекает, что вместо привычного термина "веб-сайт разработка", я буду использовать "веб-сайт инжиниринг".

Начнем с определения метрики эффективности сайта. Обычно ее определяют, как уровень конверсии (conversion rate) - отношение кол-ва пользователей, которые совершили определенные, ожидаемые от них действия на сайте (например, купили что-то в вашем онлайн-магазине или купили на определенную сумму) к кол-ву всех посетителей этого сайта. Теперь о сути инженерного подхода к конструированию веб-сайтов: строя веб-сайты, мы должны гарантировать заданный уровень их эффективности. Описанные в предыдущей статье адаптивные веб-сайты определяют модель, которая должна решить эту задачу.

Проблемой сегодняшней разработки веб-сайтов является отсутствие инженерного подхода и подобных моделей. Да, вы можете выделить несколько альтернативных вариантов landing page в a/b split или multivariate testing и собирать несколько месяцев статистику, чтобы найти оптимальный вариант. Но, как показал Tim Ash, ваш результат может зависеть от выбранного способа тестирования и метода анализа данных (!?), или вы можете при этом анализе и не обнаружить статистически значимой разницы между альтернативными вариантами, а, следовательно, выбрать "победителя". Предположим, вам повезло, и после многомесячного тестирования вы решили проблему оптимизации вашего сайта, но потом обнаружили, что веб-трафик на нем изменился и надо все начинать сначала. То же относится и к веб-аналитике: да, вы определили, что, например, такое-то кол-во пользователей посетило такие-то страницы вашего сайта и сделало такие-то клики за определенный интервал времени, но как это интерпретировать? Какими мотивациями руководствовались посетители ваши сайта? И к каким действиям по улучшению сайта с вашей стороны эти "знания" должны привести? А если вы обнаружите сплошную хаотичность поведения пользователей на вашем сайте, что делать тогда?

Веб-тестирование (лучше адаптивное, например, adaptive multivariate testing), веб-аналитика и web usage mining (извлечение паттернов из поведения пользователей на вашем сайте) должны стать частью этого сайта или так: ваш сайт должен быть само-тестирующим, само-анализирующим поведение пользователей на нем, достаточно «умным», чтобы из этого анализа извлекать практические знания о поведении пользователей и использовать их для своей адаптивности. Кстати, чтобы упомянутые паттерны стали знаниями о поведении пользователей на вашем сайте, их нужно сформулировать в качестве статистических гипотез и постоянно проверять на достоверность.

Далее, допустим, метрику эффективности для своего сайта вы определили и регулярно ее измеряете, чтобы определить насколько эффективно (или неэффективно) ваш сайт решает поставленную задачу. Но проблема еще сложнее: научиться управлять этой метрикой (!), чтобы добиться устойчивого ее улучшения. Как это сделать? В одной из областей quality control - statistical process control - разработана методика стабилизации процесса перед тем, как взять его под контроль и начать улучшать качество выпускаемой продукции. Мне кажется, что здесь просматривается прямая аналогия с веб-потоком и контролем над ним в целях улучшения эффективности веб-сайта.

Суммируя, скажем, что веб-сайт инжиниринг основан на вычисляемости эффективности веб-сайта на основе характеристик его веб-потока и веб-потока на основе элементов веб-сайта: его контента, системы навигации, и пр.

P.S. Еще один пример из области алгоритмического трейдинга: этот тип трейдинга стал машиной, делающей деньги - очень большие деньги - без непосредственного вмешательства человека. И эта способность вытекает из факта, что эти машины становятся все более интеллектуальными и адаптивными. Сегодня для их конструирования используются такие дисциплины, как теории сложности и хаоса, математическая теория игр, кибернетика, модели квантовой динамики, и пр. К примеру, чтобы электронная коммерция могла ставить столь же амбициозные задачи, она должна достигнуть того же уровня развития, и применение методов искусственного интеллекта лишь минимальное требование для этого. Но это уже advanced engineering, опирающийся на современную науку.