Страница 1 из 212

Парсер Яндекс.Маркет

Писал сегодня парсер Яндекс.Маркет для одного из своих сайтов. Решил реализовать обычным способом через регэкспы HTML тэгов + Curl()

 
<?php
 
if (isset($title)){
 $title = $title;
 $title = str_replace(" ","%20",$title);
}
 
function getPageContent($url, $agent = false)
{
   $contentPage = '';
   $ch = curl_init();
   $user_cookie_file = $_SERVER['DOCUMENT_ROOT'].'/assets/cookies/cookies.txt';
   curl_setopt($ch, CURLOPT_HEADER, 0);
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
   curl_setopt($ch, CURLOPT_TIMEOUT, 30);
   curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)");
   curl_setopt($ch, CURLOPT_URL, $url);
   curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file);
   curl_setopt($ch, CURLOPT_COOKIEJAR,  $user_cookie_file);
   $contentPage = curl_exec($ch);
   curl_close($ch);
   return trim($contentPage);
}
 
$url = "http://market.yandex.ru/search.xml?text=".$title;
$content = getPageContent($url);
if ($content){
 $start_str = "
<h3 class=\"b-offers__title\"><a href=\"";
 $stop_str = "\" class=\"b-offers__name\"";
 $rule = "!".$start_str."(.*?)".$stop_str."!si";
 preg_match($rule,$content,$retContent);
}
 
if ($retContent[1]){
 $content2 = getPageContent("http://market.yandex.ru".$retContent[1]);
 return $content2;
}
?>

Реализовал. Оно работает. Правда лицензию Яндекса нарушает. Но что поделать, они же свой XML еще не допилили до стостояния "взял и работает". Не под все задачи оно подходит.

Одна из задач осталась не реализованной. К сожалению или к счастью сервер с которого работает этот парсер находится в Германии. Соответственно по умолчанию он подставляет регион Бавария. А нужно Москва и московская область. Я попробовал через подстановку cookies, но вот как-то не вышло. Если кто знает решение - помогите пожалуйста.

Категория: Программирование (24 Октябрь , 2011)

Добавить комментарий

Навеяно тулатолковскими IT холиварами

python

http://www.tulatalk.ru/forums/?showtopic=54257

программирование сайта в Туле на LAMP -- MODx или Symfony.

Категория: Программирование, Юмор (10 Июль , 2010)

1 Комментарий »

В чем прелесть Symfony

Прелесть Symfony в том, что его не так просто освоить.

А далее:

- Полная реализация паттерна MVC;
- ORM в виде Propel или Doctrine на ваш выбор;
- Объектная работа с MySQL запросами через объект Criteria;
- Очень удобный генератор админки, CRUD генератор форм для объектов;

И наверное многое другое, но так как основная прелесть в сложности освоения, то многое другое пока неведомо мне :-)

программирование сайта на Symfony

Категория: Программирование (15 Февраль , 2010)

Добавить комментарий

propel build:model

Первый блин всегда комом. Скриншот попытки реализовать отражение структуры БД в классы PHP. Полдня было потрачено вообще на саму попытку выполнить эту команду.

$ php symfony propel:build-model

Дело все в том что, исполнять ее надо было вот так

$ /usr/local/php5/bin/php-cgi symfony propel:build-model

Картинка как бы говорит мне о том, что придется еще кое с чем разобраться.

symfony

разработка сайта на Symfony 1.2

Категория: Программирование (8 Сентябрь , 2009)

17 Комментариев »

Осваиваю Symfony

MODx конечно хорош, но в определенных пределах.

Сейчас плотнее осваиваю фреймворк Symfony. Взялся сразу на коммерческом проекте. Пока нравится. Много новых слов, технологий и концепций

YAML, Propel, ORM (кстати не знал, что у этого явления есть концептуальное название)

В общем пока впечатления очень положительные, буду копать далее.

программирование на Symfony

Категория: Веб-разработка, Программирование (6 Сентябрь , 2009)

3 Комментариев »

Сайт: Туристическое агентство География

Сдал сайт для Туристического агентства География (http://geo-grafia.ru). Город Санкт-Петербург.

geo-grafia

Аккуратный, легкий и удобный дизайн хорошего Тульского дизайнера, лента новостей, туры с возможностью бронирования тура и гостиницы, возможность отправки содержимого тура на печать. В общем обычный сайт визитка. Сделано на MODx. Из наворотов прикручен jQuery плагин innerFade для плавной смены изображений на главной странице.

разработка сайта на MODx

Категория: Менеджмент проектов, Программирование, Процесс (27 Июль , 2009)

2 Комментариев »

Post_industrial_geeks

Jason Coward MODx Co-Founder & Lead Architect

Jason develops for MODx full time, is a freelance drummer and percussionist, and in his free time, an avid pool player. Of course his wonderful girlfriend of 12 years, Christina, his four cats, and his obsession for MODx keep the free time to a minimum. Our "resident hippie rockstar" says Ryan, "and don't forget geek" reminds Jason.

Jason is the lead core developer for MODx, being the inventor of xPDO and one of the founding members of MODx. He currently specializes in the underpinnings of MODx Revolution, including the database modeling, transport packaging, and context development.

Вот оно как оказывается. Со-основатель и ведущий архитектор MODx хиппи-перкуссионист (make love not WoW :) и у него есть 12-летняя герлфренда. Забавно :-)

программирование сайта на CMS MODx 1.05

Категория: Программирование (17 Июль , 2009)

7 Комментариев »

Про программирование

Вчера один очень хороший PHP-шник прислал в ICQ следующее

А сегодня один хороший C#-повец прислал линк вот на это

http://lurkmore.ru/Умение_разбираться_в_чужом_коде

Очень важно отсюда то что...

Что мы узнаём об организации по такой вакансии

* Большая текучка кадров.
* Никто толком не может поставить процесс разработки. (При грамотной организации процесса разработки ПО, код получается таким, что разобраться в нём не составит труда для любого программиста.)
* Темпы разработки постоянно подгоняются начальством, качество кода ужасно, переписывать приходится больше чем писать.
* Качество ПО, производимого этой конторой — дерьмо.
* Вам будут перманентно ебать мозг.

Новая фраза в лексикон - перманентная ебля мозга. Ебля заменяем на вынос, что бы звучало форматно в рамках разного рода дискуссий. Итак. Перманентный вынос мозга!

А еще сегодня один очень ловкий менеджер по телефону пытался убедить, что шесть тысяч рублей -- это почти тоже самое, что восемь тысяч рублей, но сегодня.

Знаете что? Я ему не поверил!

Категория: Программирование, Юмор (14 Июль , 2009)

Добавить комментарий

Программисты это плохо. Программисты это хорошо.

Значит присылает мне сегодня друг-программист из Великого-Новгорода в аську такую строчку.

// локаничный дедлок единственного потока :) C#
System.Threading.Thread.CurrentThread.Join();

А я на это ему отвечаю -- Степан, если ты мне хотел, что-то сообщить, то это до меня не дошло.
А он мне отвечает -- Сергей, это шутка была, как можно не понять такое?

Я немного офигеваю, и начинаю вспоминать, что я читал про программистов в последнее время.

Сначала я прочитал про программистов у бомбера. Почему у программистов такие страшные жены? / some original content ok?

Он как бы простебал всю общность программистов высмеивая инертность натуры в плане поиска сексуального-партнера.

Процитирую наиболее значимые моменты

Утрата социальных навыков - не единственный фундаментальный разрыв в целостной картине социальной единицы “программист”.

Редко когда удаётся увидеть жену программиста. Сами они в курсе “неземной красоты” своих жен и нечасто появляются в компании вместе.

Опросив с десяток знакомых программистов, я выяснил, что зачастую постоянной избранницей на всю жизнь является первая девушка, которая ему дала, т.е. етот факт настолько переполняет стек, что становится решающим фактором в вопросе выбора спутницы

Но затем мне на глаза попалась удивительная статья обратного характера, все про тех же удивительных зверьков -- программистов!

Программисты: эволюционный подход

Основные цитатки:

Во-первых, программисты это одна из немногих социальных групп, которые сейчас производят продукт. Причем продукт такой, без которого современный мир существовать не в состоянии. А как мы помним из Смита и Маркса - продукт это архиважная фигня, и тот, у кого он есть практически не может продуть в борьбе за блага

Во-вторых, программисты сохраняют матримониальное поведение, чем так же повышают свои шансы на выживание. В отличие от остальных они создают семьи, которые как известно, являются наиболее устойчивой социальной формой существования.

и сразу же

Третье. Как известно, залогом выживания вида является размножение. И, я скажу вам, програмисты размножаются!

а вот о аутентичности и самовлюбленности

Единственное, уязвимое место программистов это их крайне низкая способность к объединению и взаимодействию. Обороняться стаей они не способны, потому что у них проблемы с общением, и каждый из них считает себя умнее других.

ну и про менеджеров

Проще говоря, если кучку программистов оставить на некоторое время без присмотра (читай без управления), они очень быстро скатываются в производство не продукта, а прикольных фиговин для самих себя. Как правило, эти фиговины остальным людям не интересны, поэтому программистам перестают давать за них деньги. Соответственно программисты умирают от голода. Но на этот случай у программистов тоже есть регулирующий механизм: Менеджер. Их самый страшный враг и единственный друг. С одной стороны он заставляет их делать то, что им не интересно, тем самым подкашивая их ощущение бога, но с другой - он обеспечивает их выживание, сохраняя восстребованость продукта, поэтому они его терпят. По сути, менеджер такой же залог выживания программиста, как фермер для пшеницы: культуру необходимо возделывать, иначе она дичает. Поэтому если в кучке программистов заводится толковый менеджер, они, сцуко, делаются непобедимыми!

Мораль сей басни такова, что нету тут морали никакой. Читайте как есть :)

создание интернет сайта в Туле.

Категория: Программирование (22 Май , 2009)

5 Комментариев »

Юзабилити? Веб 2.0? :)

Любовь трехлетней жительницы Новой Зеландии Пипи Куинлан к игрушечным тракторам и землеройным машинам чуть не разорила ее родителей.

Малышка сумела не только самостоятельно зарегистрироваться на интернет-аукционе, но и стать счастливым обладателем одного из выставленных лотов - девочка приобрела самый настоящий бульдозер за 15,6 тысячи долларов.

Когда мать малышки Сара Куинлан подошла к компьютеру, то обнаружила на свое имя извещение и поздравления с удачно сделанным приобретением. "Сначала я подумала, что в доме станет на один конструктор "Лего" больше, - рассказала Сара Куинлан. - Но когда я увидела цену "игрушки", то буквально потеряла дар речи". По словам матери, это было самое сильное потрясение в ее жизни.

По горячим следам родители вышли на организаторов аукциона и рассказали о проделках своей не по годам умной дочери, сообщает ИТАР-ТАСС. Войдя в ситуацию, руководство фирмы аннулировало результаты торгов и вернуло деньги.

Источник - http://www.vesti.ru/doc.html?id=287034

Вот как надо интернет-магазины делать. А то в последнее время все ругаются, что на озоне кнопку заказа не найдешь.

Категория: Программирование, Юмор (22 Май , 2009)

Добавить комментарий

Страница 1 из 212