понедельник, 7 мая 2018 г.
Я в некотором офигении...
Вчера, вернувшись из поездки, я запустил парсер и тут же обнаружил свалившуюся на меня новую проблему : большое количество страниц Стора в процессе сканирования просто не читались. Уж не знаю, Майки что-то подкрутили в Сторе, или какое-то обновление Винды поспособствовало, или вообще происки Россвязьнадзора в ходе борьбы с Телеграмом - но факт был налицо : 10-50% страниц в процессе сканирования отваливались с ошибкой, чаще всего - по тайм-ауту, причём страниц случайных : в следующем заходе в отвал попадали совсем другие.
Попытки разобраться с проблемой съели два дня, в итоге переписал ту часть парсера, которая отвечает за загрузку страниц, переведя её под последние версии системных библиотек ( для тех, кто в теме : вместо WinHttp задействовал MSXML2 ). И всё заработало, и не просто заработало, а заработало с дикой скоростью : вместо ставших привычными 3-5 часов на полное сканирование оно теперь занимает около часа !
Кстати, парсеру скоро исполнится два годика. Текущая база цен ведётся с 19 мая 2016 года, хотя и до этого уже существовали черновые версии.
Подписаться на:
Комментарии к сообщению (Atom)
чувак, спасибо что ты есть у нас!)))
ОтветитьУдалитьИзменяюсь что не по теме.Но кто нибудь сталкивался с блокировкой аккаунта чтобы покупать игры или продукты майков типо скайпа?я целый час мурыжил поддержку майков и они сообщили все таки что мой ак заблокирован в плане покупок.спросил когда разблокируетесь?сказали ждите пока система разблокирует и мы вам напишем на емейл...бред раньше все карты норм проходили для оплаты а теперь ни одной...им походу мои деньги не нужны?)
ОтветитьУдалитьС праздником! А где ты гифты покупаешь?
ОтветитьУдалить