+  HandyCache форум
|-+  Главная категория» Дополнения, плагины» GE.lua - расширение HC для кэширование Google Earth
Имя пользователя:
Пароль:
Страниц: [1] 2 3 ... 9   Вниз
  Отправить эту тему    Печать  
Автор Тема: GE.lua - расширение HC для кэширование Google Earth  (Прочитано 98560 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Parasite
Пользователь
**

Репутация: +1/-0
Offline Offline

Сообщений: 66



« : 15 июня 2009, 18:45:42 »

Приветствую, господа.

Пару дней активно работаю через связку GE + (HC + GE.lua). Хотелось бы вынести на публику некоторые замечания и предложения, и по возможности воплотить их в жизнь.
Итак, начну в порядке убывания значимости:

1) Периодически HC+GE.lua (далее - связка) отдает неверные, некорректно собранные "сборные" тайлы. Выражается это в каше в заголовке собранного тайла, и клиенту GE от такого тайла сносит башню (начиная от общего замедления последующих запросов в сеть - через замедление работы - вплоть до зависания клиента).
Периодичность отдачи сбойной сборки не выявлена - связка может работать полчаса без глюка, а может подвесить клиента буквально на первой минуте работы. Точно так же вероятность глюка не зависит ни от типа тайла, ни от просматриваемой области, ни от зума....закономерность не выявлена. Грустный

2) Не знаю, связано ли это с п.1 - но периодически в логах появляется строчка, подобная приложенной в аттаче. После этого, как правило, клиента начинает глючить (но не всегда).

3) Хотелось бы вменяемой и НАСТРАИВАЕМОЙ возможности сортировки кэшируемого контента по папкам. Общеупотребимый формат кэша могу написать сюда.

4) Хотелось бы поддержки связкой ВСЕХ серверов GE (Земля, Небо, История итд).

Очень прошу разработчиков обратить внимание хотя бы на п.1. Готов ответить на возможные доп.вопросы\быть бетатестером.
Благодарю.


* Clipboard01.jpg (53.04 Кб, 1712x99 - просмотрено 226 раз.)
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #1 : 15 июня 2009, 19:15:13 »

Цитировать
Периодичность отдачи сбойной сборки не выявлена - связка может работать полчаса без глюка, а может подвесить клиента буквально на первой минуте работы. Точно так же вероятность глюка не зависит ни от типа тайла, ни от просматриваемой области, ни от зума....закономерность не выявлена.
Попробую докопаться. Вот только б воспроизвести у себя такую ситуацию...
Сообщить модератору   Записан
Parasite
Пользователь
**

Репутация: +1/-0
Offline Offline

Сообщений: 66



« Ответ #2 : 15 июня 2009, 19:28:51 »

Цитировать
Периодичность отдачи сбойной сборки не выявлена - связка может работать полчаса без глюка, а может подвесить клиента буквально на первой минуте работы. Точно так же вероятность глюка не зависит ни от типа тайла, ни от просматриваемой области, ни от зума....закономерность не выявлена.
Попробую докопаться. Вот только б воспроизвести у себя такую ситуацию...
Спасибо.
Судя по всему, ситуация имеет место быть при сборных тайлах "всегда из кэша". При пользовании связки с чистым (стертым) кэшем - тайлы берутся из Интернета, и сбойных вроде как не наблюдается. А вот когда все части для сборного тайла есть в кэше - ... Грустный

Ситуация имеет место быть в 90% случаев при юзании ГЕ на протяжении 10-15 минут. Потом практически нереально дождаться от клиента прогрузки других областей - у него уже "сорвана крыша" и он тормозит даже невзирая на наличие или отсутствие тайлов в кэше (просто не отправляет запросы на тайлы, несмотря на то что на экране ничего не прогружено). Помогает перезапуск клиента, очистка кэша (ГЕ и HC) и запуск клиента по новой. Все летает, пока кэш в HC снова не заполнится и тайлы не начнут собираться "только из кэша HC".  Грустный
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #3 : 15 июня 2009, 19:38:35 »

У меня воспроизводится ситуация в 100% случаях.
- удаляем кэш гуглу, и HC заодно
- запускаем гугл и даём прогрузить Землю, ничё не трогаем - загрузка идёт как по маслу
- опять удаляем кэш гуглу (теперь всё что загружал гугл у нас в кэше HC)
- запускаем гугл - подвисон на первом же запросе из кэша!

Анализирую, почему гугл висит. Смотрю снифером, что за тайл пришёл гуглу. И вижу, что собранный тайл из кэша, собран не по правилам... и гугл его отбраковывает. Конкретно - не правильно указано смещение в заголовке тела ответа, либо просто мусор вместо смещения, либо смещение в "нитуда"
Сообщить модератору   Записан
Parasite
Пользователь
**

Репутация: +1/-0
Offline Offline

Сообщений: 66



« Ответ #4 : 15 июня 2009, 19:42:26 »

А вот еще один "кривой URL".


* Clipboard01.jpg (35.68 Кб, 1131x116 - просмотрено 153 раз.)
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #5 : 15 июня 2009, 19:59:37 »

У меня ребенок юзает много дней (для него писалось) - и такого нет. Давайте чтоб уже говорить об одной и той же сборке вооружимся последней (в аттаче). В ней, похоже, эта же проблема присутствует. Буду пытаться воспроизвести...

Цитировать
У меня воспроизводится ситуация в 100% случаях.
- удаляем кэш гуглу, и HC заодно
- запускаем гугл и даём прогрузить Землю, ничё не трогаем - загрузка идёт как по маслу
- опять удаляем кэш гуглу (теперь всё что загружал гугл у нас в кэше HC)
- запускаем гугл - подвисон на первом же запросе из кэша!
15 раз подряд сделал - не висит.

Посмотрите, кто может, есть ли эти же проблемы с моим списком Преобразования URL.

* Google Earth.rar (2.53 Кб - загружено 168 раз.)
* URLToCache.rar (2.8 Кб - загружено 161 раз.)
« Последнее редактирование: 15 июня 2009, 20:04:11 от Михаил » Сообщить модератору   Записан
Parasite
Пользователь
**

Репутация: +1/-0
Offline Offline

Сообщений: 66



« Ответ #6 : 15 июня 2009, 20:06:51 »

У меня ребенок юзает много дней (для него писалось) - и такого нет. Давайте чтоб уже говорить об одной и той же сборке вооружимся последней (в аттаче). В ней, похоже, эта же проблема присутствует. Буду пытаться воспроизвести...
15 раз подряд сделал - не висит.
Сделал 2 раза. На 2м проходе 2го раза - клиенту сорвало крышу.
GE 5.0.11733, HC .180 (и в ее составе - GE.lua). Винда ХП СП3. Грустный

С новым вариантом из аттача - попробую, спасибо.

Посмотрите, кто может, есть ли эти же проблемы с моим списком Преобразования URL.

У меня другие замены (для раскладки тайлов по папкам, пока этого не научился делать сам скрипт). Вот часть касательно ГЕ:
Код:
False#~#----- Сортировка тайлов GoogleEarth -------#~##~#False#~#False#~#0
True#~#^(kh|khmdb)\.google\.com/#~#_GE_TILES_CACHE_/#~#True#~#True#~#18970
True#~#(?!.*\+)(flatfile|(dbRoot\.v\d+))\?db=tm\&#~#History/#~#True#~#True#~#16
True#~#(?!.*\+)(flatfile|(dbRoot\.v\d+))\?db=sky\&#~#Sky/#~#True#~#True#~#0
True#~#(?!.*\+)(flatfile|(dbRoot\.v\d+))\?db=mars\&#~#Mars/#~#True#~#True#~#0
True#~#(?!.*\+)(flatfile|(dbRoot\.v\d+))\?#~#Earth/#~#True#~#True#~#18859
True#~#If-0-icons/#~#Icons#~#True#~#True#~#0
True#~#hl=(..|..-..)\&gl=..#~#dbRoot.v5/dbRoot#~#True#~#True#~#23
True#~#/(?!.*\+)f1-\d+-i\.(\d+)#~#/Bitmaps/\1\0#~#True#~#True#~#4112
True#~#/(?!.*\+)(f1-\d+-d)\.(\d+)\..*#~#/Textures\0#~#True#~#True#~#16
True#~#/(?!.*\+)f1c-\d+-t\.(\d+)#~#/Terrains/\1\0#~#True#~#True#~#3892
True#~#/(?!.*\+)f1c-\d+-d\.(\d+)\.(\d+)#~#/Layers/\1/\2\0#~#True#~#True#~#8667
True#~#/(?!.*\+)q2-\d+-q\.(\d+)#~#/Queries/\1\0#~#True#~#True#~#2127
True#~#/(?!.*\+)(f1|f1c|q2|qp)-\d{1}-#~#/z1\0#~#True#~#True#~#12
True#~#/(?!.*\+)\w+-\d{2}-#~#/z2\0#~#True#~#True#~#36
True#~#/(?!.*\+)\w+-\d{3}-#~#/z3\0#~#True#~#True#~#80
True#~#/(?!.*\+)\w+-\d{4}-#~#/z4\0#~#True#~#True#~#471
True#~#/(?!.*\+)\w+-\d{5}-#~#/z5\0#~#True#~#True#~#1811
True#~#/(?!.*\+)\w+-\d{6}-#~#/z6\0#~#True#~#True#~#4658
True#~#/(?!.*\+)\w+-\d{7}-#~#/z7\0#~#True#~#True#~#1491
True#~#/(?!.*\+)\w+-\d{8}-#~#/z8\0#~#True#~#True#~#922
True#~#/(?!.*\+)\w+-\d{9}-#~#/z9\0#~#True#~#True#~#688
True#~#/(?!.*\+)\w+-\d{10}-#~#/z10\0#~#True#~#True#~#215
True#~#/(?!.*\+)\w+-\d{11}-#~#/z11\0#~#True#~#True#~#602
True#~#/(?!.*\+)\w+-\d{12}-#~#/z12\0#~#True#~#True#~#829
True#~#/(?!.*\+)\w+-\d{13}-#~#/z13\0#~#True#~#True#~#858
True#~#/(?!.*\+)\w+-\d{14}-#~#/z14\0#~#True#~#True#~#535
True#~#/(?!.*\+)\w+-\d{15}-#~#/z15\0#~#True#~#True#~#1652
True#~#/(?!.*\+)\w+-\d{16}-#~#/z16\0#~#True#~#True#~#1014
True#~#/(?!.*\+)\w+-\d{17}-#~#/z17\0#~#True#~#True#~#1373
True#~#/(?!.*\+)\w+-\d{18}-#~#/z18\0#~#True#~#True#~#561
True#~#/(?!.*\+)\w+-\d{19}-#~#/z19\0#~#True#~#True#~#809
True#~#/(?!.*\+)\w+-\d{20}-#~#/z20\0#~#True#~#True#~#215
True#~#/(?!.*\+)\w+-\d{21}-#~#/z21\0#~#True#~#True#~#0
True#~#/(?!.*\+)\w+-\d{22}-#~#/z22\0#~#True#~#True#~#0
True#~#/(?!.*\+)\w+-\d{23}-#~#/z23\0#~#True#~#True#~#0
True#~#/(?!.*\+)\w+-\d{24}-#~#/z24\0#~#True#~#True#~#0
False#~#----- Конец cортировки тайлов GoogleEarth -------#~##~#False#~#False#~#0
« Последнее редактирование: 15 июня 2009, 20:27:08 от Parasite » Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #7 : 15 июня 2009, 20:14:09 »

Цитировать
удаляем кэш гуглу
Какими действиями вы это делаете?
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #8 : 15 июня 2009, 20:19:51 »

У меня портабл сборка гугла - кэш и все настройки рядом в папочке, вот её и удаляю.
Преобразования URL и вообще ВСЕ правила отключены. Включено только одно расширение - GE.
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #9 : 15 июня 2009, 20:28:42 »

А всплывают окошки от НС в правом нижнем углу экрана?
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #10 : 15 июня 2009, 20:34:05 »

Неа, никаких окошек не наблюдал ни разу
Сообщить модератору   Записан
Parasite
Пользователь
**

Репутация: +1/-0
Offline Offline

Сообщений: 66



« Ответ #11 : 15 июня 2009, 20:46:00 »

Неа, никаких окошек не наблюдал ни разу
+1
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #12 : 15 июня 2009, 20:46:11 »

Появилась одна идея. Выложил другую сборку.
Предварительно удалить кэши НС (дисковый и RAM) и GE.

* GE.rar (2.35 Кб - загружено 73 раз.)
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #13 : 15 июня 2009, 20:51:34 »

Нет, всё так же...

Скрипт неверно формирует заголовок. Вот конкретный пример. Все тайлы в кэше HC, это первый запрос (тайловый), который выдаёт гугл при пустом кэше: http://kh.google.com/flatfile?q2-0202-q.203+q2-0300-q.203+q2-0132-q.203+q2-0031-q.203&v=1

Вот начало этого запроса:
Код:
Offset      0  1  2  3  4  5  6  7   8  9  A  B  C  D  E  F

00000000   01 04 12 00 00 00 2C 10  00 00 2C 16 00 00 CD 1C   ......,...,...Í.
00000010   00 00 55 97 78 32 CF 09  00 42 0F 81 80 F3 A7 9C   ..U—x2Ï..B.�?ó§œ
последовательно разберу по байтам:
01 - ID склееного запроса - ОК
04 - число склееных тайлов - ОК
12 00 00 00 - смещение первого тайла (00000012) - ОК
2С 10 00 00 - смещение 2-го тайла (0000102С) - ERROR т.к. верное смещение 2-го тайла - 4С 10 00 00 (0000104С)
2С 16 00 00 - смещение 3-го тайла (0000162С) - ERROR т.к. верное смещение 3-го тайла - 55 16 00 00 (00001655)
CD 1C 00 00 - смещение 4-го тайла (00001CСD) - ERROR т.к. верное смещение 4-го тайла - 00 1D 00 00 (00001D00)

В аттаче тайл + исходные кусочки.

Ещё интересное: размер склееного файла 8144, хотя написано, что Content-Length:8089

Дальше - больше. Вручную разрезал этот склееный тайл на кусочки, сравниваю с оригинальными - тайлы не совпадают! Мало того, так у них и размер разный оказывается... так что бьются именно тайлы!

* q2.rar (8.58 Кб - загружено 86 раз.)
« Последнее редактирование: 15 июня 2009, 21:34:01 от zed » Сообщить модератору   Записан
Parasite
Пользователь
**

Репутация: +1/-0
Offline Offline

Сообщений: 66



« Ответ #14 : 15 июня 2009, 21:07:39 »

Появилась одна идея. Выложил другую сборку.
Предварительно удалить кэши НС (дисковый и RAM) и GE.
Есть мысль о том, что глючит не сам скрипт как таковой, а механизм его взаимодействия с HC (и контент бьется не на стадии собирания его скриптом, а на стадии его передачи в HC, либо от HC в GE). Но не уверен.
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #15 : 15 июня 2009, 21:34:27 »

zed
Посмотри, плиз, длины файлов из этого запроса в кэше НС. Какие должны быть смещения согласно этим длинам?
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #16 : 15 июня 2009, 21:43:23 »

zed
Посмотри, плиз, длины файлов из этого запроса в кэше НС. Какие должны быть смещения согласно этим длинам?
Да, в точку. Смещения должны быть такие, как вбито в заголовок. Но при склеивании тайлы почему-то "выростают" и начало следующего не совпадает со значением из заголовка...
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #17 : 15 июня 2009, 23:19:32 »

Проверил у себя эти же тайлы. Все ОК. Каким способом ты получил файл в кэше q2-0202-q.203+q2-0300-q.203+q2-0132-q.203+q2-0031-q.203&v=1 ?
Сообщить модератору   Записан
zed
Постоялец
***

Репутация: +4/-0
Offline Offline

Сообщений: 141


« Ответ #18 : 15 июня 2009, 23:38:04 »

Каким способом ты получил файл в кэше q2-0202-q.203+q2-0300-q.203+q2-0132-q.203+q2-0031-q.203&v=1 ?
перехватил снифером (IE HTTP Analyzer) передачу между HC и GE...
Выходит, скрипт (или HC+скрипт) работают не на всяком железе, и вот, у меня, не хочет работать Грустный
Сообщить модератору   Записан
Михаил
Модератор
*****

Репутация: +337/-14
Offline Offline

Сообщений: 5513



« Ответ #19 : 15 июня 2009, 23:50:46 »

Несоответствие между простой суммой отдельных тайлов из приаттаченного тобой архива и зафиксированным в сниффере склеенным вариантом в том, что:
- все символы с кодом 0 отдельных тайлов заменены на пробелы в склеенном
- каждый символ <CR> заменен на <CRLF>
- каждый символ <LF> заменен на <CRLF>
Кто это делает, не могу понять. В скрипте я такого не делаю. Разница в длине, соответственно, равна общему количеству <CR> и <LF>. Может, есть еще посредник между HC и GE? Или HTTP Analyzer так может быть настроен? Или может, еще один скрипт в НС работает?
« Последнее редактирование: 15 июня 2009, 23:57:09 от Михаил » Сообщить модератору   Записан
Страниц: [1] 2 3 ... 9   Вверх
  Отправить эту тему    Печать  

 
Перейти в: