25 нояб. 2011 г.

whoosh-appengine–полнотекстовый поиск для Google App Engine

На маленьких примерах работает хорошо, есть записей какое-то ощутимое количества или какие-то из них большие (не выяснял что именно) – просто перестает работать с исключением.
ResponseTooLargeError: The response from API call datastore_v3.RunQuery() was too large.
Для проба предложил ему проиндексировать пробную базу писем около 1000 штук, меньше чем по 30кб текста (обычно значительно меньше).
После 200-300 штук это исключение вылезало что при записи, что при попытке чтения из хранилища, при этом по объему индексов понятно, что там скорее всего ничего особо небыло (меньше 2-3 мегабайтов суммарно все объекты).
P.S. возможно это проблема Python 2.7 в режиме threadsafe: yes, видел описание похожего бага.
https://github.com/tallstreet/Whoosh-AppEngine
http://code.google.com/p/googleappengine/issues/detail?id=6282
Update: Попробовал использовать после исправления ошибки - теперь GAE нехватает памяти для работы с индексом. Пока пользуюсь Google Cloud SQL, жду полнотекстового поиска.

Комментариев нет:

Отправить комментарий