14 окт. 2011 г.

DropBox vs Gladinet vs LiveDrive

DropBox – $10/мес

Работает очень хорошо и свои функции выполняет, но идейно хочется иметь какое-то online-хранилище, которое видно на компьютере в виде диска, а отдельные указанные папки постоянно закешированы на локальном диске – чтобы программы например быстро запускались и в оффлайне можно было бы поработать, но при этом сам диск по объему более-менее безграничный и доступный с разных компов.

Gladinet $50 единовременно

На первой тысяче файлов, доступной в бесплатной версии работал вполне хорошо. Купил для использования полную.

В отличие от двух других это не сервис, а программа, которая позволяет монтировать разные хранилища как папки сетевого диска + умеет кешировать данные локально. По результатам испытаний оказалась непригодна в моих условиях (ориентировочно 40Гб в 108 тысячах файлов для начала, потом больше), тесты проводились на еще объеме – 4Гб в 83 тыс. файлов:

  • Google Docs – гугль начинает банить после какого-то количества обращений + синхронизация и до бана идет довольно медленно
  • FTP – работает, быстро, хорошо, но не с Total Commander – ели работать с Total Commander –просто виснет на первой же команде и не работает. Разработчики подтвердили – проблема именно с Total Commander, а поскольку это основной файл-менеджер – вариант тоже не подходит
  • Amazon – работает вполне хорошо, но в моих объемах относительно дорого за траффик (в смысле платить амазону за исходящий трафик и за операции с кучей мелких файлов).
  • Picasa – может хранить только картинки (собственно для этого и предназначено)
  • SkyDrive – относительно мало места, но это даже не главное – оказалось SkyDrive не поддерживает больше 9 уровней вложенности папок, в результате eclipse туда не записался.

В результате ни одно хранилище, кроме амазона не работает, а амазон работает, но выходит дороже DropBox и менее удобно. К тому же Gladinet представляется видимо как WebDAV, так что часть операций с него не работает, например программу туда поставить нельзя.

Пришлось попросить вернуть деньги, деньги вернули.

LiveDrive $16/мес.

Представляется как обычный локальный жесткий диск, файлы хранятся в Online + можно указывать какие файлы/папки кешировать на жестком диске, по умолчанию дается 2ТБ (терабайта)

Для кеширования можно выбрать локальный диск, где кеш будет храниться. В корне диска создается папка, внутри файлы хранятся под ID-шниками – похоже на MD-5 с распределением на несколько уровней вложенности. Метаданные о файлах хранятся в SQLite-базе, так что в случае какой-то крупной аварии на сервисе или его закрытии – кешированные файлы хость и с трудозатратами, но можно будет восстановить.

На маленьких объемах работает отлично. Попробовал туда скопировать сразу всё что в DropBox лежит. Само копирование на логический диск прошло хорошо и быстро – как в соседнюю папку. Дальше начались странные проблемы:

  • Очень медленно считался объем файлов для upload – больше 12 часов
  • Из-за больших пауз в uploadf на какие-то системные нужны (вроде как передача списка файлов или что-то подобное) за почти сутки успел залить только около 3-4Гб. При это в то время когда upload шел он был довольно быстрым 300-500КБ/сек
  • За сутки с фатальной ошибкой вылетел 2 раза.
  • Все сутки загружал процессор на 25-35% (2-ядерный Core 2Duo, каждое ядро с Hyper-Threading).

Удален. Идея хорошая, но реализаия еще сырая.

Вывод

Пока остановился на DropBox – это работает, работает надежно и быстро.

Online-хранение всяких архивов буду решать подключением функции вечного хранения историй и просто удаления ненужных файлов. Потом если что их можно будет восстановить из удаленных по мере надобности.

12 окт. 2011 г.

Google App Engine 1.5.5 SDK, Python 2.7

Google выпустил SDK 1.5.5 для Google App Engine, в нем поддерживаются транзакции с разными группами объектов, Python 2.7, мультипоточность в Python и другие интересные вещи.

Теперь каждый экземпляр приложения может выполнять несколько параллельных запросов и/или использовать несколько потоков для выполнения каждого запроса.

Важное примечание

SDK 1.5.5 не полностью поддерживает Python 2.7, например не поддерживается параметр threadsafe: yes и нет дополнительных библиотек для Python 2.7 – их нужно добавлять в приложение своими силами. При этом на серверах всё должно работать. На форуме Google это прямо подтверждает, комментируя что Python 2.7 еще экспериментальный и сейчас важнее не сломать то что есть, чем вводить в SDK новые функции.

 

Далее перевод из блога http://googleappengine.blogspot.com/2011/10/app-engine-155-sdk-release.html

App Engine 1.5.5 SDK Release

В 2011 году вышло несколько интересных релизов Google App Engine. На улице становится холоднее, дни короче, а мы всё усерднее работаем над нашим последним релизом.

Преимум-аккаунты

Когда вы выбираете платформу для самых важных бизнес-приложений мы понимаем, что гарантии того что она будет работать непрерывно, легко управляться и сопровождение платной поддержки так же важны, как и набор функций. Сегодня мы запускаем премиум-аккаунты. За $500 в месяц (не включая затраты на интернет) вы получаете:

  • Приоритетную поддержку (детали можно посмотреть в руководстве).
  • Гарантия непрерывной работы в течение 99.95% времени (посмотрите черновик соглашения, итоговое соглашение подписывается в оффлайне).
  • Возможность запускать неограниченное количество приложений на премиум-домене.
  • Отсутствует ежемесячный минимальный платеж за каждое приложение – вы платите только за используемые ресурсы.
  • Ежемесячное выставление счета.

Для получения премиум-аккаунта свяжитесь с нами по email [email protected]

Python 2.7

PIL? NumPy? Параллельное выполнение запросов? Python 2.7 поддерживает всё это и сегодня мы запускаем Python 2.7 как экспериментальный релиз. Мы сделали сравнительную таблицу между текущим окружением python 2.5 и новым.

Общие изменения

Мы знаем, что разрабатывать системы в жестких ограничениях сложно и мы продолжаем поднимать лимиты для ваших приложений. В этом релизе мы изменили некоторые из них:

  • Длительность выполнения запроса: Приложение переднего плана (frontend) теперь может обрабатывать запрос 60 секунд вместо 30, мы увеличили максимальное время выполнение запросов URLFetch с 10 до 60 секунд
  • Файловые лимиты: максимальное число загружаемых файлов увеличено с 3000 до 10000 и максимальный размер файла увеличен с 10 до 32 мегабайтов.
  • Лимиты API: Объем POST-данных для URLFetch-запроса теперь 5МБ вместо 1МБ

Мы так же вводим несколько новых функций в режиме предварительного показа и программ для доверенных тестеров:

  • Предварительный показ облачного SQL: на прошлой недели мы анонсировали предварительный показ поддержки SQL в Google App Engine. Возьмите, попробуйте и сообщите нам что вы об этом думаете.
  • Полнотекстовый поиск: Для доверенных тестеров мы предоставляем API для полнотекстового поиска. Заполните форму если вам интересно его попробовать.
  • API конвертации: Вы хотите переводить текстовый формат в PDF? Вы можете заполнить запрос на вступление в группу доверенных тестеров API конверсии.

Хранилизще

  • Межгрупповые транзакции (Cross Group (XG) Transactions): Для тех кому нужны транзакции между несколькими разными группами объектов (это наверное почти все?) – теперь для таких транзакций используется двух-этапное подтверждение транзакции, и транзакциями с объектами из разных групп можно так же, как раньше вы работали с одной группой.

Улучшения платформы

Конечно это высокоуровневые изменения. Мы добавили много новых возможностей и исправили много ошибок.

http://googleappengine.blogspot.com/2011/10/app-engine-155-sdk-release.html