Incomplete files service
Стандартный сервис для получаемых файлов
Файлы скачиваются не одномоментно, поэтому в течение какого-то времени в системе хранится неполная версия файла. Будь то crdownload, .part и т.п.
Исходный домен - откуда файл - веб/торрент/ftn и т.д. Исходный адрес - адрес скачивания
- идентифицирую источник, по этим данным можно найти файл, если скачивание уже началось
Целевое имя - имя файла Размер - если известен Хэши
Доступные регионы - уже скачанные участки файла База+размер (список) либо постраничный битмап (второе требует дописываний кратными выровненными блоками)
Успешность скачивания - весь указанный размер заполнен. Запись за его пределами - ошибка. - хэши соответствуют
После завершения скачивания файл передаётся сконфигурированному для домена получателю (место на файловой системе, какая-то программа для обработки).
Функции
- инициализация пустого файла, с указанием размера (или неизвестного размера), способов верификации. - добавление скачанного участка - получение списка недостающих участков, или факта неизвестности длины - фиксация длины, когда она стала известна - завершение файла, с проверкой, что всё скачано.
Проверки
- контрольные суммы по всему файлу, по отдельным участкам, по блокам (если клиентское ПО их предоставляет) - блокирование записи, если сама запись может быть проверена ко контрольным суммам и они неверны - сигнал об ошибке, если контрольная сумма может быть проверена только после нескольких записей и результат неверен (невозможно выяснить, какая запись содержала ошибку). В том числе результат записи всего файла, если контрольная сумма на весь файл. - блокирование повторных записей - частный случай предыдущего - блокирование записи в момент, когда весь файл собран
Срок жизни неполного файла
Неполные файлы могут быть как временными (например, скачивание файла), так и постоянными (торрент, ожидающий загрузки). Исходя из этого может устанавливаться срок ожидания наполнения, а также неймспейс, в котором доступен файл:
- сессия: неполный файл существует в контексте сессии, удаляется при отключении клиента - по сроку: даём фиксированное время на наполнение файла, при отсутствии активности в течение этого срока удаляем - по активности: если источник при успешной сессии не дополняет файл, считаем, что он стал не нужен и удаляем - постоянный: надеемся на наполнение пока не удалён вручную. Неймспейс - внутренний для наполняющего клиента.
