Ну и да, какой ещё O_DIRECT в NFS?Синхронизация "в лоб" выглядит следующим образом (есть более хитрые способы):
- Все ноды обмениваются информацие об открытиях файлов
- Видим запись на одной из нод, видим, что файл открыт ещё где-то
- Информируем все остальные ноды, открывшие файл (если первый пункт пропустить - вообще все ноды, а это тормоза), о том, что блок X файла Y взят на запись нодой N
- В этот момент - кто не спрятался, я не виноват, ноды могут ещё прочесть старое, разрешено, стрижка только начата - вот тут как раз и нужны блокировки
- Все проинформированные ноды при прочих попытках чтения этого блока встают колом и ждут продолжения банкета
- Новые ноды, открывающие файлы, принимаются, но информируются об in-flight записи блока
- Производим запись
- Уведомляем писавшего об успехе
- Информируем все участвовавшие в трындеце ноды и новые появившиеся о том, что запись блока завершена
- Проинформированные ноды сбрасывают кеш блока, те, что пытались его читать - выдыхают, и начинают читать
Как быть с блокировками, и чем они страшны
- Если взята эксклюзивная блокировка файла на запись, к счастью, никто читать блок не попытается, но механизм выше всё равно должен быть, так как блокировки банально нестрогие, и у нас могут быть ноды, которые всё равно попытаются читать. Но наличие таких можно отследить по запросам на блокировку - те, что встали колом на попытке взять прочую блокировку - можно проинформировать только о конце записи, чтобы кеш сбросили, можно даже оптом по всем блокам после снятия эксклюзива - тут как раз целое поле непаханое для оптимизации
