Zbigniew Jędrzejewski-Szmek d66047
From c0658e1948c301177b1527227be0c18932cd7cce Mon Sep 17 00:00:00 2001
Zbigniew Jędrzejewski-Szmek d66047
From: Lennart Poettering <lennart@poettering.net>
Zbigniew Jędrzejewski-Szmek d66047
Date: Tue, 26 Nov 2013 18:39:42 +0100
Zbigniew Jędrzejewski-Szmek d66047
Subject: [PATCH] journal: when appending to journal file, allocate larger
Zbigniew Jędrzejewski-Szmek d66047
 blocks at once
Zbigniew Jędrzejewski-Szmek d66047
Zbigniew Jędrzejewski-Szmek d66047
(cherry picked from commit a676e66535e12458ea6d366a653f8dd60f982504)
Zbigniew Jędrzejewski-Szmek d66047
Zbigniew Jędrzejewski-Szmek d66047
Conflicts:
Zbigniew Jędrzejewski-Szmek d66047
	src/journal/journal-file.c
Zbigniew Jędrzejewski-Szmek d66047
---
Zbigniew Jędrzejewski-Szmek d66047
 src/journal/journal-file.c | 26 +++++++++++++++++---------
Zbigniew Jędrzejewski-Szmek d66047
 1 file changed, 17 insertions(+), 9 deletions(-)
Zbigniew Jędrzejewski-Szmek d66047
Zbigniew Jędrzejewski-Szmek d66047
diff --git a/src/journal/journal-file.c b/src/journal/journal-file.c
Zbigniew Jędrzejewski-Szmek d66047
index 425e38a..d1b8433 100644
Zbigniew Jędrzejewski-Szmek d66047
--- a/src/journal/journal-file.c
Zbigniew Jędrzejewski-Szmek d66047
+++ b/src/journal/journal-file.c
Zbigniew Jędrzejewski-Szmek d66047
@@ -68,6 +68,9 @@
Zbigniew Jędrzejewski-Szmek d66047
 /* How many entries to keep in the entry array chain cache at max */
Zbigniew Jędrzejewski-Szmek d66047
 #define CHAIN_CACHE_MAX 20
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
+/* How much to increase the journal file size at once each time we allocate something new. */
Zbigniew Jędrzejewski-Szmek d66047
+#define FILE_SIZE_INCREASE (8ULL*1024ULL*1024ULL)              /* 8MB */
Zbigniew Jędrzejewski-Szmek d66047
+
Zbigniew Jędrzejewski-Szmek d66047
 int journal_file_set_online(JournalFile *f) {
Zbigniew Jędrzejewski-Szmek d66047
         assert(f);
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
@@ -218,8 +221,7 @@ static int journal_file_refresh_header(JournalFile *f) {
Zbigniew Jędrzejewski-Szmek d66047
         journal_file_set_online(f);
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
         /* Sync the online state to disk */
Zbigniew Jędrzejewski-Szmek d66047
-        msync(f->header, PAGE_ALIGN(sizeof(Header)), MS_SYNC);
Zbigniew Jędrzejewski-Szmek d66047
-        fdatasync(f->fd);
Zbigniew Jędrzejewski-Szmek d66047
+        fsync(f->fd);
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
         return 0;
Zbigniew Jędrzejewski-Szmek d66047
 }
Zbigniew Jędrzejewski-Szmek d66047
@@ -313,7 +315,7 @@ static int journal_file_verify_header(JournalFile *f) {
Zbigniew Jędrzejewski-Szmek d66047
 }
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
 static int journal_file_allocate(JournalFile *f, uint64_t offset, uint64_t size) {
Zbigniew Jędrzejewski-Szmek d66047
-        uint64_t old_size, new_size;
Zbigniew Jędrzejewski-Szmek d66047
+        uint64_t old_size, new_size, file_size;
Zbigniew Jędrzejewski-Szmek d66047
         int r;
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
         assert(f);
Zbigniew Jędrzejewski-Szmek d66047
@@ -333,12 +335,10 @@ static int journal_file_allocate(JournalFile *f, uint64_t offset, uint64_t size)
Zbigniew Jędrzejewski-Szmek d66047
         if (new_size <= old_size)
Zbigniew Jędrzejewski-Szmek d66047
                 return 0;
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
-        if (f->metrics.max_size > 0 &&
Zbigniew Jędrzejewski-Szmek d66047
-            new_size > f->metrics.max_size)
Zbigniew Jędrzejewski-Szmek d66047
+        if (f->metrics.max_size > 0 && new_size > f->metrics.max_size)
Zbigniew Jędrzejewski-Szmek d66047
                 return -E2BIG;
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
-        if (new_size > f->metrics.min_size &&
Zbigniew Jędrzejewski-Szmek d66047
-            f->metrics.keep_free > 0) {
Zbigniew Jędrzejewski-Szmek d66047
+        if (new_size > f->metrics.min_size && f->metrics.keep_free > 0) {
Zbigniew Jędrzejewski-Szmek d66047
                 struct statvfs svfs;
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
                 if (fstatvfs(f->fd, &svfs) >= 0) {
Zbigniew Jędrzejewski-Szmek d66047
@@ -363,8 +363,16 @@ static int journal_file_allocate(JournalFile *f, uint64_t offset, uint64_t size)
Zbigniew Jędrzejewski-Szmek d66047
         if (r != 0)
Zbigniew Jędrzejewski-Szmek d66047
                 return -r;
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
-        if (fstat(f->fd, &f->last_stat) < 0)
Zbigniew Jędrzejewski-Szmek d66047
-                return -errno;
Zbigniew Jędrzejewski-Szmek d66047
+        /* Increase the file size a bit further than this, so that we
Zbigniew Jędrzejewski-Szmek d66047
+         * we can create larger memory maps to cache */
Zbigniew Jędrzejewski-Szmek d66047
+        file_size = ((new_size+FILE_SIZE_INCREASE-1) / FILE_SIZE_INCREASE) * FILE_SIZE_INCREASE;
Zbigniew Jędrzejewski-Szmek d66047
+        if (file_size > (uint64_t) f->last_stat.st_size) {
Zbigniew Jędrzejewski-Szmek d66047
+                if (file_size > new_size)
Zbigniew Jędrzejewski-Szmek d66047
+                        ftruncate(f->fd, file_size);
Zbigniew Jędrzejewski-Szmek d66047
+
Zbigniew Jędrzejewski-Szmek d66047
+                if (fstat(f->fd, &f->last_stat) < 0)
Zbigniew Jędrzejewski-Szmek d66047
+                        return -errno;
Zbigniew Jędrzejewski-Szmek d66047
+        }
Zbigniew Jędrzejewski-Szmek d66047
 
Zbigniew Jędrzejewski-Szmek d66047
         f->header->arena_size = htole64(new_size - le64toh(f->header->header_size));
Zbigniew Jędrzejewski-Szmek d66047