|
Zbigniew Jędrzejewski-Szmek |
d66047 |
From c0658e1948c301177b1527227be0c18932cd7cce Mon Sep 17 00:00:00 2001
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
From: Lennart Poettering <lennart@poettering.net>
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
Date: Tue, 26 Nov 2013 18:39:42 +0100
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
Subject: [PATCH] journal: when appending to journal file, allocate larger
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
blocks at once
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
(cherry picked from commit a676e66535e12458ea6d366a653f8dd60f982504)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
Conflicts:
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
src/journal/journal-file.c
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
---
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
src/journal/journal-file.c | 26 +++++++++++++++++---------
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
1 file changed, 17 insertions(+), 9 deletions(-)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
diff --git a/src/journal/journal-file.c b/src/journal/journal-file.c
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
index 425e38a..d1b8433 100644
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
--- a/src/journal/journal-file.c
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+++ b/src/journal/journal-file.c
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
@@ -68,6 +68,9 @@
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
/* How many entries to keep in the entry array chain cache at max */
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
#define CHAIN_CACHE_MAX 20
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+/* How much to increase the journal file size at once each time we allocate something new. */
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+#define FILE_SIZE_INCREASE (8ULL*1024ULL*1024ULL) /* 8MB */
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
int journal_file_set_online(JournalFile *f) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
assert(f);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
@@ -218,8 +221,7 @@ static int journal_file_refresh_header(JournalFile *f) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
journal_file_set_online(f);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
/* Sync the online state to disk */
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- msync(f->header, PAGE_ALIGN(sizeof(Header)), MS_SYNC);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- fdatasync(f->fd);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ fsync(f->fd);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
return 0;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
}
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
@@ -313,7 +315,7 @@ static int journal_file_verify_header(JournalFile *f) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
}
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
static int journal_file_allocate(JournalFile *f, uint64_t offset, uint64_t size) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- uint64_t old_size, new_size;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ uint64_t old_size, new_size, file_size;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
int r;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
assert(f);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
@@ -333,12 +335,10 @@ static int journal_file_allocate(JournalFile *f, uint64_t offset, uint64_t size)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
if (new_size <= old_size)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
return 0;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- if (f->metrics.max_size > 0 &&
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- new_size > f->metrics.max_size)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ if (f->metrics.max_size > 0 && new_size > f->metrics.max_size)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
return -E2BIG;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- if (new_size > f->metrics.min_size &&
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- f->metrics.keep_free > 0) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ if (new_size > f->metrics.min_size && f->metrics.keep_free > 0) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
struct statvfs svfs;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
if (fstatvfs(f->fd, &svfs) >= 0) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
@@ -363,8 +363,16 @@ static int journal_file_allocate(JournalFile *f, uint64_t offset, uint64_t size)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
if (r != 0)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
return -r;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- if (fstat(f->fd, &f->last_stat) < 0)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
- return -errno;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ /* Increase the file size a bit further than this, so that we
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ * we can create larger memory maps to cache */
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ file_size = ((new_size+FILE_SIZE_INCREASE-1) / FILE_SIZE_INCREASE) * FILE_SIZE_INCREASE;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ if (file_size > (uint64_t) f->last_stat.st_size) {
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ if (file_size > new_size)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ ftruncate(f->fd, file_size);
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ if (fstat(f->fd, &f->last_stat) < 0)
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ return -errno;
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
+ }
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
f->header->arena_size = htole64(new_size - le64toh(f->header->header_size));
|
|
Zbigniew Jędrzejewski-Szmek |
d66047 |
|