|
Kmods SIG |
63c143 |
From 3f3b442b5ad2455507c9bfdacf39a3792eb3a6d0 Mon Sep 17 00:00:00 2001
|
|
Kmods SIG |
63c143 |
From: Konstantin Komarov <almaz.alexandrovich@paragon-software.com>
|
|
Kmods SIG |
63c143 |
Date: Fri, 13 Aug 2021 17:21:29 +0300
|
|
Kmods SIG |
63c143 |
Subject: [Backport 3f3b442b5ad2] src: Add bitmap
|
|
Kmods SIG |
63c143 |
|
|
Kmods SIG |
63c143 |
This adds bitmap
|
|
Kmods SIG |
63c143 |
|
|
Kmods SIG |
63c143 |
Signed-off-by: Konstantin Komarov <almaz.alexandrovich@paragon-software.com>
|
|
Kmods SIG |
63c143 |
---
|
|
Kmods SIG |
63c143 |
src/bitfunc.c | 135 ++++
|
|
Kmods SIG |
63c143 |
src/bitmap.c | 1519 ++++++++++++++++++++++++++++++++++++++++++++
|
|
Kmods SIG |
63c143 |
2 files changed, 1654 insertions(+)
|
|
Kmods SIG |
63c143 |
create mode 100644 src/bitfunc.c
|
|
Kmods SIG |
63c143 |
create mode 100644 src/bitmap.c
|
|
Kmods SIG |
63c143 |
|
|
Kmods SIG |
63c143 |
diff --git a/src/bitfunc.c b/src/bitfunc.c
|
|
Kmods SIG |
63c143 |
new file mode 100644
|
|
Kmods SIG |
63c143 |
index 0000000000000000000000000000000000000000..2de5faef2721d5bac9caf7ff81adec167ae21dea
|
|
Kmods SIG |
63c143 |
--- /dev/null
|
|
Kmods SIG |
63c143 |
+++ b/src/bitfunc.c
|
|
Kmods SIG |
63c143 |
@@ -0,0 +1,135 @@
|
|
Kmods SIG |
63c143 |
+// SPDX-License-Identifier: GPL-2.0
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Copyright (C) 2019-2021 Paragon Software GmbH, All rights reserved.
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+#include <linux/blkdev.h>
|
|
Kmods SIG |
63c143 |
+#include <linux/buffer_head.h>
|
|
Kmods SIG |
63c143 |
+#include <linux/fs.h>
|
|
Kmods SIG |
63c143 |
+#include <linux/nls.h>
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+#include "debug.h"
|
|
Kmods SIG |
63c143 |
+#include "ntfs.h"
|
|
Kmods SIG |
63c143 |
+#include "ntfs_fs.h"
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+#define BITS_IN_SIZE_T (sizeof(size_t) * 8)
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * fill_mask[i] - first i bits are '1' , i = 0,1,2,3,4,5,6,7,8
|
|
Kmods SIG |
63c143 |
+ * fill_mask[i] = 0xFF >> (8-i)
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static const u8 fill_mask[] = { 0x00, 0x01, 0x03, 0x07, 0x0F,
|
|
Kmods SIG |
63c143 |
+ 0x1F, 0x3F, 0x7F, 0xFF };
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * zero_mask[i] - first i bits are '0' , i = 0,1,2,3,4,5,6,7,8
|
|
Kmods SIG |
63c143 |
+ * zero_mask[i] = 0xFF << i
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static const u8 zero_mask[] = { 0xFF, 0xFE, 0xFC, 0xF8, 0xF0,
|
|
Kmods SIG |
63c143 |
+ 0xE0, 0xC0, 0x80, 0x00 };
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * are_bits_clear
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Returns true if all bits [bit, bit+nbits) are zeros "0"
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+bool are_bits_clear(const ulong *lmap, size_t bit, size_t nbits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ size_t pos = bit & 7;
|
|
Kmods SIG |
63c143 |
+ const u8 *map = (u8 *)lmap + (bit >> 3);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (pos) {
|
|
Kmods SIG |
63c143 |
+ if (8 - pos >= nbits)
|
|
Kmods SIG |
63c143 |
+ return !nbits || !(*map & fill_mask[pos + nbits] &
|
|
Kmods SIG |
63c143 |
+ zero_mask[pos]);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (*map++ & zero_mask[pos])
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ nbits -= 8 - pos;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ pos = ((size_t)map) & (sizeof(size_t) - 1);
|
|
Kmods SIG |
63c143 |
+ if (pos) {
|
|
Kmods SIG |
63c143 |
+ pos = sizeof(size_t) - pos;
|
|
Kmods SIG |
63c143 |
+ if (nbits >= pos * 8) {
|
|
Kmods SIG |
63c143 |
+ for (nbits -= pos * 8; pos; pos--, map++) {
|
|
Kmods SIG |
63c143 |
+ if (*map)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (pos = nbits / BITS_IN_SIZE_T; pos; pos--, map += sizeof(size_t)) {
|
|
Kmods SIG |
63c143 |
+ if (*((size_t *)map))
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (pos = (nbits % BITS_IN_SIZE_T) >> 3; pos; pos--, map++) {
|
|
Kmods SIG |
63c143 |
+ if (*map)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ pos = nbits & 7;
|
|
Kmods SIG |
63c143 |
+ if (pos && (*map & fill_mask[pos]))
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ // All bits are zero
|
|
Kmods SIG |
63c143 |
+ return true;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * are_bits_set
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Returns true if all bits [bit, bit+nbits) are ones "1"
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+bool are_bits_set(const ulong *lmap, size_t bit, size_t nbits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ u8 mask;
|
|
Kmods SIG |
63c143 |
+ size_t pos = bit & 7;
|
|
Kmods SIG |
63c143 |
+ const u8 *map = (u8 *)lmap + (bit >> 3);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (pos) {
|
|
Kmods SIG |
63c143 |
+ if (8 - pos >= nbits) {
|
|
Kmods SIG |
63c143 |
+ mask = fill_mask[pos + nbits] & zero_mask[pos];
|
|
Kmods SIG |
63c143 |
+ return !nbits || (*map & mask) == mask;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ mask = zero_mask[pos];
|
|
Kmods SIG |
63c143 |
+ if ((*map++ & mask) != mask)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ nbits -= 8 - pos;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ pos = ((size_t)map) & (sizeof(size_t) - 1);
|
|
Kmods SIG |
63c143 |
+ if (pos) {
|
|
Kmods SIG |
63c143 |
+ pos = sizeof(size_t) - pos;
|
|
Kmods SIG |
63c143 |
+ if (nbits >= pos * 8) {
|
|
Kmods SIG |
63c143 |
+ for (nbits -= pos * 8; pos; pos--, map++) {
|
|
Kmods SIG |
63c143 |
+ if (*map != 0xFF)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (pos = nbits / BITS_IN_SIZE_T; pos; pos--, map += sizeof(size_t)) {
|
|
Kmods SIG |
63c143 |
+ if (*((size_t *)map) != MINUS_ONE_T)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (pos = (nbits % BITS_IN_SIZE_T) >> 3; pos; pos--, map++) {
|
|
Kmods SIG |
63c143 |
+ if (*map != 0xFF)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ pos = nbits & 7;
|
|
Kmods SIG |
63c143 |
+ if (pos) {
|
|
Kmods SIG |
63c143 |
+ u8 mask = fill_mask[pos];
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if ((*map & mask) != mask)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ // All bits are ones
|
|
Kmods SIG |
63c143 |
+ return true;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
diff --git a/src/bitmap.c b/src/bitmap.c
|
|
Kmods SIG |
63c143 |
new file mode 100644
|
|
Kmods SIG |
63c143 |
index 0000000000000000000000000000000000000000..32aab0031221db3ee67b09c239b960158370d238
|
|
Kmods SIG |
63c143 |
--- /dev/null
|
|
Kmods SIG |
63c143 |
+++ b/src/bitmap.c
|
|
Kmods SIG |
63c143 |
@@ -0,0 +1,1519 @@
|
|
Kmods SIG |
63c143 |
+// SPDX-License-Identifier: GPL-2.0
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Copyright (C) 2019-2021 Paragon Software GmbH, All rights reserved.
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * This code builds two trees of free clusters extents.
|
|
Kmods SIG |
63c143 |
+ * Trees are sorted by start of extent and by length of extent.
|
|
Kmods SIG |
63c143 |
+ * NTFS_MAX_WND_EXTENTS defines the maximum number of elements in trees.
|
|
Kmods SIG |
63c143 |
+ * In extreme case code reads on-disk bitmap to find free clusters
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+#include <linux/blkdev.h>
|
|
Kmods SIG |
63c143 |
+#include <linux/buffer_head.h>
|
|
Kmods SIG |
63c143 |
+#include <linux/fs.h>
|
|
Kmods SIG |
63c143 |
+#include <linux/nls.h>
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+#include "debug.h"
|
|
Kmods SIG |
63c143 |
+#include "ntfs.h"
|
|
Kmods SIG |
63c143 |
+#include "ntfs_fs.h"
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * Maximum number of extents in tree.
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+#define NTFS_MAX_WND_EXTENTS (32u * 1024u)
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+struct rb_node_key {
|
|
Kmods SIG |
63c143 |
+ struct rb_node node;
|
|
Kmods SIG |
63c143 |
+ size_t key;
|
|
Kmods SIG |
63c143 |
+};
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * Tree is sorted by start (key)
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+struct e_node {
|
|
Kmods SIG |
63c143 |
+ struct rb_node_key start; /* Tree sorted by start */
|
|
Kmods SIG |
63c143 |
+ struct rb_node_key count; /* Tree sorted by len*/
|
|
Kmods SIG |
63c143 |
+};
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+static int wnd_rescan(struct wnd_bitmap *wnd);
|
|
Kmods SIG |
63c143 |
+static struct buffer_head *wnd_map(struct wnd_bitmap *wnd, size_t iw);
|
|
Kmods SIG |
63c143 |
+static bool wnd_is_free_hlp(struct wnd_bitmap *wnd, size_t bit, size_t bits);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+static struct kmem_cache *ntfs_enode_cachep;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+int __init ntfs3_init_bitmap(void)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ ntfs_enode_cachep =
|
|
Kmods SIG |
63c143 |
+ kmem_cache_create("ntfs3_enode_cache", sizeof(struct e_node), 0,
|
|
Kmods SIG |
63c143 |
+ SLAB_RECLAIM_ACCOUNT, NULL);
|
|
Kmods SIG |
63c143 |
+ return ntfs_enode_cachep ? 0 : -ENOMEM;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+void ntfs3_exit_bitmap(void)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ kmem_cache_destroy(ntfs_enode_cachep);
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+static inline u32 wnd_bits(const struct wnd_bitmap *wnd, size_t i)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ return i + 1 == wnd->nwnd ? wnd->bits_last : wnd->sb->s_blocksize * 8;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * b_pos + b_len - biggest fragment
|
|
Kmods SIG |
63c143 |
+ * Scan range [wpos wbits) window 'buf'
|
|
Kmods SIG |
63c143 |
+ * Returns -1 if not found
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static size_t wnd_scan(const ulong *buf, size_t wbit, u32 wpos, u32 wend,
|
|
Kmods SIG |
63c143 |
+ size_t to_alloc, size_t *prev_tail, size_t *b_pos,
|
|
Kmods SIG |
63c143 |
+ size_t *b_len)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ while (wpos < wend) {
|
|
Kmods SIG |
63c143 |
+ size_t free_len;
|
|
Kmods SIG |
63c143 |
+ u32 free_bits, end;
|
|
Kmods SIG |
63c143 |
+ u32 used = find_next_zero_bit(buf, wend, wpos);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (used >= wend) {
|
|
Kmods SIG |
63c143 |
+ if (*b_len < *prev_tail) {
|
|
Kmods SIG |
63c143 |
+ *b_pos = wbit - *prev_tail;
|
|
Kmods SIG |
63c143 |
+ *b_len = *prev_tail;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ *prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ return -1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (used > wpos) {
|
|
Kmods SIG |
63c143 |
+ wpos = used;
|
|
Kmods SIG |
63c143 |
+ if (*b_len < *prev_tail) {
|
|
Kmods SIG |
63c143 |
+ *b_pos = wbit - *prev_tail;
|
|
Kmods SIG |
63c143 |
+ *b_len = *prev_tail;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ *prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /*
|
|
Kmods SIG |
63c143 |
+ * Now we have a fragment [wpos, wend) staring with 0
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+ end = wpos + to_alloc - *prev_tail;
|
|
Kmods SIG |
63c143 |
+ free_bits = find_next_bit(buf, min(end, wend), wpos);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ free_len = *prev_tail + free_bits - wpos;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (*b_len < free_len) {
|
|
Kmods SIG |
63c143 |
+ *b_pos = wbit + wpos - *prev_tail;
|
|
Kmods SIG |
63c143 |
+ *b_len = free_len;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (free_len >= to_alloc)
|
|
Kmods SIG |
63c143 |
+ return wbit + wpos - *prev_tail;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (free_bits >= wend) {
|
|
Kmods SIG |
63c143 |
+ *prev_tail += free_bits - wpos;
|
|
Kmods SIG |
63c143 |
+ return -1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wpos = free_bits + 1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ *prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return -1;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_close
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Frees all resources
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+void wnd_close(struct wnd_bitmap *wnd)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct rb_node *node, *next;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ ntfs_free(wnd->free_bits);
|
|
Kmods SIG |
63c143 |
+ run_close(&wnd->run);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ node = rb_first(&wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (node) {
|
|
Kmods SIG |
63c143 |
+ next = rb_next(node);
|
|
Kmods SIG |
63c143 |
+ rb_erase(node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ kmem_cache_free(ntfs_enode_cachep,
|
|
Kmods SIG |
63c143 |
+ rb_entry(node, struct e_node, start.node));
|
|
Kmods SIG |
63c143 |
+ node = next;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+static struct rb_node *rb_lookup(struct rb_root *root, size_t v)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct rb_node **p = &root->rb_node;
|
|
Kmods SIG |
63c143 |
+ struct rb_node *r = NULL;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (*p) {
|
|
Kmods SIG |
63c143 |
+ struct rb_node_key *k;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ k = rb_entry(*p, struct rb_node_key, node);
|
|
Kmods SIG |
63c143 |
+ if (v < k->key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_left;
|
|
Kmods SIG |
63c143 |
+ } else if (v > k->key) {
|
|
Kmods SIG |
63c143 |
+ r = &k->node;
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_right;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ return &k->node;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return r;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * rb_insert_count
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Helper function to insert special kind of 'count' tree
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static inline bool rb_insert_count(struct rb_root *root, struct e_node *e)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct rb_node **p = &root->rb_node;
|
|
Kmods SIG |
63c143 |
+ struct rb_node *parent = NULL;
|
|
Kmods SIG |
63c143 |
+ size_t e_ckey = e->count.key;
|
|
Kmods SIG |
63c143 |
+ size_t e_skey = e->start.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (*p) {
|
|
Kmods SIG |
63c143 |
+ struct e_node *k =
|
|
Kmods SIG |
63c143 |
+ rb_entry(parent = *p, struct e_node, count.node);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e_ckey > k->count.key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_left;
|
|
Kmods SIG |
63c143 |
+ } else if (e_ckey < k->count.key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_right;
|
|
Kmods SIG |
63c143 |
+ } else if (e_skey < k->start.key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_left;
|
|
Kmods SIG |
63c143 |
+ } else if (e_skey > k->start.key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_right;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ WARN_ON(1);
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ rb_link_node(&e->count.node, parent, p);
|
|
Kmods SIG |
63c143 |
+ rb_insert_color(&e->count.node, root);
|
|
Kmods SIG |
63c143 |
+ return true;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * inline bool rb_insert_start
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Helper function to insert special kind of 'start' tree
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static inline bool rb_insert_start(struct rb_root *root, struct e_node *e)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct rb_node **p = &root->rb_node;
|
|
Kmods SIG |
63c143 |
+ struct rb_node *parent = NULL;
|
|
Kmods SIG |
63c143 |
+ size_t e_skey = e->start.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (*p) {
|
|
Kmods SIG |
63c143 |
+ struct e_node *k;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ parent = *p;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ k = rb_entry(parent, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+ if (e_skey < k->start.key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_left;
|
|
Kmods SIG |
63c143 |
+ } else if (e_skey > k->start.key) {
|
|
Kmods SIG |
63c143 |
+ p = &(*p)->rb_right;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ WARN_ON(1);
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ rb_link_node(&e->start.node, parent, p);
|
|
Kmods SIG |
63c143 |
+ rb_insert_color(&e->start.node, root);
|
|
Kmods SIG |
63c143 |
+ return true;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_add_free_ext
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * adds a new extent of free space
|
|
Kmods SIG |
63c143 |
+ * build = 1 when building tree
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static void wnd_add_free_ext(struct wnd_bitmap *wnd, size_t bit, size_t len,
|
|
Kmods SIG |
63c143 |
+ bool build)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct e_node *e, *e0 = NULL;
|
|
Kmods SIG |
63c143 |
+ size_t ib, end_in = bit + len;
|
|
Kmods SIG |
63c143 |
+ struct rb_node *n;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (build) {
|
|
Kmods SIG |
63c143 |
+ /* Use extent_min to filter too short extents */
|
|
Kmods SIG |
63c143 |
+ if (wnd->count >= NTFS_MAX_WND_EXTENTS &&
|
|
Kmods SIG |
63c143 |
+ len <= wnd->extent_min) {
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = -1;
|
|
Kmods SIG |
63c143 |
+ return;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ /* Try to find extent before 'bit' */
|
|
Kmods SIG |
63c143 |
+ n = rb_lookup(&wnd->start_tree, bit);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!n) {
|
|
Kmods SIG |
63c143 |
+ n = rb_first(&wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(n, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+ n = rb_next(n);
|
|
Kmods SIG |
63c143 |
+ if (e->start.key + e->count.key == bit) {
|
|
Kmods SIG |
63c143 |
+ /* Remove left */
|
|
Kmods SIG |
63c143 |
+ bit = e->start.key;
|
|
Kmods SIG |
63c143 |
+ len += e->count.key;
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->start.node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->count -= 1;
|
|
Kmods SIG |
63c143 |
+ e0 = e;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (n) {
|
|
Kmods SIG |
63c143 |
+ size_t next_end;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(n, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+ next_end = e->start.key + e->count.key;
|
|
Kmods SIG |
63c143 |
+ if (e->start.key > end_in)
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Remove right */
|
|
Kmods SIG |
63c143 |
+ n = rb_next(n);
|
|
Kmods SIG |
63c143 |
+ len += next_end - end_in;
|
|
Kmods SIG |
63c143 |
+ end_in = next_end;
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->start.node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->count -= 1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!e0)
|
|
Kmods SIG |
63c143 |
+ e0 = e;
|
|
Kmods SIG |
63c143 |
+ else
|
|
Kmods SIG |
63c143 |
+ kmem_cache_free(ntfs_enode_cachep, e);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->uptodated != 1) {
|
|
Kmods SIG |
63c143 |
+ /* Check bits before 'bit' */
|
|
Kmods SIG |
63c143 |
+ ib = wnd->zone_bit == wnd->zone_end ||
|
|
Kmods SIG |
63c143 |
+ bit < wnd->zone_end
|
|
Kmods SIG |
63c143 |
+ ? 0
|
|
Kmods SIG |
63c143 |
+ : wnd->zone_end;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (bit > ib && wnd_is_free_hlp(wnd, bit - 1, 1)) {
|
|
Kmods SIG |
63c143 |
+ bit -= 1;
|
|
Kmods SIG |
63c143 |
+ len += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Check bits after 'end_in' */
|
|
Kmods SIG |
63c143 |
+ ib = wnd->zone_bit == wnd->zone_end ||
|
|
Kmods SIG |
63c143 |
+ end_in > wnd->zone_bit
|
|
Kmods SIG |
63c143 |
+ ? wnd->nbits
|
|
Kmods SIG |
63c143 |
+ : wnd->zone_bit;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (end_in < ib && wnd_is_free_hlp(wnd, end_in, 1)) {
|
|
Kmods SIG |
63c143 |
+ end_in += 1;
|
|
Kmods SIG |
63c143 |
+ len += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ /* Insert new fragment */
|
|
Kmods SIG |
63c143 |
+ if (wnd->count >= NTFS_MAX_WND_EXTENTS) {
|
|
Kmods SIG |
63c143 |
+ if (e0)
|
|
Kmods SIG |
63c143 |
+ kmem_cache_free(ntfs_enode_cachep, e0);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = -1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Compare with smallest fragment */
|
|
Kmods SIG |
63c143 |
+ n = rb_last(&wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(n, struct e_node, count.node);
|
|
Kmods SIG |
63c143 |
+ if (len <= e->count.key)
|
|
Kmods SIG |
63c143 |
+ goto out; /* Do not insert small fragments */
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (build) {
|
|
Kmods SIG |
63c143 |
+ struct e_node *e2;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ n = rb_prev(n);
|
|
Kmods SIG |
63c143 |
+ e2 = rb_entry(n, struct e_node, count.node);
|
|
Kmods SIG |
63c143 |
+ /* smallest fragment will be 'e2->count.key' */
|
|
Kmods SIG |
63c143 |
+ wnd->extent_min = e2->count.key;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Replace smallest fragment by new one */
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->start.node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->count -= 1;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ e = e0 ? e0 : kmem_cache_alloc(ntfs_enode_cachep, GFP_ATOMIC);
|
|
Kmods SIG |
63c143 |
+ if (!e) {
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = -1;
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (build && len <= wnd->extent_min)
|
|
Kmods SIG |
63c143 |
+ wnd->extent_min = len;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ e->start.key = bit;
|
|
Kmods SIG |
63c143 |
+ e->count.key = len;
|
|
Kmods SIG |
63c143 |
+ if (len > wnd->extent_max)
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = len;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ rb_insert_start(&wnd->start_tree, e);
|
|
Kmods SIG |
63c143 |
+ rb_insert_count(&wnd->count_tree, e);
|
|
Kmods SIG |
63c143 |
+ wnd->count += 1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+out:;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_remove_free_ext
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * removes a run from the cached free space
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static void wnd_remove_free_ext(struct wnd_bitmap *wnd, size_t bit, size_t len)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct rb_node *n, *n3;
|
|
Kmods SIG |
63c143 |
+ struct e_node *e, *e3;
|
|
Kmods SIG |
63c143 |
+ size_t end_in = bit + len;
|
|
Kmods SIG |
63c143 |
+ size_t end3, end, new_key, new_len, max_new_len;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Try to find extent before 'bit' */
|
|
Kmods SIG |
63c143 |
+ n = rb_lookup(&wnd->start_tree, bit);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!n)
|
|
Kmods SIG |
63c143 |
+ return;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(n, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+ end = e->start.key + e->count.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ new_key = new_len = 0;
|
|
Kmods SIG |
63c143 |
+ len = e->count.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Range [bit,end_in) must be inside 'e' or outside 'e' and 'n' */
|
|
Kmods SIG |
63c143 |
+ if (e->start.key > bit)
|
|
Kmods SIG |
63c143 |
+ ;
|
|
Kmods SIG |
63c143 |
+ else if (end_in <= end) {
|
|
Kmods SIG |
63c143 |
+ /* Range [bit,end_in) inside 'e' */
|
|
Kmods SIG |
63c143 |
+ new_key = end_in;
|
|
Kmods SIG |
63c143 |
+ new_len = end - end_in;
|
|
Kmods SIG |
63c143 |
+ len = bit - e->start.key;
|
|
Kmods SIG |
63c143 |
+ } else if (bit > end) {
|
|
Kmods SIG |
63c143 |
+ bool bmax = false;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ n3 = rb_next(n);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (n3) {
|
|
Kmods SIG |
63c143 |
+ e3 = rb_entry(n3, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+ if (e3->start.key >= end_in)
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e3->count.key == wnd->extent_max)
|
|
Kmods SIG |
63c143 |
+ bmax = true;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ end3 = e3->start.key + e3->count.key;
|
|
Kmods SIG |
63c143 |
+ if (end3 > end_in) {
|
|
Kmods SIG |
63c143 |
+ e3->start.key = end_in;
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e3->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ e3->count.key = end3 - end_in;
|
|
Kmods SIG |
63c143 |
+ rb_insert_count(&wnd->count_tree, e3);
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ n3 = rb_next(n3);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e3->start.node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e3->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->count -= 1;
|
|
Kmods SIG |
63c143 |
+ kmem_cache_free(ntfs_enode_cachep, e3);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ if (!bmax)
|
|
Kmods SIG |
63c143 |
+ return;
|
|
Kmods SIG |
63c143 |
+ n3 = rb_first(&wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max =
|
|
Kmods SIG |
63c143 |
+ n3 ? rb_entry(n3, struct e_node, count.node)->count.key
|
|
Kmods SIG |
63c143 |
+ : 0;
|
|
Kmods SIG |
63c143 |
+ return;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e->count.key != wnd->extent_max) {
|
|
Kmods SIG |
63c143 |
+ ;
|
|
Kmods SIG |
63c143 |
+ } else if (rb_prev(&e->count.node)) {
|
|
Kmods SIG |
63c143 |
+ ;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ n3 = rb_next(&e->count.node);
|
|
Kmods SIG |
63c143 |
+ max_new_len = len > new_len ? len : new_len;
|
|
Kmods SIG |
63c143 |
+ if (!n3) {
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = max_new_len;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ e3 = rb_entry(n3, struct e_node, count.node);
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = max(e3->count.key, max_new_len);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!len) {
|
|
Kmods SIG |
63c143 |
+ if (new_len) {
|
|
Kmods SIG |
63c143 |
+ e->start.key = new_key;
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ e->count.key = new_len;
|
|
Kmods SIG |
63c143 |
+ rb_insert_count(&wnd->count_tree, e);
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->start.node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->count -= 1;
|
|
Kmods SIG |
63c143 |
+ kmem_cache_free(ntfs_enode_cachep, e);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ e->count.key = len;
|
|
Kmods SIG |
63c143 |
+ rb_insert_count(&wnd->count_tree, e);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!new_len)
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->count >= NTFS_MAX_WND_EXTENTS) {
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = -1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Get minimal extent */
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(rb_last(&wnd->count_tree), struct e_node,
|
|
Kmods SIG |
63c143 |
+ count.node);
|
|
Kmods SIG |
63c143 |
+ if (e->count.key > new_len)
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Replace minimum */
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->start.node, &wnd->start_tree);
|
|
Kmods SIG |
63c143 |
+ rb_erase(&e->count.node, &wnd->count_tree);
|
|
Kmods SIG |
63c143 |
+ wnd->count -= 1;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ e = kmem_cache_alloc(ntfs_enode_cachep, GFP_ATOMIC);
|
|
Kmods SIG |
63c143 |
+ if (!e)
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = -1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e) {
|
|
Kmods SIG |
63c143 |
+ e->start.key = new_key;
|
|
Kmods SIG |
63c143 |
+ e->count.key = new_len;
|
|
Kmods SIG |
63c143 |
+ rb_insert_start(&wnd->start_tree, e);
|
|
Kmods SIG |
63c143 |
+ rb_insert_count(&wnd->count_tree, e);
|
|
Kmods SIG |
63c143 |
+ wnd->count += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+out:
|
|
Kmods SIG |
63c143 |
+ if (!wnd->count && 1 != wnd->uptodated)
|
|
Kmods SIG |
63c143 |
+ wnd_rescan(wnd);
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_rescan
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Scan all bitmap. used while initialization.
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static int wnd_rescan(struct wnd_bitmap *wnd)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ int err = 0;
|
|
Kmods SIG |
63c143 |
+ size_t prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ struct ntfs_sb_info *sbi = sb->s_fs_info;
|
|
Kmods SIG |
63c143 |
+ u64 lbo, len = 0;
|
|
Kmods SIG |
63c143 |
+ u32 blocksize = sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u8 cluster_bits = sbi->cluster_bits;
|
|
Kmods SIG |
63c143 |
+ u32 wbits = 8 * sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u32 used, frb;
|
|
Kmods SIG |
63c143 |
+ const ulong *buf;
|
|
Kmods SIG |
63c143 |
+ size_t wpos, wbit, iw, vbo;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh = NULL;
|
|
Kmods SIG |
63c143 |
+ CLST lcn, clen;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = 0;
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = 0;
|
|
Kmods SIG |
63c143 |
+ wnd->extent_min = MINUS_ONE_T;
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes = 0;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ vbo = 0;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (iw = 0; iw < wnd->nwnd; iw++) {
|
|
Kmods SIG |
63c143 |
+ if (iw + 1 == wnd->nwnd)
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->inited) {
|
|
Kmods SIG |
63c143 |
+ if (!wnd->free_bits[iw]) {
|
|
Kmods SIG |
63c143 |
+ /* all ones */
|
|
Kmods SIG |
63c143 |
+ if (prev_tail) {
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd,
|
|
Kmods SIG |
63c143 |
+ vbo * 8 - prev_tail,
|
|
Kmods SIG |
63c143 |
+ prev_tail, true);
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ goto next_wnd;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ if (wbits == wnd->free_bits[iw]) {
|
|
Kmods SIG |
63c143 |
+ /* all zeroes */
|
|
Kmods SIG |
63c143 |
+ prev_tail += wbits;
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes += wbits;
|
|
Kmods SIG |
63c143 |
+ goto next_wnd;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!len) {
|
|
Kmods SIG |
63c143 |
+ u32 off = vbo & sbi->cluster_mask;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!run_lookup_entry(&wnd->run, vbo >> cluster_bits,
|
|
Kmods SIG |
63c143 |
+ &lcn, &clen, NULL)) {
|
|
Kmods SIG |
63c143 |
+ err = -ENOENT;
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ lbo = ((u64)lcn << cluster_bits) + off;
|
|
Kmods SIG |
63c143 |
+ len = ((u64)clen << cluster_bits) - off;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bh = ntfs_bread(sb, lbo >> sb->s_blocksize_bits);
|
|
Kmods SIG |
63c143 |
+ if (!bh) {
|
|
Kmods SIG |
63c143 |
+ err = -EIO;
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ used = __bitmap_weight(buf, wbits);
|
|
Kmods SIG |
63c143 |
+ if (used < wbits) {
|
|
Kmods SIG |
63c143 |
+ frb = wbits - used;
|
|
Kmods SIG |
63c143 |
+ wnd->free_bits[iw] = frb;
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes += frb;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ wbit = vbo * 8;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wbit + wbits > wnd->nbits)
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->nbits - wbit;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ do {
|
|
Kmods SIG |
63c143 |
+ used = find_next_zero_bit(buf, wbits, wpos);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (used > wpos && prev_tail) {
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd, wbit + wpos - prev_tail,
|
|
Kmods SIG |
63c143 |
+ prev_tail, true);
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wpos = used;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wpos >= wbits) {
|
|
Kmods SIG |
63c143 |
+ /* No free blocks */
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ frb = find_next_bit(buf, wbits, wpos);
|
|
Kmods SIG |
63c143 |
+ if (frb >= wbits) {
|
|
Kmods SIG |
63c143 |
+ /* keep last free block */
|
|
Kmods SIG |
63c143 |
+ prev_tail += frb - wpos;
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd, wbit + wpos - prev_tail,
|
|
Kmods SIG |
63c143 |
+ frb + prev_tail - wpos, true);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Skip free block and first '1' */
|
|
Kmods SIG |
63c143 |
+ wpos = frb + 1;
|
|
Kmods SIG |
63c143 |
+ /* Reset previous tail */
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ } while (wpos < wbits);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+next_wnd:
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (bh)
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ bh = NULL;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ vbo += blocksize;
|
|
Kmods SIG |
63c143 |
+ if (len) {
|
|
Kmods SIG |
63c143 |
+ len -= blocksize;
|
|
Kmods SIG |
63c143 |
+ lbo += blocksize;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Add last block */
|
|
Kmods SIG |
63c143 |
+ if (prev_tail)
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd, wnd->nbits - prev_tail, prev_tail, true);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /*
|
|
Kmods SIG |
63c143 |
+ * Before init cycle wnd->uptodated was 0
|
|
Kmods SIG |
63c143 |
+ * If any errors or limits occurs while initialization then
|
|
Kmods SIG |
63c143 |
+ * wnd->uptodated will be -1
|
|
Kmods SIG |
63c143 |
+ * If 'uptodated' is still 0 then Tree is really updated
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+ if (!wnd->uptodated)
|
|
Kmods SIG |
63c143 |
+ wnd->uptodated = 1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->zone_bit != wnd->zone_end) {
|
|
Kmods SIG |
63c143 |
+ size_t zlen = wnd->zone_end - wnd->zone_bit;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->zone_end = wnd->zone_bit;
|
|
Kmods SIG |
63c143 |
+ wnd_zone_set(wnd, wnd->zone_bit, zlen);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+out:
|
|
Kmods SIG |
63c143 |
+ return err;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_init
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+int wnd_init(struct wnd_bitmap *wnd, struct super_block *sb, size_t nbits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ int err;
|
|
Kmods SIG |
63c143 |
+ u32 blocksize = sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u32 wbits = blocksize * 8;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ init_rwsem(&wnd->rw_lock);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->sb = sb;
|
|
Kmods SIG |
63c143 |
+ wnd->nbits = nbits;
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes = nbits;
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = MINUS_ONE_T;
|
|
Kmods SIG |
63c143 |
+ wnd->zone_bit = wnd->zone_end = 0;
|
|
Kmods SIG |
63c143 |
+ wnd->nwnd = bytes_to_block(sb, bitmap_size(nbits));
|
|
Kmods SIG |
63c143 |
+ wnd->bits_last = nbits & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ if (!wnd->bits_last)
|
|
Kmods SIG |
63c143 |
+ wnd->bits_last = wbits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->free_bits = ntfs_zalloc(wnd->nwnd * sizeof(u16));
|
|
Kmods SIG |
63c143 |
+ if (!wnd->free_bits)
|
|
Kmods SIG |
63c143 |
+ return -ENOMEM;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ err = wnd_rescan(wnd);
|
|
Kmods SIG |
63c143 |
+ if (err)
|
|
Kmods SIG |
63c143 |
+ return err;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->inited = true;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return 0;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_map
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * call sb_bread for requested window
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static struct buffer_head *wnd_map(struct wnd_bitmap *wnd, size_t iw)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ size_t vbo;
|
|
Kmods SIG |
63c143 |
+ CLST lcn, clen;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ struct ntfs_sb_info *sbi;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh;
|
|
Kmods SIG |
63c143 |
+ u64 lbo;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ sbi = sb->s_fs_info;
|
|
Kmods SIG |
63c143 |
+ vbo = (u64)iw << sb->s_blocksize_bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!run_lookup_entry(&wnd->run, vbo >> sbi->cluster_bits, &lcn, &clen,
|
|
Kmods SIG |
63c143 |
+ NULL)) {
|
|
Kmods SIG |
63c143 |
+ return ERR_PTR(-ENOENT);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ lbo = ((u64)lcn << sbi->cluster_bits) + (vbo & sbi->cluster_mask);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bh = ntfs_bread(wnd->sb, lbo >> sb->s_blocksize_bits);
|
|
Kmods SIG |
63c143 |
+ if (!bh)
|
|
Kmods SIG |
63c143 |
+ return ERR_PTR(-EIO);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return bh;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_set_free
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Marks the bits range from bit to bit + bits as free
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+int wnd_set_free(struct wnd_bitmap *wnd, size_t bit, size_t bits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ int err = 0;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ size_t bits0 = bits;
|
|
Kmods SIG |
63c143 |
+ u32 wbits = 8 * sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ size_t iw = bit >> (sb->s_blocksize_bits + 3);
|
|
Kmods SIG |
63c143 |
+ u32 wbit = bit & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (iw < wnd->nwnd && bits) {
|
|
Kmods SIG |
63c143 |
+ u32 tail, op;
|
|
Kmods SIG |
63c143 |
+ ulong *buf;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (iw + 1 == wnd->nwnd)
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ tail = wbits - wbit;
|
|
Kmods SIG |
63c143 |
+ op = tail < bits ? tail : bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh)) {
|
|
Kmods SIG |
63c143 |
+ err = PTR_ERR(bh);
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ lock_buffer(bh);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ __bitmap_clear(buf, wbit, op);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->free_bits[iw] += op;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ set_buffer_uptodate(bh);
|
|
Kmods SIG |
63c143 |
+ mark_buffer_dirty(bh);
|
|
Kmods SIG |
63c143 |
+ unlock_buffer(bh);
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes += op;
|
|
Kmods SIG |
63c143 |
+ bits -= op;
|
|
Kmods SIG |
63c143 |
+ wbit = 0;
|
|
Kmods SIG |
63c143 |
+ iw += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd, bit, bits0, false);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return err;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_set_used
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Marks the bits range from bit to bit + bits as used
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+int wnd_set_used(struct wnd_bitmap *wnd, size_t bit, size_t bits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ int err = 0;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ size_t bits0 = bits;
|
|
Kmods SIG |
63c143 |
+ size_t iw = bit >> (sb->s_blocksize_bits + 3);
|
|
Kmods SIG |
63c143 |
+ u32 wbits = 8 * sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u32 wbit = bit & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (iw < wnd->nwnd && bits) {
|
|
Kmods SIG |
63c143 |
+ u32 tail, op;
|
|
Kmods SIG |
63c143 |
+ ulong *buf;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (unlikely(iw + 1 == wnd->nwnd))
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ tail = wbits - wbit;
|
|
Kmods SIG |
63c143 |
+ op = tail < bits ? tail : bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh)) {
|
|
Kmods SIG |
63c143 |
+ err = PTR_ERR(bh);
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ lock_buffer(bh);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ __bitmap_set(buf, wbit, op);
|
|
Kmods SIG |
63c143 |
+ wnd->free_bits[iw] -= op;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ set_buffer_uptodate(bh);
|
|
Kmods SIG |
63c143 |
+ mark_buffer_dirty(bh);
|
|
Kmods SIG |
63c143 |
+ unlock_buffer(bh);
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes -= op;
|
|
Kmods SIG |
63c143 |
+ bits -= op;
|
|
Kmods SIG |
63c143 |
+ wbit = 0;
|
|
Kmods SIG |
63c143 |
+ iw += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!RB_EMPTY_ROOT(&wnd->start_tree))
|
|
Kmods SIG |
63c143 |
+ wnd_remove_free_ext(wnd, bit, bits0);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return err;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_is_free_hlp
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Returns true if all clusters [bit, bit+bits) are free (bitmap only)
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+static bool wnd_is_free_hlp(struct wnd_bitmap *wnd, size_t bit, size_t bits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ size_t iw = bit >> (sb->s_blocksize_bits + 3);
|
|
Kmods SIG |
63c143 |
+ u32 wbits = 8 * sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u32 wbit = bit & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ while (iw < wnd->nwnd && bits) {
|
|
Kmods SIG |
63c143 |
+ u32 tail, op;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (unlikely(iw + 1 == wnd->nwnd))
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ tail = wbits - wbit;
|
|
Kmods SIG |
63c143 |
+ op = tail < bits ? tail : bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wbits != wnd->free_bits[iw]) {
|
|
Kmods SIG |
63c143 |
+ bool ret;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh))
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ ret = are_bits_clear((ulong *)bh->b_data, wbit, op);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ if (!ret)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bits -= op;
|
|
Kmods SIG |
63c143 |
+ wbit = 0;
|
|
Kmods SIG |
63c143 |
+ iw += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return true;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_is_free
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Returns true if all clusters [bit, bit+bits) are free
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+bool wnd_is_free(struct wnd_bitmap *wnd, size_t bit, size_t bits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ bool ret;
|
|
Kmods SIG |
63c143 |
+ struct rb_node *n;
|
|
Kmods SIG |
63c143 |
+ size_t end;
|
|
Kmods SIG |
63c143 |
+ struct e_node *e;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (RB_EMPTY_ROOT(&wnd->start_tree))
|
|
Kmods SIG |
63c143 |
+ goto use_wnd;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ n = rb_lookup(&wnd->start_tree, bit);
|
|
Kmods SIG |
63c143 |
+ if (!n)
|
|
Kmods SIG |
63c143 |
+ goto use_wnd;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(n, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ end = e->start.key + e->count.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (bit < end && bit + bits <= end)
|
|
Kmods SIG |
63c143 |
+ return true;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+use_wnd:
|
|
Kmods SIG |
63c143 |
+ ret = wnd_is_free_hlp(wnd, bit, bits);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return ret;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_is_used
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Returns true if all clusters [bit, bit+bits) are used
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+bool wnd_is_used(struct wnd_bitmap *wnd, size_t bit, size_t bits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ bool ret = false;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ size_t iw = bit >> (sb->s_blocksize_bits + 3);
|
|
Kmods SIG |
63c143 |
+ u32 wbits = 8 * sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u32 wbit = bit & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ size_t end;
|
|
Kmods SIG |
63c143 |
+ struct rb_node *n;
|
|
Kmods SIG |
63c143 |
+ struct e_node *e;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (RB_EMPTY_ROOT(&wnd->start_tree))
|
|
Kmods SIG |
63c143 |
+ goto use_wnd;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ end = bit + bits;
|
|
Kmods SIG |
63c143 |
+ n = rb_lookup(&wnd->start_tree, end - 1);
|
|
Kmods SIG |
63c143 |
+ if (!n)
|
|
Kmods SIG |
63c143 |
+ goto use_wnd;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(n, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+ if (e->start.key + e->count.key > bit)
|
|
Kmods SIG |
63c143 |
+ return false;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+use_wnd:
|
|
Kmods SIG |
63c143 |
+ while (iw < wnd->nwnd && bits) {
|
|
Kmods SIG |
63c143 |
+ u32 tail, op;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (unlikely(iw + 1 == wnd->nwnd))
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ tail = wbits - wbit;
|
|
Kmods SIG |
63c143 |
+ op = tail < bits ? tail : bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->free_bits[iw]) {
|
|
Kmods SIG |
63c143 |
+ bool ret;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh))
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ ret = are_bits_set((ulong *)bh->b_data, wbit, op);
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ if (!ret)
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bits -= op;
|
|
Kmods SIG |
63c143 |
+ wbit = 0;
|
|
Kmods SIG |
63c143 |
+ iw += 1;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ ret = true;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+out:
|
|
Kmods SIG |
63c143 |
+ return ret;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_find
|
|
Kmods SIG |
63c143 |
+ * - flags - BITMAP_FIND_XXX flags
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * looks for free space
|
|
Kmods SIG |
63c143 |
+ * Returns 0 if not found
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+size_t wnd_find(struct wnd_bitmap *wnd, size_t to_alloc, size_t hint,
|
|
Kmods SIG |
63c143 |
+ size_t flags, size_t *allocated)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb;
|
|
Kmods SIG |
63c143 |
+ u32 wbits, wpos, wzbit, wzend;
|
|
Kmods SIG |
63c143 |
+ size_t fnd, max_alloc, b_len, b_pos;
|
|
Kmods SIG |
63c143 |
+ size_t iw, prev_tail, nwnd, wbit, ebit, zbit, zend;
|
|
Kmods SIG |
63c143 |
+ size_t to_alloc0 = to_alloc;
|
|
Kmods SIG |
63c143 |
+ const ulong *buf;
|
|
Kmods SIG |
63c143 |
+ const struct e_node *e;
|
|
Kmods SIG |
63c143 |
+ const struct rb_node *pr, *cr;
|
|
Kmods SIG |
63c143 |
+ u8 log2_bits;
|
|
Kmods SIG |
63c143 |
+ bool fbits_valid;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* fast checking for available free space */
|
|
Kmods SIG |
63c143 |
+ if (flags & BITMAP_FIND_FULL) {
|
|
Kmods SIG |
63c143 |
+ size_t zeroes = wnd_zeroes(wnd);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ zeroes -= wnd->zone_end - wnd->zone_bit;
|
|
Kmods SIG |
63c143 |
+ if (zeroes < to_alloc0)
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (to_alloc0 > wnd->extent_max)
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ if (to_alloc > wnd->extent_max)
|
|
Kmods SIG |
63c143 |
+ to_alloc = wnd->extent_max;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->zone_bit <= hint && hint < wnd->zone_end)
|
|
Kmods SIG |
63c143 |
+ hint = wnd->zone_end;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ max_alloc = wnd->nbits;
|
|
Kmods SIG |
63c143 |
+ b_len = b_pos = 0;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (hint >= max_alloc)
|
|
Kmods SIG |
63c143 |
+ hint = 0;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (RB_EMPTY_ROOT(&wnd->start_tree)) {
|
|
Kmods SIG |
63c143 |
+ if (wnd->uptodated == 1) {
|
|
Kmods SIG |
63c143 |
+ /* extents tree is updated -> no free space */
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ goto scan_bitmap;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ e = NULL;
|
|
Kmods SIG |
63c143 |
+ if (!hint)
|
|
Kmods SIG |
63c143 |
+ goto allocate_biggest;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Use hint: enumerate extents by start >= hint */
|
|
Kmods SIG |
63c143 |
+ pr = NULL;
|
|
Kmods SIG |
63c143 |
+ cr = wnd->start_tree.rb_node;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (;;) {
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(cr, struct e_node, start.node);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e->start.key == hint)
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e->start.key < hint) {
|
|
Kmods SIG |
63c143 |
+ pr = cr;
|
|
Kmods SIG |
63c143 |
+ cr = cr->rb_right;
|
|
Kmods SIG |
63c143 |
+ if (!cr)
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ cr = cr->rb_left;
|
|
Kmods SIG |
63c143 |
+ if (!cr) {
|
|
Kmods SIG |
63c143 |
+ e = pr ? rb_entry(pr, struct e_node, start.node) : NULL;
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!e)
|
|
Kmods SIG |
63c143 |
+ goto allocate_biggest;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e->start.key + e->count.key > hint) {
|
|
Kmods SIG |
63c143 |
+ /* We have found extension with 'hint' inside */
|
|
Kmods SIG |
63c143 |
+ size_t len = e->start.key + e->count.key - hint;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (len >= to_alloc && hint + to_alloc <= max_alloc) {
|
|
Kmods SIG |
63c143 |
+ fnd = hint;
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!(flags & BITMAP_FIND_FULL)) {
|
|
Kmods SIG |
63c143 |
+ if (len > to_alloc)
|
|
Kmods SIG |
63c143 |
+ len = to_alloc;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (hint + len <= max_alloc) {
|
|
Kmods SIG |
63c143 |
+ fnd = hint;
|
|
Kmods SIG |
63c143 |
+ to_alloc = len;
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+allocate_biggest:
|
|
Kmods SIG |
63c143 |
+ /* Allocate from biggest free extent */
|
|
Kmods SIG |
63c143 |
+ e = rb_entry(rb_first(&wnd->count_tree), struct e_node, count.node);
|
|
Kmods SIG |
63c143 |
+ if (e->count.key != wnd->extent_max)
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = e->count.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (e->count.key < max_alloc) {
|
|
Kmods SIG |
63c143 |
+ if (e->count.key >= to_alloc) {
|
|
Kmods SIG |
63c143 |
+ ;
|
|
Kmods SIG |
63c143 |
+ } else if (flags & BITMAP_FIND_FULL) {
|
|
Kmods SIG |
63c143 |
+ if (e->count.key < to_alloc0) {
|
|
Kmods SIG |
63c143 |
+ /* Biggest free block is less then requested */
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ to_alloc = e->count.key;
|
|
Kmods SIG |
63c143 |
+ } else if (-1 != wnd->uptodated) {
|
|
Kmods SIG |
63c143 |
+ to_alloc = e->count.key;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ /* Check if we can use more bits */
|
|
Kmods SIG |
63c143 |
+ size_t op, max_check;
|
|
Kmods SIG |
63c143 |
+ struct rb_root start_tree;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ memcpy(&start_tree, &wnd->start_tree,
|
|
Kmods SIG |
63c143 |
+ sizeof(struct rb_root));
|
|
Kmods SIG |
63c143 |
+ memset(&wnd->start_tree, 0, sizeof(struct rb_root));
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ max_check = e->start.key + to_alloc;
|
|
Kmods SIG |
63c143 |
+ if (max_check > max_alloc)
|
|
Kmods SIG |
63c143 |
+ max_check = max_alloc;
|
|
Kmods SIG |
63c143 |
+ for (op = e->start.key + e->count.key; op < max_check;
|
|
Kmods SIG |
63c143 |
+ op++) {
|
|
Kmods SIG |
63c143 |
+ if (!wnd_is_free(wnd, op, 1))
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ memcpy(&wnd->start_tree, &start_tree,
|
|
Kmods SIG |
63c143 |
+ sizeof(struct rb_root));
|
|
Kmods SIG |
63c143 |
+ to_alloc = op - e->start.key;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Prepare to return */
|
|
Kmods SIG |
63c143 |
+ fnd = e->start.key;
|
|
Kmods SIG |
63c143 |
+ if (e->start.key + to_alloc > max_alloc)
|
|
Kmods SIG |
63c143 |
+ to_alloc = max_alloc - e->start.key;
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->uptodated == 1) {
|
|
Kmods SIG |
63c143 |
+ /* extents tree is updated -> no free space */
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ b_len = e->count.key;
|
|
Kmods SIG |
63c143 |
+ b_pos = e->start.key;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+scan_bitmap:
|
|
Kmods SIG |
63c143 |
+ sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ log2_bits = sb->s_blocksize_bits + 3;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* At most two ranges [hint, max_alloc) + [0, hint) */
|
|
Kmods SIG |
63c143 |
+Again:
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* TODO: optimize request for case nbits > wbits */
|
|
Kmods SIG |
63c143 |
+ iw = hint >> log2_bits;
|
|
Kmods SIG |
63c143 |
+ wbits = sb->s_blocksize * 8;
|
|
Kmods SIG |
63c143 |
+ wpos = hint & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ fbits_valid = true;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (max_alloc == wnd->nbits) {
|
|
Kmods SIG |
63c143 |
+ nwnd = wnd->nwnd;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ size_t t = max_alloc + wbits - 1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ nwnd = likely(t > max_alloc) ? (t >> log2_bits) : wnd->nwnd;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Enumerate all windows */
|
|
Kmods SIG |
63c143 |
+ for (; iw < nwnd; iw++) {
|
|
Kmods SIG |
63c143 |
+ wbit = iw << log2_bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!wnd->free_bits[iw]) {
|
|
Kmods SIG |
63c143 |
+ if (prev_tail > b_len) {
|
|
Kmods SIG |
63c143 |
+ b_pos = wbit - prev_tail;
|
|
Kmods SIG |
63c143 |
+ b_len = prev_tail;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Skip full used window */
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (unlikely(iw + 1 == nwnd)) {
|
|
Kmods SIG |
63c143 |
+ if (max_alloc == wnd->nbits) {
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ size_t t = max_alloc & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (t) {
|
|
Kmods SIG |
63c143 |
+ wbits = t;
|
|
Kmods SIG |
63c143 |
+ fbits_valid = false;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (wnd->zone_end > wnd->zone_bit) {
|
|
Kmods SIG |
63c143 |
+ ebit = wbit + wbits;
|
|
Kmods SIG |
63c143 |
+ zbit = max(wnd->zone_bit, wbit);
|
|
Kmods SIG |
63c143 |
+ zend = min(wnd->zone_end, ebit);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Here we have a window [wbit, ebit) and zone [zbit, zend) */
|
|
Kmods SIG |
63c143 |
+ if (zend <= zbit) {
|
|
Kmods SIG |
63c143 |
+ /* Zone does not overlap window */
|
|
Kmods SIG |
63c143 |
+ } else {
|
|
Kmods SIG |
63c143 |
+ wzbit = zbit - wbit;
|
|
Kmods SIG |
63c143 |
+ wzend = zend - wbit;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Zone overlaps window */
|
|
Kmods SIG |
63c143 |
+ if (wnd->free_bits[iw] == wzend - wzbit) {
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Scan two ranges window: [wbit, zbit) and [zend, ebit) */
|
|
Kmods SIG |
63c143 |
+ bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh)) {
|
|
Kmods SIG |
63c143 |
+ /* TODO: error */
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Scan range [wbit, zbit) */
|
|
Kmods SIG |
63c143 |
+ if (wpos < wzbit) {
|
|
Kmods SIG |
63c143 |
+ /* Scan range [wpos, zbit) */
|
|
Kmods SIG |
63c143 |
+ fnd = wnd_scan(buf, wbit, wpos, wzbit,
|
|
Kmods SIG |
63c143 |
+ to_alloc, &prev_tail,
|
|
Kmods SIG |
63c143 |
+ &b_pos, &b_len);
|
|
Kmods SIG |
63c143 |
+ if (fnd != MINUS_ONE_T) {
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Scan range [zend, ebit) */
|
|
Kmods SIG |
63c143 |
+ if (wzend < wbits) {
|
|
Kmods SIG |
63c143 |
+ fnd = wnd_scan(buf, wbit,
|
|
Kmods SIG |
63c143 |
+ max(wzend, wpos), wbits,
|
|
Kmods SIG |
63c143 |
+ to_alloc, &prev_tail,
|
|
Kmods SIG |
63c143 |
+ &b_pos, &b_len);
|
|
Kmods SIG |
63c143 |
+ if (fnd != MINUS_ONE_T) {
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Current window does not overlap zone */
|
|
Kmods SIG |
63c143 |
+ if (!wpos && fbits_valid && wnd->free_bits[iw] == wbits) {
|
|
Kmods SIG |
63c143 |
+ /* window is empty */
|
|
Kmods SIG |
63c143 |
+ if (prev_tail + wbits >= to_alloc) {
|
|
Kmods SIG |
63c143 |
+ fnd = wbit + wpos - prev_tail;
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Increase 'prev_tail' and process next window */
|
|
Kmods SIG |
63c143 |
+ prev_tail += wbits;
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* read window */
|
|
Kmods SIG |
63c143 |
+ bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh)) {
|
|
Kmods SIG |
63c143 |
+ // TODO: error
|
|
Kmods SIG |
63c143 |
+ prev_tail = 0;
|
|
Kmods SIG |
63c143 |
+ wpos = 0;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Scan range [wpos, eBits) */
|
|
Kmods SIG |
63c143 |
+ fnd = wnd_scan(buf, wbit, wpos, wbits, to_alloc, &prev_tail,
|
|
Kmods SIG |
63c143 |
+ &b_pos, &b_len);
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ if (fnd != MINUS_ONE_T)
|
|
Kmods SIG |
63c143 |
+ goto found;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (b_len < prev_tail) {
|
|
Kmods SIG |
63c143 |
+ /* The last fragment */
|
|
Kmods SIG |
63c143 |
+ b_len = prev_tail;
|
|
Kmods SIG |
63c143 |
+ b_pos = max_alloc - prev_tail;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (hint) {
|
|
Kmods SIG |
63c143 |
+ /*
|
|
Kmods SIG |
63c143 |
+ * We have scanned range [hint max_alloc)
|
|
Kmods SIG |
63c143 |
+ * Prepare to scan range [0 hint + to_alloc)
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+ size_t nextmax = hint + to_alloc;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (likely(nextmax >= hint) && nextmax < max_alloc)
|
|
Kmods SIG |
63c143 |
+ max_alloc = nextmax;
|
|
Kmods SIG |
63c143 |
+ hint = 0;
|
|
Kmods SIG |
63c143 |
+ goto Again;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!b_len)
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = b_len;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (flags & BITMAP_FIND_FULL)
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ fnd = b_pos;
|
|
Kmods SIG |
63c143 |
+ to_alloc = b_len;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+found:
|
|
Kmods SIG |
63c143 |
+ if (flags & BITMAP_FIND_MARK_AS_USED) {
|
|
Kmods SIG |
63c143 |
+ /* TODO optimize remove extent (pass 'e'?) */
|
|
Kmods SIG |
63c143 |
+ if (wnd_set_used(wnd, fnd, to_alloc))
|
|
Kmods SIG |
63c143 |
+ goto no_space;
|
|
Kmods SIG |
63c143 |
+ } else if (wnd->extent_max != MINUS_ONE_T &&
|
|
Kmods SIG |
63c143 |
+ to_alloc > wnd->extent_max) {
|
|
Kmods SIG |
63c143 |
+ wnd->extent_max = to_alloc;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ *allocated = fnd;
|
|
Kmods SIG |
63c143 |
+ return to_alloc;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+no_space:
|
|
Kmods SIG |
63c143 |
+ return 0;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_extend
|
|
Kmods SIG |
63c143 |
+ *
|
|
Kmods SIG |
63c143 |
+ * Extend bitmap ($MFT bitmap)
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+int wnd_extend(struct wnd_bitmap *wnd, size_t new_bits)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ int err;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = wnd->sb;
|
|
Kmods SIG |
63c143 |
+ struct ntfs_sb_info *sbi = sb->s_fs_info;
|
|
Kmods SIG |
63c143 |
+ u32 blocksize = sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ u32 wbits = blocksize * 8;
|
|
Kmods SIG |
63c143 |
+ u32 b0, new_last;
|
|
Kmods SIG |
63c143 |
+ size_t bits, iw, new_wnd;
|
|
Kmods SIG |
63c143 |
+ size_t old_bits = wnd->nbits;
|
|
Kmods SIG |
63c143 |
+ u16 *new_free;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (new_bits <= old_bits)
|
|
Kmods SIG |
63c143 |
+ return -EINVAL;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* align to 8 byte boundary */
|
|
Kmods SIG |
63c143 |
+ new_wnd = bytes_to_block(sb, bitmap_size(new_bits));
|
|
Kmods SIG |
63c143 |
+ new_last = new_bits & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ if (!new_last)
|
|
Kmods SIG |
63c143 |
+ new_last = wbits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (new_wnd != wnd->nwnd) {
|
|
Kmods SIG |
63c143 |
+ new_free = ntfs_malloc(new_wnd * sizeof(u16));
|
|
Kmods SIG |
63c143 |
+ if (!new_free)
|
|
Kmods SIG |
63c143 |
+ return -ENOMEM;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (new_free != wnd->free_bits)
|
|
Kmods SIG |
63c143 |
+ memcpy(new_free, wnd->free_bits,
|
|
Kmods SIG |
63c143 |
+ wnd->nwnd * sizeof(short));
|
|
Kmods SIG |
63c143 |
+ memset(new_free + wnd->nwnd, 0,
|
|
Kmods SIG |
63c143 |
+ (new_wnd - wnd->nwnd) * sizeof(short));
|
|
Kmods SIG |
63c143 |
+ ntfs_free(wnd->free_bits);
|
|
Kmods SIG |
63c143 |
+ wnd->free_bits = new_free;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Zero bits [old_bits,new_bits) */
|
|
Kmods SIG |
63c143 |
+ bits = new_bits - old_bits;
|
|
Kmods SIG |
63c143 |
+ b0 = old_bits & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (iw = old_bits >> (sb->s_blocksize_bits + 3); bits; iw += 1) {
|
|
Kmods SIG |
63c143 |
+ u32 op;
|
|
Kmods SIG |
63c143 |
+ size_t frb;
|
|
Kmods SIG |
63c143 |
+ u64 vbo, lbo, bytes;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh;
|
|
Kmods SIG |
63c143 |
+ ulong *buf;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (iw + 1 == new_wnd)
|
|
Kmods SIG |
63c143 |
+ wbits = new_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ op = b0 + bits > wbits ? wbits - b0 : bits;
|
|
Kmods SIG |
63c143 |
+ vbo = (u64)iw * blocksize;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ err = ntfs_vbo_to_lbo(sbi, &wnd->run, vbo, &lbo, &bytes);
|
|
Kmods SIG |
63c143 |
+ if (err)
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bh = ntfs_bread(sb, lbo >> sb->s_blocksize_bits);
|
|
Kmods SIG |
63c143 |
+ if (!bh)
|
|
Kmods SIG |
63c143 |
+ return -EIO;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ lock_buffer(bh);
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ __bitmap_clear(buf, b0, blocksize * 8 - b0);
|
|
Kmods SIG |
63c143 |
+ frb = wbits - __bitmap_weight(buf, wbits);
|
|
Kmods SIG |
63c143 |
+ wnd->total_zeroes += frb - wnd->free_bits[iw];
|
|
Kmods SIG |
63c143 |
+ wnd->free_bits[iw] = frb;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ set_buffer_uptodate(bh);
|
|
Kmods SIG |
63c143 |
+ mark_buffer_dirty(bh);
|
|
Kmods SIG |
63c143 |
+ unlock_buffer(bh);
|
|
Kmods SIG |
63c143 |
+ /*err = sync_dirty_buffer(bh);*/
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ b0 = 0;
|
|
Kmods SIG |
63c143 |
+ bits -= op;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->nbits = new_bits;
|
|
Kmods SIG |
63c143 |
+ wnd->nwnd = new_wnd;
|
|
Kmods SIG |
63c143 |
+ wnd->bits_last = new_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd, old_bits, new_bits - old_bits, false);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return 0;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+/*
|
|
Kmods SIG |
63c143 |
+ * wnd_zone_set
|
|
Kmods SIG |
63c143 |
+ */
|
|
Kmods SIG |
63c143 |
+void wnd_zone_set(struct wnd_bitmap *wnd, size_t lcn, size_t len)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ size_t zlen;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ zlen = wnd->zone_end - wnd->zone_bit;
|
|
Kmods SIG |
63c143 |
+ if (zlen)
|
|
Kmods SIG |
63c143 |
+ wnd_add_free_ext(wnd, wnd->zone_bit, zlen, false);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!RB_EMPTY_ROOT(&wnd->start_tree) && len)
|
|
Kmods SIG |
63c143 |
+ wnd_remove_free_ext(wnd, lcn, len);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ wnd->zone_bit = lcn;
|
|
Kmods SIG |
63c143 |
+ wnd->zone_end = lcn + len;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+int ntfs_trim_fs(struct ntfs_sb_info *sbi, struct fstrim_range *range)
|
|
Kmods SIG |
63c143 |
+{
|
|
Kmods SIG |
63c143 |
+ int err = 0;
|
|
Kmods SIG |
63c143 |
+ struct super_block *sb = sbi->sb;
|
|
Kmods SIG |
63c143 |
+ struct wnd_bitmap *wnd = &sbi->used.bitmap;
|
|
Kmods SIG |
63c143 |
+ u32 wbits = 8 * sb->s_blocksize;
|
|
Kmods SIG |
63c143 |
+ CLST len = 0, lcn = 0, done = 0;
|
|
Kmods SIG |
63c143 |
+ CLST minlen = bytes_to_cluster(sbi, range->minlen);
|
|
Kmods SIG |
63c143 |
+ CLST lcn_from = bytes_to_cluster(sbi, range->start);
|
|
Kmods SIG |
63c143 |
+ size_t iw = lcn_from >> (sb->s_blocksize_bits + 3);
|
|
Kmods SIG |
63c143 |
+ u32 wbit = lcn_from & (wbits - 1);
|
|
Kmods SIG |
63c143 |
+ const ulong *buf;
|
|
Kmods SIG |
63c143 |
+ CLST lcn_to;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!minlen)
|
|
Kmods SIG |
63c143 |
+ minlen = 1;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (range->len == (u64)-1)
|
|
Kmods SIG |
63c143 |
+ lcn_to = wnd->nbits;
|
|
Kmods SIG |
63c143 |
+ else
|
|
Kmods SIG |
63c143 |
+ lcn_to = bytes_to_cluster(sbi, range->start + range->len);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ down_read_nested(&wnd->rw_lock, BITMAP_MUTEX_CLUSTERS);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (; iw < wnd->nbits; iw++, wbit = 0) {
|
|
Kmods SIG |
63c143 |
+ CLST lcn_wnd = iw * wbits;
|
|
Kmods SIG |
63c143 |
+ struct buffer_head *bh;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (lcn_wnd > lcn_to)
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (!wnd->free_bits[iw])
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (iw + 1 == wnd->nwnd)
|
|
Kmods SIG |
63c143 |
+ wbits = wnd->bits_last;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ if (lcn_wnd + wbits > lcn_to)
|
|
Kmods SIG |
63c143 |
+ wbits = lcn_to - lcn_wnd;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ bh = wnd_map(wnd, iw);
|
|
Kmods SIG |
63c143 |
+ if (IS_ERR(bh)) {
|
|
Kmods SIG |
63c143 |
+ err = PTR_ERR(bh);
|
|
Kmods SIG |
63c143 |
+ break;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ buf = (ulong *)bh->b_data;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ for (; wbit < wbits; wbit++) {
|
|
Kmods SIG |
63c143 |
+ if (!test_bit(wbit, buf)) {
|
|
Kmods SIG |
63c143 |
+ if (!len)
|
|
Kmods SIG |
63c143 |
+ lcn = lcn_wnd + wbit;
|
|
Kmods SIG |
63c143 |
+ len += 1;
|
|
Kmods SIG |
63c143 |
+ continue;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ if (len >= minlen) {
|
|
Kmods SIG |
63c143 |
+ err = ntfs_discard(sbi, lcn, len);
|
|
Kmods SIG |
63c143 |
+ if (err)
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ done += len;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ len = 0;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+ put_bh(bh);
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ /* Process the last fragment */
|
|
Kmods SIG |
63c143 |
+ if (len >= minlen) {
|
|
Kmods SIG |
63c143 |
+ err = ntfs_discard(sbi, lcn, len);
|
|
Kmods SIG |
63c143 |
+ if (err)
|
|
Kmods SIG |
63c143 |
+ goto out;
|
|
Kmods SIG |
63c143 |
+ done += len;
|
|
Kmods SIG |
63c143 |
+ }
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+out:
|
|
Kmods SIG |
63c143 |
+ range->len = (u64)done << sbi->cluster_bits;
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ up_read(&wnd->rw_lock);
|
|
Kmods SIG |
63c143 |
+
|
|
Kmods SIG |
63c143 |
+ return err;
|
|
Kmods SIG |
63c143 |
+}
|
|
Kmods SIG |
63c143 |
--
|
|
Kmods SIG |
63c143 |
2.31.1
|
|
Kmods SIG |
63c143 |
|