lwext4/ext4_bcache.c

   1 /*
   2  * Copyright (c) 2013 Grzegorz Kostka (kostka.grzegorz@gmail.com)
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  *
   9  * - Redistributions of source code must retain the above copyright
  10  *   notice, this list of conditions and the following disclaimer.
  11  * - Redistributions in binary form must reproduce the above copyright
  12  *   notice, this list of conditions and the following disclaimer in the
  13  *   documentation and/or other materials provided with the distribution.
  14  * - The name of the author may not be used to endorse or promote products
  15  *   derived from this software without specific prior written permission.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27  */
  28
  29 /** @addtogroup lwext4
  30  * @{
  31  */
  32 /**
  33  * @file  ext4_bcache.c
  34  * @brief Block cache allocator.
  35  */
  36
  37 #include "ext4_config.h"
  38 #include "ext4_bcache.h"
  39 #include "ext4_blockdev.h"
  40 #include "ext4_debug.h"
  41 #include "ext4_errno.h"
  42
  43 #include <string.h>
  44 #include <stdlib.h>
  45
  46 static int ext4_bcache_lba_compare(struct ext4_buf *a, struct ext4_buf *b)
  47 {
  48          if (a->lba > b->lba)
  49                  return 1;
  50          else if (a->lba < b->lba)
  51                  return -1;
  52          return 0;
  53 }
  54
  55 static int ext4_bcache_lru_compare(struct ext4_buf *a, struct ext4_buf *b)
  56 {
  57         if (a->lru_id > b->lru_id)
  58                 return 1;
  59         else if (a->lru_id < b->lru_id)
  60                 return -1;
  61         return 0;
  62 }
  63
  64 RB_GENERATE_INTERNAL(ext4_buf_lba, ext4_buf, lba_node,
  65                      ext4_bcache_lba_compare, static inline)
  66 RB_GENERATE_INTERNAL(ext4_buf_lru, ext4_buf, lru_node,
  67                      ext4_bcache_lru_compare, static inline)
  68
  69 int ext4_bcache_init_dynamic(struct ext4_bcache *bc, uint32_t cnt,
  70                              uint32_t itemsize)
  71 {
  72         ext4_assert(bc && cnt && itemsize);
  73
  74         memset(bc, 0, sizeof(struct ext4_bcache));
  75
  76         bc->cnt = cnt;
  77         bc->itemsize = itemsize;
  78         bc->ref_blocks = 0;
  79         bc->max_ref_blocks = 0;
  80
  81         return EOK;
  82 }
  83
  84 void ext4_bcache_cleanup(struct ext4_bcache *bc)
  85 {
  86         struct ext4_buf *buf, *tmp;
  87         RB_FOREACH_SAFE(buf, ext4_buf_lba, &bc->lba_root, tmp) {
  88                 ext4_block_flush_buf(bc->bdev, buf);
  89                 ext4_bcache_drop_buf(bc, buf);
  90         }
  91 }
  92
  93 int ext4_bcache_fini_dynamic(struct ext4_bcache *bc)
  94 {
  95         memset(bc, 0, sizeof(struct ext4_bcache));
  96         return EOK;
  97 }
  98
  99 /**@brief:
 100  *
 101  *  This is ext4_bcache, the module handling basic buffer-cache stuff.
 102  *
 103  *  Buffers in a bcache are sorted by their LBA and stored in a
 104  *  RB-Tree(lba_root).
 105  *
 106  *  Bcache also maintains another RB-Tree(lru_root) right now, where
 107  *  buffers are sorted by their LRU id.
 108  *
 109  *  A singly-linked list is used to track those dirty buffers which are
 110  *  ready to be flushed. (Those buffers which are dirty but also referenced
 111  *  are not considered ready to be flushed.)
 112  *
 113  *  When a buffer is not referenced, it will be stored in both lba_root
 114  *  and lru_root, while it will only be stored in lba_root when it is
 115  *  referenced.
 116  */
 117
 118 static struct ext4_buf *
 119 ext4_buf_alloc(struct ext4_bcache *bc, uint64_t lba)
 120 {
 121         void *data;
 122         struct ext4_buf *buf;
 123         data = malloc(bc->itemsize);
 124         if (!data)
 125                 return NULL;
 126
 127         buf = calloc(1, sizeof(struct ext4_buf));
 128         if (!buf) {
 129                 free(data);
 130                 return NULL;
 131         }
 132
 133         buf->lba = lba;
 134         buf->data = data;
 135         return buf;
 136 }
 137
 138 static void ext4_buf_free(struct ext4_buf *buf)
 139 {
 140         free(buf->data);
 141         free(buf);
 142 }
 143
 144 static struct ext4_buf *
 145 ext4_buf_lookup(struct ext4_bcache *bc, uint64_t lba)
 146 {
 147         struct ext4_buf tmp = {
 148                 .lba = lba
 149         };
 150
 151         return RB_FIND(ext4_buf_lba, &bc->lba_root, &tmp);
 152 }
 153
 154 struct ext4_buf *ext4_buf_lowest_lru(struct ext4_bcache *bc)
 155 {
 156         return RB_MIN(ext4_buf_lru, &bc->lru_root);
 157 }
 158
 159 void ext4_bcache_drop_buf(struct ext4_bcache *bc, struct ext4_buf *buf)
 160 {
 161         /* Warn on dropping any referenced buffers.*/
 162         if (buf->refctr) {
 163                 ext4_dbg(DEBUG_BCACHE, DBG_WARN "Buffer is still referenced. "
 164                                 "lba: %" PRIu64 ", refctr: %" PRIu32 "\n",
 165                                 buf->lba, buf->refctr);
 166         }
 167
 168         RB_REMOVE(ext4_buf_lba, &bc->lba_root, buf);
 169         RB_REMOVE(ext4_buf_lru, &bc->lru_root, buf);
 170
 171         /*Forcibly drop dirty buffer.*/
 172         if (ext4_bcache_test_flag(buf, BC_DIRTY))
 173                 ext4_bcache_remove_dirty_node(bc, buf);
 174
 175         ext4_buf_free(buf);
 176         bc->ref_blocks--;
 177 }
 178
 179 void ext4_bcache_invalidate_lba(struct ext4_bcache *bc,
 180                                 uint64_t from,
 181                                 uint32_t cnt)
 182 {
 183         uint64_t end = from + cnt - 1;
 184         struct ext4_buf *tmp = ext4_buf_lookup(bc, from), *buf;
 185         RB_FOREACH_FROM(buf, ext4_buf_lba, tmp) {
 186                 if (buf->lba > end)
 187                         break;
 188
 189                 /* Clear both dirty and up-to-date flags. */
 190                 ext4_bcache_clear_dirty(buf);
 191         }
 192 }
 193
 194 struct ext4_buf *
 195 ext4_bcache_find_get(struct ext4_bcache *bc, struct ext4_block *b,
 196                      uint64_t lba)
 197 {
 198         struct ext4_buf *buf = ext4_buf_lookup(bc, lba);
 199         if (buf) {
 200                 /* If buffer is not referenced. */
 201                 if (!buf->refctr) {
 202                         /* Assign new value to LRU id and increment LRU counter
 203                          * by 1*/
 204                         buf->lru_id = ++bc->lru_ctr;
 205                         RB_REMOVE(ext4_buf_lru, &bc->lru_root, buf);
 206                         if (ext4_bcache_test_flag(buf, BC_DIRTY))
 207                                 ext4_bcache_remove_dirty_node(bc, buf);
 208
 209                 }
 210
 211                 ext4_bcache_inc_ref(buf);
 212
 213                 b->buf = buf;
 214                 b->data = buf->data;
 215         }
 216         return buf;
 217 }
 218
 219 int ext4_bcache_alloc(struct ext4_bcache *bc, struct ext4_block *b,
 220                       bool *is_new)
 221 {
 222         /* Try to search the buffer with exaxt LBA. */
 223         struct ext4_buf *buf = ext4_bcache_find_get(bc, b, b->lb_id);
 224         if (buf) {
 225                 *is_new = false;
 226                 return EOK;
 227         }
 228
 229         /* We need to allocate one buffer.*/
 230         buf = ext4_buf_alloc(bc, b->lb_id);
 231         if (!buf)
 232                 return ENOMEM;
 233
 234         RB_INSERT(ext4_buf_lba, &bc->lba_root, buf);
 235         /* One more buffer in bcache now. :-) */
 236         bc->ref_blocks++;
 237
 238         ext4_bcache_inc_ref(buf);
 239         /* Assign new value to LRU id and increment LRU counter
 240          * by 1*/
 241         buf->lru_id = ++bc->lru_ctr;
 242
 243         b->buf = buf;
 244         b->data = buf->data;
 245
 246         *is_new = true;
 247         return EOK;
 248 }
 249
 250 int ext4_bcache_free(struct ext4_bcache *bc, struct ext4_block *b)
 251 {
 252         struct ext4_buf *buf = b->buf;
 253
 254         ext4_assert(bc && b);
 255
 256         /*Check if valid.*/
 257         ext4_assert(b->lb_id);
 258
 259         /*Block should have a valid pointer to ext4_buf.*/
 260         ext4_assert(buf);
 261
 262         /*Check if someone don't try free unreferenced block cache.*/
 263         ext4_assert(buf->refctr);
 264
 265         /*Just decrease reference counter*/
 266         ext4_bcache_dec_ref(buf);
 267
 268         /* We are the last one touching this buffer, do the cleanups. */
 269         if (!buf->refctr) {
 270                 RB_INSERT(ext4_buf_lru, &bc->lru_root, buf);
 271                 /* This buffer is ready to be flushed. */
 272                 if (ext4_bcache_test_flag(buf, BC_DIRTY) &&
 273                     ext4_bcache_test_flag(buf, BC_UPTODATE)) {
 274                         if (bc->bdev->cache_write_back &&
 275                             !ext4_bcache_test_flag(buf, BC_FLUSH))
 276                                 ext4_bcache_insert_dirty_node(bc, buf);
 277                         else {
 278                                 ext4_block_flush_buf(bc->bdev, buf);
 279                                 ext4_bcache_clear_flag(buf, BC_FLUSH);
 280                         }
 281                 }
 282
 283                 /* The buffer is invalidated...drop it. */
 284                 if (!ext4_bcache_test_flag(buf, BC_UPTODATE))
 285                         ext4_bcache_drop_buf(bc, buf);
 286
 287         }
 288
 289         b->lb_id = 0;
 290         b->data = 0;
 291
 292         return EOK;
 293 }
 294
 295 bool ext4_bcache_is_full(struct ext4_bcache *bc)
 296 {
 297         return (bc->cnt <= bc->ref_blocks);
 298 }
 299
 300
 301 /**
 302  * @}
 303  */