Diff for /qemu/exec.c between versions 1.1.1.14 and 1.1.1.15

version 1.1.1.14, 2018/04/24 18:34:06 version 1.1.1.15, 2018/04/24 18:56:22
Line 26 Line 26
   
 #include "qemu-common.h"  #include "qemu-common.h"
 #include "cpu.h"  #include "cpu.h"
 #include "exec-all.h"  
 #include "tcg.h"  #include "tcg.h"
 #include "hw/hw.h"  #include "hw/hw.h"
 #include "hw/qdev.h"  #include "hw/qdev.h"
 #include "osdep.h"  #include "osdep.h"
 #include "kvm.h"  #include "kvm.h"
   #include "hw/xen.h"
 #include "qemu-timer.h"  #include "qemu-timer.h"
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
 #include <qemu.h>  #include <qemu.h>
 #include <signal.h>  
 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)  #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 #include <sys/param.h>  #include <sys/param.h>
 #if __FreeBSD_version >= 700104  #if __FreeBSD_version >= 700104
Line 51 Line 50
 #include <libutil.h>  #include <libutil.h>
 #endif  #endif
 #endif  #endif
   #else /* !CONFIG_USER_ONLY */
   #include "xen-mapcache.h"
   #include "trace.h"
 #endif  #endif
   
 //#define DEBUG_TB_INVALIDATE  //#define DEBUG_TB_INVALIDATE
Line 553  static void code_gen_alloc(unsigned long Line 555  static void code_gen_alloc(unsigned long
 #endif  #endif
 #endif /* !USE_STATIC_CODE_GEN_BUFFER */  #endif /* !USE_STATIC_CODE_GEN_BUFFER */
     map_exec(code_gen_prologue, sizeof(code_gen_prologue));      map_exec(code_gen_prologue, sizeof(code_gen_prologue));
     code_gen_buffer_max_size = code_gen_buffer_size -       code_gen_buffer_max_size = code_gen_buffer_size -
         (TCG_MAX_OP_SIZE * OPC_MAX_SIZE);          (TCG_MAX_OP_SIZE * OPC_BUF_SIZE);
     code_gen_max_blocks = code_gen_buffer_size / CODE_GEN_AVG_BLOCK_SIZE;      code_gen_max_blocks = code_gen_buffer_size / CODE_GEN_AVG_BLOCK_SIZE;
     tbs = qemu_malloc(code_gen_max_blocks * sizeof(TranslationBlock));      tbs = qemu_malloc(code_gen_max_blocks * sizeof(TranslationBlock));
 }  }
Line 638  void cpu_exec_init(CPUState *env) Line 640  void cpu_exec_init(CPUState *env)
     env->numa_node = 0;      env->numa_node = 0;
     QTAILQ_INIT(&env->breakpoints);      QTAILQ_INIT(&env->breakpoints);
     QTAILQ_INIT(&env->watchpoints);      QTAILQ_INIT(&env->watchpoints);
   #ifndef CONFIG_USER_ONLY
       env->thread_id = qemu_get_thread_id();
   #endif
     *penv = env;      *penv = env;
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
     cpu_list_unlock();      cpu_list_unlock();
Line 649  void cpu_exec_init(CPUState *env) Line 654  void cpu_exec_init(CPUState *env)
 #endif  #endif
 }  }
   
   /* Allocate a new translation block. Flush the translation buffer if
      too many translation blocks or too much generated code. */
   static TranslationBlock *tb_alloc(target_ulong pc)
   {
       TranslationBlock *tb;
   
       if (nb_tbs >= code_gen_max_blocks ||
           (code_gen_ptr - code_gen_buffer) >= code_gen_buffer_max_size)
           return NULL;
       tb = &tbs[nb_tbs++];
       tb->pc = pc;
       tb->cflags = 0;
       return tb;
   }
   
   void tb_free(TranslationBlock *tb)
   {
       /* In practice this is mostly used for single use temporary TB
          Ignore the hard cases and just back up if this TB happens to
          be the last one generated.  */
       if (nb_tbs > 0 && tb == &tbs[nb_tbs - 1]) {
           code_gen_ptr = tb->tc_ptr;
           nb_tbs--;
       }
   }
   
 static inline void invalidate_page_bitmap(PageDesc *p)  static inline void invalidate_page_bitmap(PageDesc *p)
 {  {
     if (p->code_bitmap) {      if (p->code_bitmap) {
Line 1041  void tb_invalidate_phys_page_range(tb_pa Line 1072  void tb_invalidate_phys_page_range(tb_pa
                 restore the CPU state */                  restore the CPU state */
   
                 current_tb_modified = 1;                  current_tb_modified = 1;
                 cpu_restore_state(current_tb, env,                  cpu_restore_state(current_tb, env, env->mem_io_pc);
                                   env->mem_io_pc, NULL);  
                 cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,                  cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,
                                      &current_flags);                                       &current_flags);
             }              }
Line 1150  static void tb_invalidate_phys_page(tb_p Line 1180  static void tb_invalidate_phys_page(tb_p
                    restore the CPU state */                     restore the CPU state */
   
             current_tb_modified = 1;              current_tb_modified = 1;
             cpu_restore_state(current_tb, env, pc, puc);              cpu_restore_state(current_tb, env, pc);
             cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,              cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,
                                  &current_flags);                                   &current_flags);
         }          }
Line 1177  static inline void tb_alloc_page(Transla Line 1207  static inline void tb_alloc_page(Transla
                                  unsigned int n, tb_page_addr_t page_addr)                                   unsigned int n, tb_page_addr_t page_addr)
 {  {
     PageDesc *p;      PageDesc *p;
     TranslationBlock *last_first_tb;  #ifndef CONFIG_USER_ONLY
       bool page_already_protected;
   #endif
   
     tb->page_addr[n] = page_addr;      tb->page_addr[n] = page_addr;
     p = page_find_alloc(page_addr >> TARGET_PAGE_BITS, 1);      p = page_find_alloc(page_addr >> TARGET_PAGE_BITS, 1);
     tb->page_next[n] = p->first_tb;      tb->page_next[n] = p->first_tb;
     last_first_tb = p->first_tb;  #ifndef CONFIG_USER_ONLY
       page_already_protected = p->first_tb != NULL;
   #endif
     p->first_tb = (TranslationBlock *)((long)tb | n);      p->first_tb = (TranslationBlock *)((long)tb | n);
     invalidate_page_bitmap(p);      invalidate_page_bitmap(p);
   
Line 1218  static inline void tb_alloc_page(Transla Line 1252  static inline void tb_alloc_page(Transla
     /* if some code is already present, then the pages are already      /* if some code is already present, then the pages are already
        protected. So we handle the case where only the first TB is         protected. So we handle the case where only the first TB is
        allocated in a physical page */         allocated in a physical page */
     if (!last_first_tb) {      if (!page_already_protected) {
         tlb_protect_code(page_addr);          tlb_protect_code(page_addr);
     }      }
 #endif  #endif
Line 1226  static inline void tb_alloc_page(Transla Line 1260  static inline void tb_alloc_page(Transla
 #endif /* TARGET_HAS_SMC */  #endif /* TARGET_HAS_SMC */
 }  }
   
 /* Allocate a new translation block. Flush the translation buffer if  
    too many translation blocks or too much generated code. */  
 TranslationBlock *tb_alloc(target_ulong pc)  
 {  
     TranslationBlock *tb;  
   
     if (nb_tbs >= code_gen_max_blocks ||  
         (code_gen_ptr - code_gen_buffer) >= code_gen_buffer_max_size)  
         return NULL;  
     tb = &tbs[nb_tbs++];  
     tb->pc = pc;  
     tb->cflags = 0;  
     return tb;  
 }  
   
 void tb_free(TranslationBlock *tb)  
 {  
     /* In practice this is mostly used for single use temporary TB  
        Ignore the hard cases and just back up if this TB happens to  
        be the last one generated.  */  
     if (nb_tbs > 0 && tb == &tbs[nb_tbs - 1]) {  
         code_gen_ptr = tb->tc_ptr;  
         nb_tbs--;  
     }  
 }  
   
 /* add a new TB and link it to the physical page tables. phys_page2 is  /* add a new TB and link it to the physical page tables. phys_page2 is
    (-1) to indicate that only one page contains the TB. */     (-1) to indicate that only one page contains the TB. */
 void tb_link_page(TranslationBlock *tb,  void tb_link_page(TranslationBlock *tb,
Line 1627  static void cpu_unlink_tb(CPUState *env) Line 1635  static void cpu_unlink_tb(CPUState *env)
     spin_unlock(&interrupt_lock);      spin_unlock(&interrupt_lock);
 }  }
   
   #ifndef CONFIG_USER_ONLY
 /* mask must never be zero, except for A20 change call */  /* mask must never be zero, except for A20 change call */
 void cpu_interrupt(CPUState *env, int mask)  static void tcg_handle_interrupt(CPUState *env, int mask)
 {  {
     int old_mask;      int old_mask;
   
     old_mask = env->interrupt_request;      old_mask = env->interrupt_request;
     env->interrupt_request |= mask;      env->interrupt_request |= mask;
   
 #ifndef CONFIG_USER_ONLY  
     /*      /*
      * If called from iothread context, wake the target cpu in       * If called from iothread context, wake the target cpu in
      * case its halted.       * case its halted.
      */       */
     if (!qemu_cpu_self(env)) {      if (!qemu_cpu_is_self(env)) {
         qemu_cpu_kick(env);          qemu_cpu_kick(env);
         return;          return;
     }      }
 #endif  
   
     if (use_icount) {      if (use_icount) {
         env->icount_decr.u16.high = 0xffff;          env->icount_decr.u16.high = 0xffff;
 #ifndef CONFIG_USER_ONLY  
         if (!can_do_io(env)          if (!can_do_io(env)
             && (mask & ~old_mask) != 0) {              && (mask & ~old_mask) != 0) {
             cpu_abort(env, "Raised interrupt while not in I/O function");              cpu_abort(env, "Raised interrupt while not in I/O function");
         }          }
 #endif  
     } else {      } else {
         cpu_unlink_tb(env);          cpu_unlink_tb(env);
     }      }
 }  }
   
   CPUInterruptHandler cpu_interrupt_handler = tcg_handle_interrupt;
   
   #else /* CONFIG_USER_ONLY */
   
   void cpu_interrupt(CPUState *env, int mask)
   {
       env->interrupt_request |= mask;
       cpu_unlink_tb(env);
   }
   #endif /* CONFIG_USER_ONLY */
   
 void cpu_reset_interrupt(CPUState *env, int mask)  void cpu_reset_interrupt(CPUState *env, int mask)
 {  {
     env->interrupt_request &= ~mask;      env->interrupt_request &= ~mask;
Line 1708  static QLIST_HEAD(memory_client_list, CP Line 1724  static QLIST_HEAD(memory_client_list, CP
   
 static void cpu_notify_set_memory(target_phys_addr_t start_addr,  static void cpu_notify_set_memory(target_phys_addr_t start_addr,
                                   ram_addr_t size,                                    ram_addr_t size,
                                   ram_addr_t phys_offset)                                    ram_addr_t phys_offset,
                                     bool log_dirty)
 {  {
     CPUPhysMemoryClient *client;      CPUPhysMemoryClient *client;
     QLIST_FOREACH(client, &memory_client_list, list) {      QLIST_FOREACH(client, &memory_client_list, list) {
         client->set_memory(client, start_addr, size, phys_offset);          client->set_memory(client, start_addr, size, phys_offset, log_dirty);
     }      }
 }  }
   
Line 1739  static int cpu_notify_migration_log(int  Line 1756  static int cpu_notify_migration_log(int 
     return 0;      return 0;
 }  }
   
 static void phys_page_for_each_1(CPUPhysMemoryClient *client,  struct last_map {
                                  int level, void **lp)      target_phys_addr_t start_addr;
       ram_addr_t size;
       ram_addr_t phys_offset;
   };
   
   /* The l1_phys_map provides the upper P_L1_BITs of the guest physical
    * address.  Each intermediate table provides the next L2_BITs of guest
    * physical address space.  The number of levels vary based on host and
    * guest configuration, making it efficient to build the final guest
    * physical address by seeding the L1 offset and shifting and adding in
    * each L2 offset as we recurse through them. */
   static void phys_page_for_each_1(CPUPhysMemoryClient *client, int level,
                                    void **lp, target_phys_addr_t addr,
                                    struct last_map *map)
 {  {
     int i;      int i;
   
Line 1749  static void phys_page_for_each_1(CPUPhys Line 1779  static void phys_page_for_each_1(CPUPhys
     }      }
     if (level == 0) {      if (level == 0) {
         PhysPageDesc *pd = *lp;          PhysPageDesc *pd = *lp;
           addr <<= L2_BITS + TARGET_PAGE_BITS;
         for (i = 0; i < L2_SIZE; ++i) {          for (i = 0; i < L2_SIZE; ++i) {
             if (pd[i].phys_offset != IO_MEM_UNASSIGNED) {              if (pd[i].phys_offset != IO_MEM_UNASSIGNED) {
                 client->set_memory(client, pd[i].region_offset,                  target_phys_addr_t start_addr = addr | i << TARGET_PAGE_BITS;
                                    TARGET_PAGE_SIZE, pd[i].phys_offset);  
                   if (map->size &&
                       start_addr == map->start_addr + map->size &&
                       pd[i].phys_offset == map->phys_offset + map->size) {
   
                       map->size += TARGET_PAGE_SIZE;
                       continue;
                   } else if (map->size) {
                       client->set_memory(client, map->start_addr,
                                          map->size, map->phys_offset, false);
                   }
   
                   map->start_addr = start_addr;
                   map->size = TARGET_PAGE_SIZE;
                   map->phys_offset = pd[i].phys_offset;
             }              }
         }          }
     } else {      } else {
         void **pp = *lp;          void **pp = *lp;
         for (i = 0; i < L2_SIZE; ++i) {          for (i = 0; i < L2_SIZE; ++i) {
             phys_page_for_each_1(client, level - 1, pp + i);              phys_page_for_each_1(client, level - 1, pp + i,
                                    (addr << L2_BITS) | i, map);
         }          }
     }      }
 }  }
Line 1766  static void phys_page_for_each_1(CPUPhys Line 1812  static void phys_page_for_each_1(CPUPhys
 static void phys_page_for_each(CPUPhysMemoryClient *client)  static void phys_page_for_each(CPUPhysMemoryClient *client)
 {  {
     int i;      int i;
       struct last_map map = { };
   
     for (i = 0; i < P_L1_SIZE; ++i) {      for (i = 0; i < P_L1_SIZE; ++i) {
         phys_page_for_each_1(client, P_L1_SHIFT / L2_BITS - 1,          phys_page_for_each_1(client, P_L1_SHIFT / L2_BITS - 1,
                              l1_phys_map + 1);                               l1_phys_map + i, i, &map);
       }
       if (map.size) {
           client->set_memory(client, map.start_addr, map.size, map.phys_offset,
                              false);
     }      }
 }  }
   
Line 2039  void cpu_physical_memory_reset_dirty(ram Line 2091  void cpu_physical_memory_reset_dirty(ram
     /* we modify the TLB cache so that the dirty bit will be set again      /* we modify the TLB cache so that the dirty bit will be set again
        when accessing the range */         when accessing the range */
     start1 = (unsigned long)qemu_safe_ram_ptr(start);      start1 = (unsigned long)qemu_safe_ram_ptr(start);
     /* Chek that we don't span multiple blocks - this breaks the      /* Check that we don't span multiple blocks - this breaks the
        address comparisons below.  */         address comparisons below.  */
     if ((unsigned long)qemu_safe_ram_ptr(end - 1) - start1      if ((unsigned long)qemu_safe_ram_ptr(end - 1) - start1
             != (end - 1) - start) {              != (end - 1) - start) {
Line 2078  int cpu_physical_sync_dirty_bitmap(targe Line 2130  int cpu_physical_sync_dirty_bitmap(targe
     return ret;      return ret;
 }  }
   
   int cpu_physical_log_start(target_phys_addr_t start_addr,
                              ram_addr_t size)
   {
       CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           if (client->log_start) {
               int r = client->log_start(client, start_addr, size);
               if (r < 0) {
                   return r;
               }
           }
       }
       return 0;
   }
   
   int cpu_physical_log_stop(target_phys_addr_t start_addr,
                             ram_addr_t size)
   {
       CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           if (client->log_stop) {
               int r = client->log_stop(client, start_addr, size);
               if (r < 0) {
                   return r;
               }
           }
       }
       return 0;
   }
   
 static inline void tlb_update_dirty(CPUTLBEntry *tlb_entry)  static inline void tlb_update_dirty(CPUTLBEntry *tlb_entry)
 {  {
     ram_addr_t ram_addr;      ram_addr_t ram_addr;
Line 2567  static subpage_t *subpage_init (target_p Line 2649  static subpage_t *subpage_init (target_p
    start_addr and region_offset are rounded down to a page boundary     start_addr and region_offset are rounded down to a page boundary
    before calculating this offset.  This should not be a problem unless     before calculating this offset.  This should not be a problem unless
    the low bits of start_addr and region_offset differ.  */     the low bits of start_addr and region_offset differ.  */
 void cpu_register_physical_memory_offset(target_phys_addr_t start_addr,  void cpu_register_physical_memory_log(target_phys_addr_t start_addr,
                                          ram_addr_t size,                                           ram_addr_t size,
                                          ram_addr_t phys_offset,                                           ram_addr_t phys_offset,
                                          ram_addr_t region_offset)                                           ram_addr_t region_offset,
                                            bool log_dirty)
 {  {
     target_phys_addr_t addr, end_addr;      target_phys_addr_t addr, end_addr;
     PhysPageDesc *p;      PhysPageDesc *p;
Line 2578  void cpu_register_physical_memory_offset Line 2661  void cpu_register_physical_memory_offset
     ram_addr_t orig_size = size;      ram_addr_t orig_size = size;
     subpage_t *subpage;      subpage_t *subpage;
   
     cpu_notify_set_memory(start_addr, size, phys_offset);      assert(size);
       cpu_notify_set_memory(start_addr, size, phys_offset, log_dirty);
   
     if (phys_offset == IO_MEM_UNASSIGNED) {      if (phys_offset == IO_MEM_UNASSIGNED) {
         region_offset = start_addr;          region_offset = start_addr;
Line 2586  void cpu_register_physical_memory_offset Line 2670  void cpu_register_physical_memory_offset
     region_offset &= TARGET_PAGE_MASK;      region_offset &= TARGET_PAGE_MASK;
     size = (size + TARGET_PAGE_SIZE - 1) & TARGET_PAGE_MASK;      size = (size + TARGET_PAGE_SIZE - 1) & TARGET_PAGE_MASK;
     end_addr = start_addr + (target_phys_addr_t)size;      end_addr = start_addr + (target_phys_addr_t)size;
     for(addr = start_addr; addr != end_addr; addr += TARGET_PAGE_SIZE) {  
       addr = start_addr;
       do {
         p = phys_page_find(addr >> TARGET_PAGE_BITS);          p = phys_page_find(addr >> TARGET_PAGE_BITS);
         if (p && p->phys_offset != IO_MEM_UNASSIGNED) {          if (p && p->phys_offset != IO_MEM_UNASSIGNED) {
             ram_addr_t orig_memory = p->phys_offset;              ram_addr_t orig_memory = p->phys_offset;
Line 2638  void cpu_register_physical_memory_offset Line 2724  void cpu_register_physical_memory_offset
             }              }
         }          }
         region_offset += TARGET_PAGE_SIZE;          region_offset += TARGET_PAGE_SIZE;
     }          addr += TARGET_PAGE_SIZE;
       } while (addr != end_addr);
   
     /* since each CPU stores ram addresses in its TLB cache, we must      /* since each CPU stores ram addresses in its TLB cache, we must
        reset the modified entries */         reset the modified entries */
Line 2835  ram_addr_t qemu_ram_alloc_from_ptr(Devic Line 2922  ram_addr_t qemu_ram_alloc_from_ptr(Devic
         }          }
     }      }
   
       new_block->offset = find_ram_offset(size);
     if (host) {      if (host) {
         new_block->host = host;          new_block->host = host;
           new_block->flags |= RAM_PREALLOC_MASK;
     } else {      } else {
         if (mem_path) {          if (mem_path) {
 #if defined (__linux__) && !defined(TARGET_S390X)  #if defined (__linux__) && !defined(TARGET_S390X)
Line 2851  ram_addr_t qemu_ram_alloc_from_ptr(Devic Line 2940  ram_addr_t qemu_ram_alloc_from_ptr(Devic
 #endif  #endif
         } else {          } else {
 #if defined(TARGET_S390X) && defined(CONFIG_KVM)  #if defined(TARGET_S390X) && defined(CONFIG_KVM)
             /* XXX S390 KVM requires the topmost vma of the RAM to be < 256GB */              /* S390 KVM requires the topmost vma of the RAM to be smaller than
             new_block->host = mmap((void*)0x1000000, size,                 an system defined value, which is at least 256GB. Larger systems
                  have larger values. We put the guest between the end of data
                  segment (system break) and this value. We use 32GB as a base to
                  have enough room for the system break to grow. */
               new_block->host = mmap((void*)0x800000000, size,
                                    PROT_EXEC|PROT_READ|PROT_WRITE,                                     PROT_EXEC|PROT_READ|PROT_WRITE,
                                    MAP_SHARED | MAP_ANONYMOUS, -1, 0);                                     MAP_SHARED | MAP_ANONYMOUS | MAP_FIXED, -1, 0);
               if (new_block->host == MAP_FAILED) {
                   fprintf(stderr, "Allocating RAM failed\n");
                   abort();
               }
 #else  #else
             new_block->host = qemu_vmalloc(size);              if (xen_enabled()) {
                   xen_ram_alloc(new_block->offset, size);
               } else {
                   new_block->host = qemu_vmalloc(size);
               }
 #endif  #endif
             qemu_madvise(new_block->host, size, QEMU_MADV_MERGEABLE);              qemu_madvise(new_block->host, size, QEMU_MADV_MERGEABLE);
         }          }
     }      }
   
     new_block->offset = find_ram_offset(size);  
     new_block->length = size;      new_block->length = size;
   
     QLIST_INSERT_HEAD(&ram_list.blocks, new_block, next);      QLIST_INSERT_HEAD(&ram_list.blocks, new_block, next);
Line 2883  ram_addr_t qemu_ram_alloc(DeviceState *d Line 2982  ram_addr_t qemu_ram_alloc(DeviceState *d
     return qemu_ram_alloc_from_ptr(dev, name, size, NULL);      return qemu_ram_alloc_from_ptr(dev, name, size, NULL);
 }  }
   
   void qemu_ram_free_from_ptr(ram_addr_t addr)
   {
       RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr == block->offset) {
               QLIST_REMOVE(block, next);
               qemu_free(block);
               return;
           }
       }
   }
   
 void qemu_ram_free(ram_addr_t addr)  void qemu_ram_free(ram_addr_t addr)
 {  {
     RAMBlock *block;      RAMBlock *block;
Line 2890  void qemu_ram_free(ram_addr_t addr) Line 3002  void qemu_ram_free(ram_addr_t addr)
     QLIST_FOREACH(block, &ram_list.blocks, next) {      QLIST_FOREACH(block, &ram_list.blocks, next) {
         if (addr == block->offset) {          if (addr == block->offset) {
             QLIST_REMOVE(block, next);              QLIST_REMOVE(block, next);
             if (mem_path) {              if (block->flags & RAM_PREALLOC_MASK) {
                   ;
               } else if (mem_path) {
 #if defined (__linux__) && !defined(TARGET_S390X)  #if defined (__linux__) && !defined(TARGET_S390X)
                 if (block->fd) {                  if (block->fd) {
                     munmap(block->host, block->length);                      munmap(block->host, block->length);
Line 2898  void qemu_ram_free(ram_addr_t addr) Line 3012  void qemu_ram_free(ram_addr_t addr)
                 } else {                  } else {
                     qemu_vfree(block->host);                      qemu_vfree(block->host);
                 }                  }
   #else
                   abort();
 #endif  #endif
             } else {              } else {
 #if defined(TARGET_S390X) && defined(CONFIG_KVM)  #if defined(TARGET_S390X) && defined(CONFIG_KVM)
                 munmap(block->host, block->length);                  munmap(block->host, block->length);
 #else  #else
                 qemu_vfree(block->host);                  if (xen_enabled()) {
                       xen_invalidate_map_cache_entry(block->host);
                   } else {
                       qemu_vfree(block->host);
                   }
 #endif  #endif
             }              }
             qemu_free(block);              qemu_free(block);
Line 2913  void qemu_ram_free(ram_addr_t addr) Line 3033  void qemu_ram_free(ram_addr_t addr)
   
 }  }
   
   #ifndef _WIN32
   void qemu_ram_remap(ram_addr_t addr, ram_addr_t length)
   {
       RAMBlock *block;
       ram_addr_t offset;
       int flags;
       void *area, *vaddr;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           offset = addr - block->offset;
           if (offset < block->length) {
               vaddr = block->host + offset;
               if (block->flags & RAM_PREALLOC_MASK) {
                   ;
               } else {
                   flags = MAP_FIXED;
                   munmap(vaddr, length);
                   if (mem_path) {
   #if defined(__linux__) && !defined(TARGET_S390X)
                       if (block->fd) {
   #ifdef MAP_POPULATE
                           flags |= mem_prealloc ? MAP_POPULATE | MAP_SHARED :
                               MAP_PRIVATE;
   #else
                           flags |= MAP_PRIVATE;
   #endif
                           area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                       flags, block->fd, offset);
                       } else {
                           flags |= MAP_PRIVATE | MAP_ANONYMOUS;
                           area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                       flags, -1, 0);
                       }
   #else
                       abort();
   #endif
                   } else {
   #if defined(TARGET_S390X) && defined(CONFIG_KVM)
                       flags |= MAP_SHARED | MAP_ANONYMOUS;
                       area = mmap(vaddr, length, PROT_EXEC|PROT_READ|PROT_WRITE,
                                   flags, -1, 0);
   #else
                       flags |= MAP_PRIVATE | MAP_ANONYMOUS;
                       area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                   flags, -1, 0);
   #endif
                   }
                   if (area != vaddr) {
                       fprintf(stderr, "Could not remap addr: %lx@%lx\n",
                               length, addr);
                       exit(1);
                   }
                   qemu_madvise(vaddr, length, QEMU_MADV_MERGEABLE);
               }
               return;
           }
       }
   }
   #endif /* !_WIN32 */
   
 /* Return a host pointer to ram allocated with qemu_ram_alloc.  /* Return a host pointer to ram allocated with qemu_ram_alloc.
    With the exception of the softmmu code in this file, this should     With the exception of the softmmu code in this file, this should
    only be used for local memory (e.g. video ram) that the device owns,     only be used for local memory (e.g. video ram) that the device owns,
Line 2927  void *qemu_get_ram_ptr(ram_addr_t addr) Line 3107  void *qemu_get_ram_ptr(ram_addr_t addr)
   
     QLIST_FOREACH(block, &ram_list.blocks, next) {      QLIST_FOREACH(block, &ram_list.blocks, next) {
         if (addr - block->offset < block->length) {          if (addr - block->offset < block->length) {
             QLIST_REMOVE(block, next);              /* Move this entry to to start of the list.  */
             QLIST_INSERT_HEAD(&ram_list.blocks, block, next);              if (block != QLIST_FIRST(&ram_list.blocks)) {
                   QLIST_REMOVE(block, next);
                   QLIST_INSERT_HEAD(&ram_list.blocks, block, next);
               }
               if (xen_enabled()) {
                   /* We need to check if the requested address is in the RAM
                    * because we don't want to map the entire memory in QEMU.
                    * In that case just map until the end of the page.
                    */
                   if (block->offset == 0) {
                       return xen_map_cache(addr, 0, 0);
                   } else if (block->host == NULL) {
                       block->host =
                           xen_map_cache(block->offset, block->length, 1);
                   }
               }
             return block->host + (addr - block->offset);              return block->host + (addr - block->offset);
         }          }
     }      }
Line 2948  void *qemu_safe_ram_ptr(ram_addr_t addr) Line 3143  void *qemu_safe_ram_ptr(ram_addr_t addr)
   
     QLIST_FOREACH(block, &ram_list.blocks, next) {      QLIST_FOREACH(block, &ram_list.blocks, next) {
         if (addr - block->offset < block->length) {          if (addr - block->offset < block->length) {
               if (xen_enabled()) {
                   /* We need to check if the requested address is in the RAM
                    * because we don't want to map the entire memory in QEMU.
                    * In that case just map until the end of the page.
                    */
                   if (block->offset == 0) {
                       return xen_map_cache(addr, 0, 0);
                   } else if (block->host == NULL) {
                       block->host =
                           xen_map_cache(block->offset, block->length, 1);
                   }
               }
             return block->host + (addr - block->offset);              return block->host + (addr - block->offset);
         }          }
     }      }
Line 2958  void *qemu_safe_ram_ptr(ram_addr_t addr) Line 3165  void *qemu_safe_ram_ptr(ram_addr_t addr)
     return NULL;      return NULL;
 }  }
   
   /* Return a host pointer to guest's ram. Similar to qemu_get_ram_ptr
    * but takes a size argument */
   void *qemu_ram_ptr_length(ram_addr_t addr, ram_addr_t *size)
   {
       if (*size == 0) {
           return NULL;
       }
       if (xen_enabled()) {
           return xen_map_cache(addr, *size, 1);
       } else {
           RAMBlock *block;
   
           QLIST_FOREACH(block, &ram_list.blocks, next) {
               if (addr - block->offset < block->length) {
                   if (addr - block->offset + *size > block->length)
                       *size = block->length - addr + block->offset;
                   return block->host + (addr - block->offset);
               }
           }
   
           fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
           abort();
       }
   }
   
   void qemu_put_ram_ptr(void *addr)
   {
       trace_qemu_put_ram_ptr(addr);
   }
   
 int qemu_ram_addr_from_host(void *ptr, ram_addr_t *ram_addr)  int qemu_ram_addr_from_host(void *ptr, ram_addr_t *ram_addr)
 {  {
     RAMBlock *block;      RAMBlock *block;
     uint8_t *host = ptr;      uint8_t *host = ptr;
   
       if (xen_enabled()) {
           *ram_addr = xen_ram_addr_from_mapcache(ptr);
           return 0;
       }
   
     QLIST_FOREACH(block, &ram_list.blocks, next) {      QLIST_FOREACH(block, &ram_list.blocks, next) {
           /* This case append when the block is not mapped. */
           if (block->host == NULL) {
               continue;
           }
         if (host - block->host < block->length) {          if (host - block->host < block->length) {
             *ram_addr = block->offset + (host - block->host);              *ram_addr = block->offset + (host - block->host);
             return 0;              return 0;
         }          }
     }      }
   
     return -1;      return -1;
 }  }
   
Line 2990  static uint32_t unassigned_mem_readb(voi Line 3237  static uint32_t unassigned_mem_readb(voi
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);      printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 0, 0, 0, 1);      cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 1);
 #endif  #endif
     return 0;      return 0;
 }  }
Line 3001  static uint32_t unassigned_mem_readw(voi Line 3248  static uint32_t unassigned_mem_readw(voi
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);      printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 0, 0, 0, 2);      cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 2);
 #endif  #endif
     return 0;      return 0;
 }  }
Line 3012  static uint32_t unassigned_mem_readl(voi Line 3259  static uint32_t unassigned_mem_readl(voi
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);      printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 0, 0, 0, 4);      cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 4);
 #endif  #endif
     return 0;      return 0;
 }  }
Line 3023  static void unassigned_mem_writeb(void * Line 3270  static void unassigned_mem_writeb(void *
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);      printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 1, 0, 0, 1);      cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 1);
 #endif  #endif
 }  }
   
Line 3033  static void unassigned_mem_writew(void * Line 3280  static void unassigned_mem_writew(void *
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);      printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 1, 0, 0, 2);      cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 2);
 #endif  #endif
 }  }
   
Line 3043  static void unassigned_mem_writel(void * Line 3290  static void unassigned_mem_writel(void *
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);      printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 1, 0, 0, 4);      cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 4);
 #endif  #endif
 }  }
   
Line 3161  static void check_watchpoint(int offset, Line 3408  static void check_watchpoint(int offset,
                     cpu_abort(env, "check_watchpoint: could not find TB for "                      cpu_abort(env, "check_watchpoint: could not find TB for "
                               "pc=%p", (void *)env->mem_io_pc);                                "pc=%p", (void *)env->mem_io_pc);
                 }                  }
                 cpu_restore_state(tb, env, env->mem_io_pc, NULL);                  cpu_restore_state(tb, env, env->mem_io_pc);
                 tb_phys_invalidate(tb, -1);                  tb_phys_invalidate(tb, -1);
                 if (wp->flags & BP_STOP_BEFORE_ACCESS) {                  if (wp->flags & BP_STOP_BEFORE_ACCESS) {
                     env->exception_index = EXCP_DEBUG;                      env->exception_index = EXCP_DEBUG;
Line 3663  void cpu_physical_memory_rw(target_phys_ Line 3910  void cpu_physical_memory_rw(target_phys_
                     cpu_physical_memory_set_dirty_flags(                      cpu_physical_memory_set_dirty_flags(
                         addr1, (0xff & ~CODE_DIRTY_FLAG));                          addr1, (0xff & ~CODE_DIRTY_FLAG));
                 }                  }
                   qemu_put_ram_ptr(ptr);
             }              }
         } else {          } else {
             if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&              if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
Line 3690  void cpu_physical_memory_rw(target_phys_ Line 3938  void cpu_physical_memory_rw(target_phys_
                 }                  }
             } else {              } else {
                 /* RAM case */                  /* RAM case */
                 ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +                  ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK);
                     (addr & ~TARGET_PAGE_MASK);                  memcpy(buf, ptr + (addr & ~TARGET_PAGE_MASK), l);
                 memcpy(buf, ptr, l);                  qemu_put_ram_ptr(ptr);
             }              }
         }          }
         len -= l;          len -= l;
Line 3733  void cpu_physical_memory_write_rom(targe Line 3981  void cpu_physical_memory_write_rom(targe
             /* ROM/RAM case */              /* ROM/RAM case */
             ptr = qemu_get_ram_ptr(addr1);              ptr = qemu_get_ram_ptr(addr1);
             memcpy(ptr, buf, l);              memcpy(ptr, buf, l);
               qemu_put_ram_ptr(ptr);
         }          }
         len -= l;          len -= l;
         buf += l;          buf += l;
Line 3798  void *cpu_physical_memory_map(target_phy Line 4047  void *cpu_physical_memory_map(target_phy
                               int is_write)                                int is_write)
 {  {
     target_phys_addr_t len = *plen;      target_phys_addr_t len = *plen;
     target_phys_addr_t done = 0;      target_phys_addr_t todo = 0;
     int l;      int l;
     uint8_t *ret = NULL;  
     uint8_t *ptr;  
     target_phys_addr_t page;      target_phys_addr_t page;
     unsigned long pd;      unsigned long pd;
     PhysPageDesc *p;      PhysPageDesc *p;
     unsigned long addr1;      ram_addr_t raddr = ULONG_MAX;
       ram_addr_t rlen;
       void *ret;
   
     while (len > 0) {      while (len > 0) {
         page = addr & TARGET_PAGE_MASK;          page = addr & TARGET_PAGE_MASK;
Line 3820  void *cpu_physical_memory_map(target_phy Line 4069  void *cpu_physical_memory_map(target_phy
         }          }
   
         if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {          if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
             if (done || bounce.buffer) {              if (todo || bounce.buffer) {
                 break;                  break;
             }              }
             bounce.buffer = qemu_memalign(TARGET_PAGE_SIZE, TARGET_PAGE_SIZE);              bounce.buffer = qemu_memalign(TARGET_PAGE_SIZE, TARGET_PAGE_SIZE);
             bounce.addr = addr;              bounce.addr = addr;
             bounce.len = l;              bounce.len = l;
             if (!is_write) {              if (!is_write) {
                 cpu_physical_memory_rw(addr, bounce.buffer, l, 0);                  cpu_physical_memory_read(addr, bounce.buffer, l);
             }              }
             ptr = bounce.buffer;  
         } else {              *plen = l;
             addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);              return bounce.buffer;
             ptr = qemu_get_ram_ptr(addr1);  
         }          }
         if (!done) {          if (!todo) {
             ret = ptr;              raddr = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         } else if (ret + done != ptr) {  
             break;  
         }          }
   
         len -= l;          len -= l;
         addr += l;          addr += l;
         done += l;          todo += l;
     }      }
     *plen = done;      rlen = todo;
       ret = qemu_ram_ptr_length(raddr, &rlen);
       *plen = rlen;
     return ret;      return ret;
 }  }
   
Line 3874  void cpu_physical_memory_unmap(void *buf Line 4122  void cpu_physical_memory_unmap(void *buf
                 access_len -= l;                  access_len -= l;
             }              }
         }          }
           if (xen_enabled()) {
               xen_invalidate_map_cache_entry(buffer);
           }
         return;          return;
     }      }
     if (is_write) {      if (is_write) {
Line 3885  void cpu_physical_memory_unmap(void *buf Line 4136  void cpu_physical_memory_unmap(void *buf
 }  }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 uint32_t ldl_phys(target_phys_addr_t addr)  static inline uint32_t ldl_phys_internal(target_phys_addr_t addr,
                                            enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 3907  uint32_t ldl_phys(target_phys_addr_t add Line 4159  uint32_t ldl_phys(target_phys_addr_t add
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
         val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);          val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap32(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap32(val);
           }
   #endif
     } else {      } else {
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +          ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
             (addr & ~TARGET_PAGE_MASK);              (addr & ~TARGET_PAGE_MASK);
         val = ldl_p(ptr);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = ldl_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = ldl_be_p(ptr);
               break;
           default:
               val = ldl_p(ptr);
               break;
           }
     }      }
     return val;      return val;
 }  }
   
   uint32_t ldl_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
   }
   
   uint32_t ldl_le_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint32_t ldl_be_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_BIG_ENDIAN);
   }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 uint64_t ldq_phys(target_phys_addr_t addr)  static inline uint64_t ldq_phys_internal(target_phys_addr_t addr,
                                            enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 3938  uint64_t ldq_phys(target_phys_addr_t add Line 4225  uint64_t ldq_phys(target_phys_addr_t add
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   
           /* XXX This is broken when device endian != cpu endian.
                  Fix and add "endian" variable check */
 #ifdef TARGET_WORDS_BIGENDIAN  #ifdef TARGET_WORDS_BIGENDIAN
         val = (uint64_t)io_mem_read[io_index][2](io_mem_opaque[io_index], addr) << 32;          val = (uint64_t)io_mem_read[io_index][2](io_mem_opaque[io_index], addr) << 32;
         val |= io_mem_read[io_index][2](io_mem_opaque[io_index], addr + 4);          val |= io_mem_read[io_index][2](io_mem_opaque[io_index], addr + 4);
Line 3949  uint64_t ldq_phys(target_phys_addr_t add Line 4239  uint64_t ldq_phys(target_phys_addr_t add
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +          ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
             (addr & ~TARGET_PAGE_MASK);              (addr & ~TARGET_PAGE_MASK);
         val = ldq_p(ptr);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = ldq_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = ldq_be_p(ptr);
               break;
           default:
               val = ldq_p(ptr);
               break;
           }
     }      }
     return val;      return val;
 }  }
   
   uint64_t ldq_phys(target_phys_addr_t addr)
   {
       return ldq_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
   }
   
   uint64_t ldq_le_phys(target_phys_addr_t addr)
   {
       return ldq_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint64_t ldq_be_phys(target_phys_addr_t addr)
   {
       return ldq_phys_internal(addr, DEVICE_BIG_ENDIAN);
   }
   
 /* XXX: optimize */  /* XXX: optimize */
 uint32_t ldub_phys(target_phys_addr_t addr)  uint32_t ldub_phys(target_phys_addr_t addr)
 {  {
Line 3963  uint32_t ldub_phys(target_phys_addr_t ad Line 4278  uint32_t ldub_phys(target_phys_addr_t ad
 }  }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 uint32_t lduw_phys(target_phys_addr_t addr)  static inline uint32_t lduw_phys_internal(target_phys_addr_t addr,
                                             enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 3985  uint32_t lduw_phys(target_phys_addr_t ad Line 4301  uint32_t lduw_phys(target_phys_addr_t ad
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
         val = io_mem_read[io_index][1](io_mem_opaque[io_index], addr);          val = io_mem_read[io_index][1](io_mem_opaque[io_index], addr);
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap16(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap16(val);
           }
   #endif
     } else {      } else {
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +          ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
             (addr & ~TARGET_PAGE_MASK);              (addr & ~TARGET_PAGE_MASK);
         val = lduw_p(ptr);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = lduw_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = lduw_be_p(ptr);
               break;
           default:
               val = lduw_p(ptr);
               break;
           }
     }      }
     return val;      return val;
 }  }
   
   uint32_t lduw_phys(target_phys_addr_t addr)
   {
       return lduw_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
   }
   
   uint32_t lduw_le_phys(target_phys_addr_t addr)
   {
       return lduw_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint32_t lduw_be_phys(target_phys_addr_t addr)
   {
       return lduw_phys_internal(addr, DEVICE_BIG_ENDIAN);
   }
   
 /* warning: addr must be aligned. The ram page is not masked as dirty  /* warning: addr must be aligned. The ram page is not masked as dirty
    and the code inside is not invalidated. It is useful if the dirty     and the code inside is not invalidated. It is useful if the dirty
    bits are used to track modified PTEs */     bits are used to track modified PTEs */
Line 4066  void stq_phys_notdirty(target_phys_addr_ Line 4416  void stq_phys_notdirty(target_phys_addr_
 }  }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 void stl_phys(target_phys_addr_t addr, uint32_t val)  static inline void stl_phys_internal(target_phys_addr_t addr, uint32_t val,
                                        enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 4084  void stl_phys(target_phys_addr_t addr, u Line 4435  void stl_phys(target_phys_addr_t addr, u
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap32(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap32(val);
           }
   #endif
         io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);          io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);
     } else {      } else {
         unsigned long addr1;          unsigned long addr1;
         addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);          addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(addr1);          ptr = qemu_get_ram_ptr(addr1);
         stl_p(ptr, val);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               stl_le_p(ptr, val);
               break;
           case DEVICE_BIG_ENDIAN:
               stl_be_p(ptr, val);
               break;
           default:
               stl_p(ptr, val);
               break;
           }
         if (!cpu_physical_memory_is_dirty(addr1)) {          if (!cpu_physical_memory_is_dirty(addr1)) {
             /* invalidate code */              /* invalidate code */
             tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);              tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);
Line 4101  void stl_phys(target_phys_addr_t addr, u Line 4471  void stl_phys(target_phys_addr_t addr, u
     }      }
 }  }
   
   void stl_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_NATIVE_ENDIAN);
   }
   
   void stl_le_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_LITTLE_ENDIAN);
   }
   
   void stl_be_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_BIG_ENDIAN);
   }
   
 /* XXX: optimize */  /* XXX: optimize */
 void stb_phys(target_phys_addr_t addr, uint32_t val)  void stb_phys(target_phys_addr_t addr, uint32_t val)
 {  {
Line 4109  void stb_phys(target_phys_addr_t addr, u Line 4494  void stb_phys(target_phys_addr_t addr, u
 }  }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 void stw_phys(target_phys_addr_t addr, uint32_t val)  static inline void stw_phys_internal(target_phys_addr_t addr, uint32_t val,
                                        enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 4127  void stw_phys(target_phys_addr_t addr, u Line 4513  void stw_phys(target_phys_addr_t addr, u
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap16(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap16(val);
           }
   #endif
         io_mem_write[io_index][1](io_mem_opaque[io_index], addr, val);          io_mem_write[io_index][1](io_mem_opaque[io_index], addr, val);
     } else {      } else {
         unsigned long addr1;          unsigned long addr1;
         addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);          addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(addr1);          ptr = qemu_get_ram_ptr(addr1);
         stw_p(ptr, val);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               stw_le_p(ptr, val);
               break;
           case DEVICE_BIG_ENDIAN:
               stw_be_p(ptr, val);
               break;
           default:
               stw_p(ptr, val);
               break;
           }
         if (!cpu_physical_memory_is_dirty(addr1)) {          if (!cpu_physical_memory_is_dirty(addr1)) {
             /* invalidate code */              /* invalidate code */
             tb_invalidate_phys_page_range(addr1, addr1 + 2, 0);              tb_invalidate_phys_page_range(addr1, addr1 + 2, 0);
Line 4144  void stw_phys(target_phys_addr_t addr, u Line 4549  void stw_phys(target_phys_addr_t addr, u
     }      }
 }  }
   
   void stw_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_NATIVE_ENDIAN);
   }
   
   void stw_le_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_LITTLE_ENDIAN);
   }
   
   void stw_be_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_BIG_ENDIAN);
   }
   
 /* XXX: optimize */  /* XXX: optimize */
 void stq_phys(target_phys_addr_t addr, uint64_t val)  void stq_phys(target_phys_addr_t addr, uint64_t val)
 {  {
     val = tswap64(val);      val = tswap64(val);
     cpu_physical_memory_write(addr, (const uint8_t *)&val, 8);      cpu_physical_memory_write(addr, &val, 8);
   }
   
   void stq_le_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = cpu_to_le64(val);
       cpu_physical_memory_write(addr, &val, 8);
   }
   
   void stq_be_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = cpu_to_be64(val);
       cpu_physical_memory_write(addr, &val, 8);
 }  }
   
 /* virtual memory access for debug (includes writing to ROM) */  /* virtual memory access for debug (includes writing to ROM) */
Line 4196  void cpu_io_recompile(CPUState *env, voi Line 4628  void cpu_io_recompile(CPUState *env, voi
                   retaddr);                    retaddr);
     }      }
     n = env->icount_decr.u16.low + tb->icount;      n = env->icount_decr.u16.low + tb->icount;
     cpu_restore_state(tb, env, (unsigned long)retaddr, NULL);      cpu_restore_state(tb, env, (unsigned long)retaddr);
     /* Calculate how many instructions had been executed before the fault      /* Calculate how many instructions had been executed before the fault
        occurred.  */         occurred.  */
     n = n - env->icount_decr.u16.low;      n = n - env->icount_decr.u16.low;

Removed from v.1.1.1.14  
changed lines
  Added in v.1.1.1.15


unix.superglobalmegacorp.com