Merge branch 'maint'
[gitweb.git] / git-svn.perl
index 1e3a3c08f11372857c5152d7c20b50df8784a673..41961b59f6d7848efbb4e7b91dcb629bbd7d4abb 100755 (executable)
@@ -9,9 +9,11 @@
 $AUTHOR = 'Eric Wong <normalperson@yhbt.net>';
 $VERSION = '@@GIT_VERSION@@';
 
+my $git_dir_user_set = 1 if defined $ENV{GIT_DIR};
 $ENV{GIT_DIR} ||= '.git';
-$Git::SVN::default_repo_id = 'git-svn';
+$Git::SVN::default_repo_id = 'svn';
 $Git::SVN::default_ref_id = $ENV{GIT_SVN_ID} || 'git-svn';
+$Git::SVN::Ra::_log_window_size = 100;
 
 $Git::SVN::Log::TZ = $ENV{TZ};
 $ENV{TZ} = 'UTC';
@@ -48,33 +50,41 @@ BEGIN
 
 my ($SVN);
 
-my $_optimize_commits = 1 unless $ENV{GIT_SVN_NO_OPTIMIZE_COMMITS};
 $sha1 = qr/[a-f\d]{40}/;
 $sha1_short = qr/[a-f\d]{4,40}/;
 my ($_stdin, $_help, $_edit,
        $_message, $_file,
        $_template, $_shared,
-       $_version,
+       $_version, $_fetch_all,
        $_merge, $_strategy, $_dry_run,
-       $_prefix);
-
+       $_prefix, $_no_checkout, $_verbose);
+$Git::SVN::_follow_parent = 1;
 my %remote_opts = ( 'username=s' => \$Git::SVN::Prompt::_username,
                     'config-dir=s' => \$Git::SVN::Ra::config_dir,
                     'no-auth-cache' => \$Git::SVN::Prompt::_no_auth_cache );
-my %fc_opts = ( 'follow-parent|follow' => \$Git::SVN::_follow_parent,
+my %fc_opts = ( 'follow-parent|follow!' => \$Git::SVN::_follow_parent,
                'authors-file|A=s' => \$_authors,
                'repack:i' => \$Git::SVN::_repack,
-               'no-metadata' => \$Git::SVN::_no_metadata,
+               'noMetadata' => \$Git::SVN::_no_metadata,
+               'useSvmProps' => \$Git::SVN::_use_svm_props,
+               'useSvnsyncProps' => \$Git::SVN::_use_svnsync_props,
+               'log-window-size=i' => \$Git::SVN::Ra::_log_window_size,
+               'no-checkout' => \$_no_checkout,
                'quiet|q' => \$_q,
                'repack-flags|repack-args|repack-opts=s' =>
                   \$Git::SVN::_repack_flags,
                %remote_opts );
 
 my ($_trunk, $_tags, $_branches);
-my %multi_opts = ( 'trunk|T=s' => \$_trunk,
-               'tags|t=s' => \$_tags,
-               'branches|b=s' => \$_branches );
-my %init_opts = ( 'template=s' => \$_template, 'shared' => \$_shared );
+my %icv;
+my %init_opts = ( 'template=s' => \$_template, 'shared:s' => \$_shared,
+                  'trunk|T=s' => \$_trunk, 'tags|t=s' => \$_tags,
+                  'branches|b=s' => \$_branches, 'prefix=s' => \$_prefix,
+                 'no-metadata' => sub { $icv{noMetadata} = 1 },
+                 'use-svm-props' => sub { $icv{useSvmProps} = 1 },
+                 'use-svnsync-props' => sub { $icv{useSvnsyncProps} = 1 },
+                 'rewrite-root=s' => sub { $icv{rewriteRoot} = $_[1] },
+                  %remote_opts );
 my %cmt_opts = ( 'edit|e' => \$_edit,
                'rmdir' => \$SVN::Git::Editor::_rmdir,
                'find-copies-harder' => \$SVN::Git::Editor::_find_copies_harder,
@@ -84,35 +94,41 @@ BEGIN
 
 my %cmd = (
        fetch => [ \&cmd_fetch, "Download new revisions from SVN",
-                       { 'revision|r=s' => \$_revision, %fc_opts } ],
+                       { 'revision|r=s' => \$_revision,
+                         'fetch-all|all' => \$_fetch_all,
+                          %fc_opts } ],
+       clone => [ \&cmd_clone, "Initialize and fetch revisions",
+                       { 'revision|r=s' => \$_revision,
+                          %fc_opts, %init_opts } ],
        init => [ \&cmd_init, "Initialize a repo for tracking" .
                          " (requires URL argument)",
                          \%init_opts ],
+       'multi-init' => [ \&cmd_multi_init,
+                         "Deprecated alias for ".
+                         "'$0 init -T<trunk> -b<branches> -t<tags>'",
+                         \%init_opts ],
        dcommit => [ \&cmd_dcommit,
                     'Commit several diffs to merge with upstream',
                        { 'merge|m|M' => \$_merge,
                          'strategy|s=s' => \$_strategy,
+                         'verbose|v' => \$_verbose,
                          'dry-run|n' => \$_dry_run,
+                         'fetch-all|all' => \$_fetch_all,
                        %cmt_opts, %fc_opts } ],
        'set-tree' => [ \&cmd_set_tree,
                        "Set an SVN repository to a git tree-ish",
                        { 'stdin|' => \$_stdin, %cmt_opts, %fc_opts, } ],
        'show-ignore' => [ \&cmd_show_ignore, "Show svn:ignore listings",
                        { 'revision|r=i' => \$_revision } ],
-       'multi-init' => [ \&cmd_multi_init,
-                       'Initialize multiple trees (like git-svnimport)',
-                       { %multi_opts, %init_opts, %remote_opts,
-                        'revision|r=i' => \$_revision,
-                        'prefix=s' => \$_prefix,
-                       } ],
        'multi-fetch' => [ \&cmd_multi_fetch,
-                       'Fetch multiple trees (like git-svnimport)',
-                       \%fc_opts ],
+                          "Deprecated alias for $0 fetch --all",
+                          { 'revision|r=s' => \$_revision, %fc_opts } ],
        'migrate' => [ sub { },
                       # no-op, we automatically run this anyways,
                       'Migrate configuration/metadata/layout from
                        previous versions of git-svn',
-                       \%remote_opts ],
+                       { 'minimize' => \$Git::SVN::Migration::_minimize,
+                        %remote_opts } ],
        'log' => [ \&Git::SVN::Log::cmd_show_log, 'Show commit logs',
                        { 'limit=i' => \$Git::SVN::Log::limit,
                          'revision|r=s' => \$_revision,
@@ -125,6 +141,12 @@ BEGIN
                          'color' => \$Git::SVN::Log::color,
                          'pager=s' => \$Git::SVN::Log::pager,
                        } ],
+       'rebase' => [ \&cmd_rebase, "Fetch and rebase your working directory",
+                       { 'merge|m|M' => \$_merge,
+                         'verbose|v' => \$_verbose,
+                         'strategy|s=s' => \$_strategy,
+                         'fetch-all|all' => \$_fetch_all,
+                         %fc_opts } ],
        'commit-diff' => [ \&cmd_commit_diff,
                           'Commit a diff between two trees',
                        { 'message|m=s' => \$_message,
@@ -148,14 +170,38 @@ BEGIN
 my $rv = GetOptions(%opts, 'help|H|h' => \$_help, 'version|V' => \$_version,
                     'minimize-connections' => \$Git::SVN::Migration::_minimize,
                     'id|i=s' => \$Git::SVN::default_ref_id,
-                    'svn-remote|remote|R=s' => \$Git::SVN::default_repo_id);
+                    'svn-remote|remote|R=s' => sub {
+                       $Git::SVN::no_reuse_existing = 1;
+                       $Git::SVN::default_repo_id = $_[1] });
 exit 1 if (!$rv && $cmd ne 'log');
 
 usage(0) if $_help;
 version() if $_version;
 usage(1) unless defined $cmd;
 load_authors() if $_authors;
-unless ($cmd =~ /^(?:init|multi-init|commit-diff)$/) {
+
+# make sure we're always running
+unless ($cmd =~ /(?:clone|init|multi-init)$/) {
+       unless (-d $ENV{GIT_DIR}) {
+               if ($git_dir_user_set) {
+                       die "GIT_DIR=$ENV{GIT_DIR} explicitly set, ",
+                           "but it is not a directory\n";
+               }
+               my $git_dir = delete $ENV{GIT_DIR};
+               chomp(my $cdup = command_oneline(qw/rev-parse --show-cdup/));
+               unless (length $cdup) {
+                       die "Already at toplevel, but $git_dir ",
+                           "not found '$cdup'\n";
+               }
+               chdir $cdup or die "Unable to chdir up to '$cdup'\n";
+               unless (-d $git_dir) {
+                       die "$git_dir still not found after going to ",
+                           "'$cdup'\n";
+               }
+               $ENV{GIT_DIR} = $git_dir;
+       }
+}
+unless ($cmd =~ /^(?:clone|init|multi-init|commit-diff)$/) {
        Git::SVN::Migration::migration_check();
 }
 Git::SVN::init_vars();
@@ -164,6 +210,7 @@ BEGIN
        $cmd{$cmd}->[0]->(@ARGV);
 };
 fatal $@ if $@;
+post_fetch_checkout();
 exit 0;
 
 ####################### primary functions ######################
@@ -178,6 +225,7 @@ sub usage {
 
        foreach (sort keys %cmd) {
                next if $cmd && $cmd ne $_;
+               next if /^multi-/; # don't show deprecated commands
                print $fd '  ',pack('A17',$_),$cmd{$_}->[1],"\n";
                foreach (keys %{$cmd{$_}->[2]}) {
                        # prints out arguments as they should be passed:
@@ -205,37 +253,70 @@ sub do_git_init_db {
        unless (-d $ENV{GIT_DIR}) {
                my @init_db = ('init');
                push @init_db, "--template=$_template" if defined $_template;
-               push @init_db, "--shared" if defined $_shared;
+               if (defined $_shared) {
+                       if ($_shared =~ /[a-z]/) {
+                               push @init_db, "--shared=$_shared";
+                       } else {
+                               push @init_db, "--shared";
+                       }
+               }
                command_noisy(@init_db);
        }
+       my $set;
+       my $pfx = "svn-remote.$Git::SVN::default_repo_id";
+       foreach my $i (keys %icv) {
+               die "'$set' and '$i' cannot both be set\n" if $set;
+               next unless defined $icv{$i};
+               command_noisy('config', "$pfx.$i", $icv{$i});
+               $set = $i;
+       }
+}
+
+sub init_subdir {
+       my $repo_path = shift or return;
+       mkpath([$repo_path]) unless -d $repo_path;
+       chdir $repo_path or die "Couldn't chdir to $repo_path: $!\n";
+       $ENV{GIT_DIR} = '.git';
+}
+
+sub cmd_clone {
+       my ($url, $path) = @_;
+       if (!defined $path &&
+           (defined $_trunk || defined $_branches || defined $_tags) &&
+           $url !~ m#^[a-z\+]+://#) {
+               $path = $url;
+       }
+       $path = basename($url) if !defined $path || !length $path;
+       cmd_init($url, $path);
+       Git::SVN::fetch_all($Git::SVN::default_repo_id);
 }
 
 sub cmd_init {
-       my $url = shift or die "SVN repository location required " .
-                               "as a command-line argument\n";
-       if (my $repo_path = shift) {
-               unless (-d $repo_path) {
-                       mkpath([$repo_path]);
-               }
-               chdir $repo_path or croak $!;
-               $ENV{GIT_DIR} = $repo_path . "/.git";
+       if (defined $_trunk || defined $_branches || defined $_tags) {
+               return cmd_multi_init(@_);
        }
+       my $url = shift or die "SVN repository location required ",
+                              "as a command-line argument\n";
+       init_subdir(@_);
        do_git_init_db();
 
        Git::SVN->init($url);
 }
 
 sub cmd_fetch {
-       if (@_) {
-               die "Additional fetch arguments are no longer supported.\n",
-                   "Use --follow-parent if you have moved/copied directories
-                   instead.\n";
+       if (grep /^\d+=./, @_) {
+               die "'<rev>=<commit>' fetch arguments are ",
+                   "no longer supported.\n";
        }
-       my $gs = Git::SVN->new;
-       $gs->fetch(parse_revision_argument());
-       if ($gs->{last_commit} && !verify_ref('refs/heads/master^0')) {
-               command_noisy(qw(update-ref refs/heads/master),
-                             $gs->{last_commit});
+       my ($remote) = @_;
+       if (@_ > 1) {
+               die "Usage: $0 fetch [--all] [svn-remote]\n";
+       }
+       $remote ||= $Git::SVN::default_repo_id;
+       if ($_fetch_all) {
+               cmd_multi_fetch();
+       } else {
+               Git::SVN::fetch_all($remote, Git::SVN::read_all_remotes());
        }
 }
 
@@ -276,11 +357,17 @@ sub cmd_set_tree {
 
 sub cmd_dcommit {
        my $head = shift;
-       my $gs = Git::SVN->new;
        $head ||= 'HEAD';
-       my @refs = command(qw/rev-list --no-merges/, $gs->refname."..$head");
+       my @refs;
+       my ($url, $rev, $uuid) = working_head_info($head, \@refs);
+       my $c = $refs[-1];
+       unless (defined $url && defined $rev && defined $uuid) {
+               die "Unable to determine upstream SVN information from ",
+                   "$head history\n";
+       }
+       my $gs = Git::SVN->find_by_url($url);
        my $last_rev;
-       foreach my $d (reverse @refs) {
+       foreach my $d (@refs) {
                if (!verify_ref("$d~1")) {
                        fatal "Commit $d\n",
                              "has no parent commit, and therefore ",
@@ -300,28 +387,33 @@ sub cmd_dcommit {
                } else {
                        my %ed_opts = ( r => $last_rev,
                                        log => get_commit_entry($d)->{log},
-                                       ra => $gs->ra,
+                                       ra => Git::SVN::Ra->new($url),
                                        tree_a => "$d~1",
                                        tree_b => $d,
                                        editor_cb => sub {
                                               print "Committed r$_[0]\n";
                                               $last_rev = $_[0]; },
-                                       svn_path => $gs->{path} );
+                                       svn_path => '');
                        if (!SVN::Git::Editor->new(\%ed_opts)->apply_diff) {
                                print "No changes\n$d~1 == $d\n";
                        }
                }
        }
        return if $_dry_run;
-       $gs->fetch;
+       unless ($gs) {
+               warn "Could not determine fetch information for $url\n",
+                    "Will not attempt to fetch and rebase commits.\n",
+                    "This probably means you have useSvmProps and should\n",
+                    "now resync your SVN::Mirror repository.\n";
+               return;
+       }
+       $_fetch_all ? $gs->fetch_all : $gs->fetch;
        # we always want to rebase against the current HEAD, not any
        # head that was passed to us
        my @diff = command('diff-tree', 'HEAD', $gs->refname, '--');
        my @finish;
        if (@diff) {
-               @finish = qw/rebase/;
-               push @finish, qw/--merge/ if $_merge;
-               push @finish, "--strategy=$_strategy" if $_strategy;
+               @finish = rebase_cmd();
                print STDERR "W: HEAD and ", $gs->refname, " differ, ",
                             "using @finish:\n", "@diff";
        } else {
@@ -333,8 +425,27 @@ sub cmd_dcommit {
        command_noisy(@finish, $gs->refname);
 }
 
+sub cmd_rebase {
+       command_noisy(qw/update-index --refresh/);
+       my $url = (working_head_info('HEAD'))[0];
+       if (!defined $url) {
+               die "Unable to determine upstream SVN information from ",
+                   "working tree history\n";
+       }
+
+       my $gs = Git::SVN->find_by_url($url);
+       if (command(qw/diff-index HEAD --/)) {
+               print STDERR "Cannot rebase with uncommited changes:\n";
+               command_noisy('status');
+               exit 1;
+       }
+       $_fetch_all ? $gs->fetch_all : $gs->fetch;
+       command_noisy(rebase_cmd(), $gs->refname);
+}
+
 sub cmd_show_ignore {
-       my $gs = Git::SVN->new;
+       my $url = (::working_head_info('HEAD'))[0];
+       my $gs = Git::SVN->find_by_url($url) || Git::SVN->new;
        my $r = (defined $_revision ? $_revision : $gs->ra->get_latest_revnum);
        $gs->traverse_ignore(\*STDOUT, '', $r);
 }
@@ -344,9 +455,12 @@ sub cmd_multi_init {
        unless (defined $_trunk || defined $_branches || defined $_tags) {
                usage(1);
        }
-       do_git_init_db();
        $_prefix = '' unless defined $_prefix;
-       $url =~ s#/+$## if defined $url;
+       if (defined $url) {
+               $url =~ s#/+$##;
+               init_subdir(@_);
+       }
+       do_git_init_db();
        if (defined $_trunk) {
                my $trunk_ref = $_prefix . 'trunk';
                # try both old-style and new-style lookups:
@@ -367,9 +481,9 @@ sub cmd_multi_init {
 sub cmd_multi_fetch {
        my $remotes = Git::SVN::read_all_remotes();
        foreach my $repo_id (sort keys %$remotes) {
-               my $url = $remotes->{$repo_id}->{url} or next;
-               my $fetch = $remotes->{$repo_id}->{fetch} or next;
-               Git::SVN::fetch_all($repo_id, $url, $fetch);
+               if ($remotes->{$repo_id}->{url}) {
+                       Git::SVN::fetch_all($repo_id, $remotes);
+               }
        }
 }
 
@@ -424,16 +538,33 @@ sub cmd_commit_diff {
 
 ########################### utility functions #########################
 
-sub parse_revision_argument {
-       if (!defined $_revision || $_revision eq 'BASE:HEAD') {
-               return (undef, undef);
-       }
-       return ($1, $2) if ($_revision =~ /^(\d+):(\d+)$/);
-       return ($_revision, $_revision) if ($_revision =~ /^\d+$/);
-       return (undef, $1) if ($_revision =~ /^BASE:(\d+)$/);
-       return ($1, undef) if ($_revision =~ /^(\d+):HEAD$/);
-       die "revision argument: $_revision not understood by git-svn\n",
-           "Try using the command-line svn client instead\n";
+sub rebase_cmd {
+       my @cmd = qw/rebase/;
+       push @cmd, '-v' if $_verbose;
+       push @cmd, qw/--merge/ if $_merge;
+       push @cmd, "--strategy=$_strategy" if $_strategy;
+       @cmd;
+}
+
+sub post_fetch_checkout {
+       return if $_no_checkout;
+       my $gs = $Git::SVN::_head or return;
+       return if verify_ref('refs/heads/master^0');
+
+       my $valid_head = verify_ref('HEAD^0');
+       command_noisy(qw(update-ref refs/heads/master), $gs->refname);
+       return if ($valid_head || !verify_ref('HEAD^0'));
+
+       return if $ENV{GIT_DIR} !~ m#^(?:.*/)?\.git$#;
+       my $index = $ENV{GIT_INDEX_FILE} || "$ENV{GIT_DIR}/index";
+       return if -f $index;
+
+       chomp(my $bare = `git config --bool --get core.bare`);
+       return if $bare eq 'true';
+       return if command_oneline(qw/rev-parse --is-inside-git-dir/) eq 'true';
+       command_noisy(qw/read-tree -m -u -v HEAD HEAD/);
+       print STDERR "Checked out HEAD:\n  ",
+                    $gs->full_url, " r", $gs->last_rev, "\n";
 }
 
 sub complete_svn_url {
@@ -466,20 +597,24 @@ sub complete_url_ls_init {
                              "and a separate URL is not specified\n");
                }
        }
-       my $r = defined $_revision ? $_revision : $ra->get_latest_revnum;
-       my ($dirent, undef, undef) = $ra->get_dir($repo_path, $r);
        my $url = $ra->{url};
-       foreach my $d (sort keys %$dirent) {
-               next if ($dirent->{$d}->kind != $SVN::Node::dir);
-               my $path =  "$repo_path/$d";
-               my $ref = "$pfx$d";
-               my $gs = eval { Git::SVN->new($ref) };
-               # don't try to init already existing refs
-               unless ($gs) {
-                       print "init $url/$path => $ref\n";
-                       Git::SVN->init($url, $path, undef, $ref);
-               }
+       my $gs = Git::SVN->init($url, undef, undef, undef, 1);
+       my $k = "svn-remote.$gs->{repo_id}.url";
+       my $orig_url = eval { command_oneline(qw/config --get/, $k) };
+       if ($orig_url && ($orig_url ne $gs->{url})) {
+               die "$k already set: $orig_url\n",
+                   "wanted to set to: $gs->{url}\n";
+       }
+       command_oneline('config', $k, $gs->{url}) unless $orig_url;
+       my $remote_path = "$ra->{svn_path}/$repo_path/*";
+       $remote_path =~ s#/+#/#g;
+       $remote_path =~ s#^/##g;
+       my ($n) = ($switch =~ /^--(\w+)/);
+       if (length $pfx && $pfx !~ m#/$#) {
+               die "--prefix='$pfx' must have a trailing slash '/'\n";
        }
+       command_noisy('config', "svn-remote.$gs->{repo_id}.$n",
+                               "$remote_path:refs/remotes/$pfx*");
 }
 
 sub verify_ref {
@@ -588,9 +723,14 @@ sub load_authors {
 sub read_repo_config {
        return unless -d $ENV{GIT_DIR};
        my $opts = shift;
+       my @config_only;
        foreach my $o (keys %$opts) {
+               # if we have mixedCase and a long option-only, then
+               # it's a config-only variable that we don't need for
+               # the command-line.
+               push @config_only, $o if ($o =~ /[A-Z]/ && $o =~ /^[a-z]+$/i);
                my $v = $opts->{$o};
-               my ($key) = ($o =~ /^([a-z\-]+)/);
+               my ($key) = ($o =~ /^([a-zA-Z\-]+)/);
                $key =~ s/-//g;
                my $arg = 'git-config';
                $arg .= ' --int' if ($o =~ /[:=]i$/);
@@ -605,6 +745,7 @@ sub read_repo_config {
                        }
                }
        }
+       delete @$opts{@config_only} if @config_only;
 }
 
 sub extract_metadata {
@@ -624,11 +765,26 @@ sub cmt_metadata {
                command(qw/cat-file commit/, shift)))[-1]);
 }
 
+sub working_head_info {
+       my ($head, $refs) = @_;
+       my ($url, $rev, $uuid);
+       my ($fh, $ctx) = command_output_pipe('rev-list', $head);
+       while (<$fh>) {
+               chomp;
+               ($url, $rev, $uuid) = cmt_metadata($_);
+               last if (defined $url && defined $rev && defined $uuid);
+               unshift @$refs, $_ if $refs;
+       }
+       close $fh; # break the pipe
+       ($url, $rev, $uuid);
+}
+
 package Git::SVN;
 use strict;
 use warnings;
 use vars qw/$default_repo_id $default_ref_id $_no_metadata $_follow_parent
-            $_repack $_repack_flags/;
+            $_repack $_repack_flags $_use_svm_props $_head
+            $_use_svnsync_props $no_reuse_existing/;
 use Carp qw/croak/;
 use File::Path qw/mkpath/;
 use File::Copy qw/copy/;
@@ -644,27 +800,125 @@ BEGIN
                                        svn:entry:last-author
                                        svn:entry:uuid
                                        svn:entry:committed-date/;
+
+       # some options are read globally, but can be overridden locally
+       # per [svn-remote "..."] section.  Command-line options will *NOT*
+       # override options set in an [svn-remote "..."] section
+       my $e;
+       foreach (qw/follow_parent no_metadata use_svm_props
+                   use_svnsync_props/) {
+               my $key = $_;
+               $key =~ tr/_//d;
+               $e .= "sub $_ {
+                       my (\$self) = \@_;
+                       return \$self->{-$_} if exists \$self->{-$_};
+                       my \$k = \"svn-remote.\$self->{repo_id}\.$key\";
+                       eval { command_oneline(qw/config --get/, \$k) };
+                       if (\$@) {
+                               \$self->{-$_} = \$Git::SVN::_$_;
+                       } else {
+                               my \$v = command_oneline(qw/config --bool/,\$k);
+                               \$self->{-$_} = \$v eq 'false' ? 0 : 1;
+                       }
+                       return \$self->{-$_} }\n";
+       }
+       $e .= "1;\n";
+       eval $e or die $@;
 }
 
 my %LOCKFILES;
 END { unlink keys %LOCKFILES if %LOCKFILES }
 
+sub resolve_local_globs {
+       my ($url, $fetch, $glob_spec) = @_;
+       return unless defined $glob_spec;
+       my $ref = $glob_spec->{ref};
+       my $path = $glob_spec->{path};
+       foreach (command(qw#for-each-ref --format=%(refname) refs/remotes#)) {
+               next unless m#^refs/remotes/$ref->{regex}$#;
+               my $p = $1;
+               my $pathname = $path->full_path($p);
+               my $refname = $ref->full_path($p);
+               if (my $existing = $fetch->{$pathname}) {
+                       if ($existing ne $refname) {
+                               die "Refspec conflict:\n",
+                                   "existing: refs/remotes/$existing\n",
+                                   " globbed: refs/remotes/$refname\n";
+                       }
+                       my $u = (::cmt_metadata("refs/remotes/$refname"))[0];
+                       $u =~ s!^\Q$url\E(/|$)!! or die
+                         "refs/remotes/$refname: '$url' not found in '$u'\n";
+                       if ($pathname ne $u) {
+                               warn "W: Refspec glob conflict ",
+                                    "(ref: refs/remotes/$refname):\n",
+                                    "expected path: $pathname\n",
+                                    "    real path: $u\n",
+                                    "Continuing ahead with $u\n";
+                               next;
+                       }
+               } else {
+                       $fetch->{$pathname} = $refname;
+               }
+       }
+}
+
+sub parse_revision_argument {
+       my ($base, $head) = @_;
+       if (!defined $::_revision || $::_revision eq 'BASE:HEAD') {
+               return ($base, $head);
+       }
+       return ($1, $2) if ($::_revision =~ /^(\d+):(\d+)$/);
+       return ($::_revision, $::_revision) if ($::_revision =~ /^\d+$/);
+       return ($head, $head) if ($::_revision eq 'HEAD');
+       return ($base, $1) if ($::_revision =~ /^BASE:(\d+)$/);
+       return ($1, $head) if ($::_revision =~ /^(\d+):HEAD$/);
+       die "revision argument: $::_revision not understood by git-svn\n";
+}
+
 sub fetch_all {
-       my ($repo_id, $url, $fetch) = @_;
-       my @gs;
+       my ($repo_id, $remotes) = @_;
+       if (ref $repo_id) {
+               my $gs = $repo_id;
+               $repo_id = undef;
+               $repo_id = $gs->{repo_id};
+       }
+       $remotes ||= read_all_remotes();
+       my $remote = $remotes->{$repo_id} or
+                    die "[svn-remote \"$repo_id\"] unknown\n";
+       my $fetch = $remote->{fetch};
+       my $url = $remote->{url} or die "svn-remote.$repo_id.url not defined\n";
+       my (@gs, @globs);
        my $ra = Git::SVN::Ra->new($url);
+       my $uuid = $ra->get_uuid;
        my $head = $ra->get_latest_revnum;
-       my $base = $head;
-       foreach my $p (sort keys %$fetch) {
-               my $gs = Git::SVN->new($fetch->{$p}, $repo_id, $p);
-               my $lr = $gs->rev_db_max;
-               if (defined $lr) {
-                       $base = $lr if ($lr < $base);
+       my $base = defined $fetch ? $head : 0;
+
+       # read the max revs for wildcard expansion (branches/*, tags/*)
+       foreach my $t (qw/branches tags/) {
+               defined $remote->{$t} or next;
+               push @globs, $remote->{$t};
+               my $max_rev = eval { tmp_config(qw/--int --get/,
+                                        "svn-remote.$repo_id.${t}-maxRev") };
+               if (defined $max_rev && ($max_rev < $base)) {
+                       $base = $max_rev;
+               } elsif (!defined $max_rev) {
+                       $base = 0;
+               }
+       }
+
+       if ($fetch) {
+               foreach my $p (sort keys %$fetch) {
+                       my $gs = Git::SVN->new($fetch->{$p}, $repo_id, $p);
+                       my $lr = $gs->rev_db_max;
+                       if (defined $lr) {
+                               $base = $lr if ($lr < $base);
+                       }
+                       push @gs, $gs;
                }
-               push @gs, $gs;
        }
-       return if (++$base > $head);
-       $ra->gs_fetch_loop_common($base, $head, @gs);
+
+       ($base, $head) = parse_revision_argument($base, $head);
+       $ra->gs_fetch_loop_common($base, $head, \@gs, \@globs);
 }
 
 sub read_all_remotes {
@@ -674,6 +928,18 @@ sub read_all_remotes {
                        $r->{$1}->{fetch}->{$2} = $3;
                } elsif (m!^(.+)\.url=\s*(.*)\s*$!) {
                        $r->{$1}->{url} = $2;
+               } elsif (m!^(.+)\.(branches|tags)=
+                          (.*):refs/remotes/(.+)\s*$/!x) {
+                       my ($p, $g) = ($3, $4);
+                       my $rs = $r->{$1}->{$2} = {
+                                         t => $2,
+                                         remote => $1,
+                                         path => Git::SVN::GlobSpec->new($p),
+                                         ref => Git::SVN::GlobSpec->new($g) };
+                       if (length($rs->{ref}->{right}) != 0) {
+                               die "The '*' glob character must be the last ",
+                                   "character of '$g'\n";
+                       }
                }
        }
        $r;
@@ -713,6 +979,7 @@ sub sanitize_remote_name {
 
 sub find_existing_remote {
        my ($url, $remotes) = @_;
+       return undef if $no_reuse_existing;
        my $existing;
        foreach my $repo_id (keys %$remotes) {
                my $u = $remotes->{$repo_id}->{url} or next;
@@ -724,28 +991,34 @@ sub find_existing_remote {
 }
 
 sub init_remote_config {
-       my ($self, $url) = @_;
+       my ($self, $url, $no_write) = @_;
        $url =~ s!/+$!!; # strip trailing slash
        my $r = read_all_remotes();
        my $existing = find_existing_remote($url, $r);
        if ($existing) {
-               print STDERR "Using existing ",
-                            "[svn-remote \"$existing\"]\n";
+               unless ($no_write) {
+                       print STDERR "Using existing ",
+                                    "[svn-remote \"$existing\"]\n";
+               }
                $self->{repo_id} = $existing;
        } else {
                my $min_url = Git::SVN::Ra->new($url)->minimize_url;
                $existing = find_existing_remote($min_url, $r);
                if ($existing) {
-                       print STDERR "Using existing ",
-                                    "[svn-remote \"$existing\"]\n";
+                       unless ($no_write) {
+                               print STDERR "Using existing ",
+                                            "[svn-remote \"$existing\"]\n";
+                       }
                        $self->{repo_id} = $existing;
                }
                if ($min_url ne $url) {
-                       print STDERR "Using higher level of URL: ",
-                                    "$url => $min_url\n";
+                       unless ($no_write) {
+                               print STDERR "Using higher level of URL: ",
+                                            "$url => $min_url\n";
+                       }
                        my $old_path = $self->{path};
                        $self->{path} = $url;
-                       $self->{path} =~ s!^\Q$min_url\E/*!!;
+                       $self->{path} =~ s!^\Q$min_url\E(/|$)!!;
                        if (length $old_path) {
                                $self->{path} .= "/$old_path";
                        }
@@ -769,19 +1042,51 @@ sub init_remote_config {
                die "svn-remote.$xrepo_id.fetch already set to track ",
                    "$xpath:refs/remotes/", $self->refname, "\n";
        }
-       command_noisy('config',
-                     "svn-remote.$self->{repo_id}.url", $url);
-       command_noisy('config', '--add',
-                     "svn-remote.$self->{repo_id}.fetch",
-                     "$self->{path}:".$self->refname);
+       unless ($no_write) {
+               command_noisy('config',
+                             "svn-remote.$self->{repo_id}.url", $url);
+               command_noisy('config', '--add',
+                             "svn-remote.$self->{repo_id}.fetch",
+                             "$self->{path}:".$self->refname);
+       }
        $self->{url} = $url;
 }
 
+sub find_by_url { # repos_root and, path are optional
+       my ($class, $full_url, $repos_root, $path) = @_;
+       return undef unless defined $full_url;
+       my $remotes = read_all_remotes();
+       if (defined $full_url && defined $repos_root && !defined $path) {
+               $path = $full_url;
+               $path =~ s#^\Q$repos_root\E(?:/|$)##;
+       }
+       foreach my $repo_id (keys %$remotes) {
+               my $u = $remotes->{$repo_id}->{url} or next;
+               next if defined $repos_root && $repos_root ne $u;
+
+               my $fetch = $remotes->{$repo_id}->{fetch} || {};
+               foreach (qw/branches tags/) {
+                       resolve_local_globs($u, $fetch,
+                                           $remotes->{$repo_id}->{$_});
+               }
+               my $p = $path;
+               unless (defined $p) {
+                       $p = $full_url;
+                       $p =~ s#^\Q$u\E(?:/|$)## or next;
+               }
+               foreach my $f (keys %$fetch) {
+                       next if $f ne $p;
+                       return Git::SVN->new($fetch->{$f}, $repo_id, $f);
+               }
+       }
+       undef;
+}
+
 sub init {
-       my ($class, $url, $path, $repo_id, $ref_id) = @_;
+       my ($class, $url, $path, $repo_id, $ref_id, $no_write) = @_;
        my $self = _new($class, $repo_id, $ref_id, $path);
        if (defined $url) {
-               $self->init_remote_config($url);
+               $self->init_remote_config($url, $no_write);
        }
        $self;
 }
@@ -822,27 +1127,205 @@ sub new {
        $self->{url} = command_oneline('config', '--get',
                                       "svn-remote.$repo_id.url") or
                   die "Failed to read \"svn-remote.$repo_id.url\" in config\n";
-       if (-z $self->{db_path} && ::verify_ref($self->refname.'^0')) {
-               $self->rebuild;
-       }
+       $self->rebuild;
        $self;
 }
 
 sub refname { "refs/remotes/$_[0]->{ref_id}" }
 
+sub svm_uuid {
+       my ($self) = @_;
+       return $self->{svm}->{uuid} if $self->svm;
+       $self->ra;
+       unless ($self->{svm}) {
+               die "SVM UUID not cached, and reading remotely failed\n";
+       }
+       $self->{svm}->{uuid};
+}
+
+sub svm {
+       my ($self) = @_;
+       return $self->{svm} if $self->{svm};
+       my $svm;
+       # see if we have it in our config, first:
+       eval {
+               my $section = "svn-remote.$self->{repo_id}";
+               $svm = {
+                 source => tmp_config('--get', "$section.svm-source"),
+                 uuid => tmp_config('--get', "$section.svm-uuid"),
+                 replace => tmp_config('--get', "$section.svm-replace"),
+               }
+       };
+       if ($svm && $svm->{source} && $svm->{uuid} && $svm->{replace}) {
+               $self->{svm} = $svm;
+       }
+       $self->{svm};
+}
+
+sub _set_svm_vars {
+       my ($self, $ra) = @_;
+       return $ra if $self->svm;
+
+       my @err = ( "useSvmProps set, but failed to read SVM properties\n",
+                   "(svm:source, svm:uuid) ",
+                   "from the following URLs:\n" );
+       sub read_svm_props {
+               my ($self, $ra, $path, $r) = @_;
+               my $props = ($ra->get_dir($path, $r))[2];
+               my $src = $props->{'svm:source'};
+               my $uuid = $props->{'svm:uuid'};
+               return undef if (!$src || !$uuid);
+
+               chomp($src, $uuid);
+
+               $uuid =~ m{^[0-9a-f\-]{30,}$}
+                   or die "doesn't look right - svm:uuid is '$uuid'\n";
+
+               # the '!' is used to mark the repos_root!/relative/path
+               $src =~ s{/?!/?}{/};
+               $src =~ s{/+$}{}; # no trailing slashes please
+               # username is of no interest
+               $src =~ s{(^[a-z\+]*://)[^/@]*@}{$1};
+
+               my $replace = $ra->{url};
+               $replace .= "/$path" if length $path;
+
+               my $section = "svn-remote.$self->{repo_id}";
+               tmp_config("$section.svm-source", $src);
+               tmp_config("$section.svm-replace", $replace);
+               tmp_config("$section.svm-uuid", $uuid);
+               $self->{svm} = {
+                       source => $src,
+                       uuid => $uuid,
+                       replace => $replace
+               };
+       }
+
+       my $r = $ra->get_latest_revnum;
+       my $path = $self->{path};
+       my %tried;
+       while (length $path) {
+               unless ($tried{"$self->{url}/$path"}) {
+                       return $ra if $self->read_svm_props($ra, $path, $r);
+                       $tried{"$self->{url}/$path"} = 1;
+               }
+               $path =~ s#/?[^/]+$##;
+       }
+       die "Path: '$path' should be ''\n" if $path ne '';
+       return $ra if $self->read_svm_props($ra, $path, $r);
+       $tried{"$self->{url}/$path"} = 1;
+
+       if ($ra->{repos_root} eq $self->{url}) {
+               die @err, (map { "  $_\n" } keys %tried), "\n";
+       }
+
+       # nope, make sure we're connected to the repository root:
+       my $ok;
+       my @tried_b;
+       $path = $ra->{svn_path};
+       $ra = Git::SVN::Ra->new($ra->{repos_root});
+       while (length $path) {
+               unless ($tried{"$ra->{url}/$path"}) {
+                       $ok = $self->read_svm_props($ra, $path, $r);
+                       last if $ok;
+                       $tried{"$ra->{url}/$path"} = 1;
+               }
+               $path =~ s#/?[^/]+$##;
+       }
+       die "Path: '$path' should be ''\n" if $path ne '';
+       $ok ||= $self->read_svm_props($ra, $path, $r);
+       $tried{"$ra->{url}/$path"} = 1;
+       if (!$ok) {
+               die @err, (map { "  $_\n" } keys %tried), "\n";
+       }
+       Git::SVN::Ra->new($self->{url});
+}
+
+sub svnsync {
+       my ($self) = @_;
+       return $self->{svnsync} if $self->{svnsync};
+
+       if ($self->no_metadata) {
+               die "Can't have both 'noMetadata' and ",
+                   "'useSvnsyncProps' options set!\n";
+       }
+       if ($self->rewrite_root) {
+               die "Can't have both 'useSvnsyncProps' and 'rewriteRoot' ",
+                   "options set!\n";
+       }
+
+       my $svnsync;
+       # see if we have it in our config, first:
+       eval {
+               my $section = "svn-remote.$self->{repo_id}";
+               $svnsync = {
+                 url => tmp_config('--get', "$section.svnsync-url"),
+                 uuid => tmp_config('--get', "$section.svnsync-uuid"),
+               }
+       };
+       if ($svnsync && $svnsync->{url} && $svnsync->{uuid}) {
+               return $self->{svnsync} = $svnsync;
+       }
+
+       my $err = "useSvnsyncProps set, but failed to read " .
+                 "svnsync property: svn:sync-from-";
+       my $rp = $self->ra->rev_proplist(0);
+
+       my $url = $rp->{'svn:sync-from-url'} or die $err . "url\n";
+       $url =~ m{^[a-z\+]+://} or
+                  die "doesn't look right - svn:sync-from-url is '$url'\n";
+
+       my $uuid = $rp->{'svn:sync-from-uuid'} or die $err . "uuid\n";
+       $uuid =~ m{^[0-9a-f\-]{30,}$} or
+                  die "doesn't look right - svn:sync-from-uuid is '$uuid'\n";
+
+       my $section = "svn-remote.$self->{repo_id}";
+       tmp_config('--add', "$section.svnsync-uuid", $uuid);
+       tmp_config('--add', "$section.svnsync-url", $url);
+       return $self->{svnsync} = { url => $url, uuid => $uuid };
+}
+
+# this allows us to memoize our SVN::Ra UUID locally and avoid a
+# remote lookup (useful for 'git svn log').
+sub ra_uuid {
+       my ($self) = @_;
+       unless ($self->{ra_uuid}) {
+               my $key = "svn-remote.$self->{repo_id}.uuid";
+               my $uuid = eval { tmp_config('--get', $key) };
+               if (!$@ && $uuid && $uuid =~ /^([a-f\d\-]{30,})$/) {
+                       $self->{ra_uuid} = $uuid;
+               } else {
+                       die "ra_uuid called without URL\n" unless $self->{url};
+                       $self->{ra_uuid} = $self->ra->get_uuid;
+                       tmp_config('--add', $key, $self->{ra_uuid});
+               }
+       }
+       $self->{ra_uuid};
+}
+
 sub ra {
        my ($self) = shift;
-       Git::SVN::Ra->new($self->{url});
+       my $ra = Git::SVN::Ra->new($self->{url});
+       if ($self->use_svm_props && !$self->{svm}) {
+               if ($self->no_metadata) {
+                       die "Can't have both 'noMetadata' and ",
+                           "'useSvmProps' options set!\n";
+               } elsif ($self->use_svnsync_props) {
+                       die "Can't have both 'useSvnsyncProps' and ",
+                           "'useSvmProps' options set!\n";
+               }
+               $ra = $self->_set_svm_vars($ra);
+               $self->{-want_revprops} = 1;
+       }
+       $ra;
 }
 
 sub rel_path {
        my ($self) = @_;
        my $repos_root = $self->ra->{repos_root};
        return $self->{path} if ($self->{url} eq $repos_root);
-       my $url = $self->{url} .
-                 (length $self->{path} ? "/$self->{path}" : $self->{path});
-       $url =~ s!^\Q$repos_root\E/*!!g;
-       $url;
+       die "BUG: rel_path failed! repos_root: $repos_root, Ra URL: ",
+           $self->ra->{url}, " path: $self->{path},  URL: $self->{url}\n";
 }
 
 sub traverse_ignore {
@@ -880,17 +1363,21 @@ sub last_rev_commit {
                return ($self->{last_rev}, $self->{last_commit});
        }
        my $c = ::verify_ref($self->refname.'^0');
-       if ($c) {
+       if ($c && !$self->use_svm_props && !$self->no_metadata) {
                my $rev = (::cmt_metadata($c))[1];
                if (defined $rev) {
                        ($self->{last_rev}, $self->{last_commit}) = ($rev, $c);
                        return ($rev, $c);
                }
        }
+       my $db_path = $self->db_path;
+       unless (-e $db_path) {
+               ($self->{last_rev}, $self->{last_commit}) = (undef, undef);
+               return (undef, undef);
+       }
        my $offset = -41; # from tail
        my $rl;
-       open my $fh, '<', $self->{db_path} or
-                                croak "$self->{db_path} not readable: $!\n";
+       open my $fh, '<', $db_path or croak "$db_path not readable: $!\n";
        sysseek($fh, $offset, 2); # don't care for errors
        sysread($fh, $rl, 41) == 41 or return (undef, undef);
        chomp $rl;
@@ -900,8 +1387,8 @@ sub last_rev_commit {
                sysread($fh, $rl, 41) == 41 or return (undef, undef);
                chomp $rl;
        }
-       if ($c) {
-               die "$self->{db_path} and ", $self->refname,
+       if ($c && $c ne $rl) {
+               die "$db_path and ", $self->refname,
                    " inconsistent!:\n$c != $rl\n";
        }
        my $rev = sysseek($fh, 0, 1) or croak $!;
@@ -918,16 +1405,58 @@ sub get_fetch_range {
        (++$min, $max);
 }
 
+sub tmp_config {
+       my (@args) = @_;
+       my $old_def_config = "$ENV{GIT_DIR}/svn/config";
+       my $config = "$ENV{GIT_DIR}/svn/.metadata";
+       if (-e $old_def_config && ! -e $config) {
+               rename $old_def_config, $config or
+                      die "Failed rename $old_def_config => $config: $!\n";
+       }
+       my $old_config = $ENV{GIT_CONFIG};
+       $ENV{GIT_CONFIG} = $config;
+       $@ = undef;
+       my @ret = eval {
+               unless (-f $config) {
+                       mkfile($config);
+                       open my $fh, '>', $config or
+                           die "Can't open $config: $!\n";
+                       print $fh "; This file is used internally by ",
+                                 "git-svn\n" or die
+                                 "Couldn't write to $config: $!\n";
+                       print $fh "; You should not have to edit it\n" or
+                             die "Couldn't write to $config: $!\n";
+                       close $fh or die "Couldn't close $config: $!\n";
+               }
+               command('config', @args);
+       };
+       my $err = $@;
+       if (defined $old_config) {
+               $ENV{GIT_CONFIG} = $old_config;
+       } else {
+               delete $ENV{GIT_CONFIG};
+       }
+       die $err if $err;
+       wantarray ? @ret : $ret[0];
+}
+
 sub tmp_index_do {
        my ($self, $sub) = @_;
        my $old_index = $ENV{GIT_INDEX_FILE};
        $ENV{GIT_INDEX_FILE} = $self->{index};
-       my @ret = &$sub;
-       if ($old_index) {
+       $@ = undef;
+       my @ret = eval {
+               my ($dir, $base) = ($self->{index} =~ m#^(.*?)/?([^/]+)$#);
+               mkpath([$dir]) unless -d $dir;
+               &$sub;
+       };
+       my $err = $@;
+       if (defined $old_index) {
                $ENV{GIT_INDEX_FILE} = $old_index;
        } else {
                delete $ENV{GIT_INDEX_FILE};
        }
+       die $err if $err;
        wantarray ? @ret : $ret[0];
 }
 
@@ -939,10 +1468,11 @@ sub assert_index_clean {
                my $x = command_oneline('write-tree');
                my ($y) = (command(qw/cat-file commit/, $treeish) =~
                           /^tree ($::sha1)/mo);
-               if ($y ne $x) {
-                       unlink $self->{index} or croak $!;
-                       command_noisy('read-tree', $treeish);
-               }
+               return if $y eq $x;
+
+               warn "Index mismatch: $y != $x\nrereading $treeish\n";
+               unlink $self->{index} or die "unlink $self->{index}: $!\n";
+               command_noisy('read-tree', $treeish);
                $x = command_oneline('write-tree');
                if ($y ne $x) {
                        ::fatal "trees ($treeish) $y != $x\n",
@@ -978,6 +1508,26 @@ sub get_commit_parents {
        @ret;
 }
 
+sub rewrite_root {
+       my ($self) = @_;
+       return $self->{-rewrite_root} if exists $self->{-rewrite_root};
+       my $k = "svn-remote.$self->{repo_id}.rewriteRoot";
+       my $rwr = eval { command_oneline(qw/config --get/, $k) };
+       if ($rwr) {
+               $rwr =~ s#/+$##;
+               if ($rwr !~ m#^[a-z\+]+://#) {
+                       die "$rwr is not a valid URL (key: $k)\n";
+               }
+       }
+       $self->{-rewrite_root} = $rwr;
+}
+
+sub metadata_url {
+       my ($self) = @_;
+       ($self->rewrite_root || $self->{url}) .
+          (length $self->{path} ? '/' . $self->{path} : '');
+}
+
 sub full_url {
        my ($self) = @_;
        $self->{url} . (length $self->{path} ? '/' . $self->{path} : '');
@@ -995,11 +1545,9 @@ sub do_git_commit {
                croak "$log_entry->{revision} = $c already exists! ",
                      "Why are we refetching it?\n";
        }
-       my $author = $log_entry->{author};
-       my ($name, $email) = (defined $::users{$author} ? @{$::users{$author}}
-                          : ($author, "$author\@".$self->ra->uuid));
-       $ENV{GIT_AUTHOR_NAME} = $ENV{GIT_COMMITTER_NAME} = $name;
-       $ENV{GIT_AUTHOR_EMAIL} = $ENV{GIT_COMMITTER_EMAIL} = $email;
+       $ENV{GIT_AUTHOR_NAME} = $ENV{GIT_COMMITTER_NAME} = $log_entry->{name};
+       $ENV{GIT_AUTHOR_EMAIL} = $ENV{GIT_COMMITTER_EMAIL} =
+                                                         $log_entry->{email};
        $ENV{GIT_AUTHOR_DATE} = $ENV{GIT_COMMITTER_DATE} = $log_entry->{date};
 
        my $tree = $log_entry->{tree};
@@ -1016,10 +1564,9 @@ sub do_git_commit {
        defined(my $pid = open3(my $msg_fh, my $out_fh, '>&STDERR', @exec))
                                                                   or croak $!;
        print $msg_fh $log_entry->{log} or croak $!;
-       unless ($_no_metadata) {
-               print $msg_fh "\ngit-svn-id: ", $self->full_url, '@',
-                             $log_entry->{revision}, ' ',
-                             $self->ra->uuid, "\n" or croak $!;
+       unless ($self->no_metadata) {
+               print $msg_fh "\ngit-svn-id: $log_entry->{metadata}\n"
+                             or croak $!;
        }
        $msg_fh->flush == 0 or croak $!;
        close $msg_fh or croak $!;
@@ -1035,7 +1582,13 @@ sub do_git_commit {
 
        $self->{last_rev} = $log_entry->{revision};
        $self->{last_commit} = $commit;
-       print "r$log_entry->{revision} = $commit ($self->{ref_id})\n";
+       print "r$log_entry->{revision}";
+       if (defined $log_entry->{svm_revision}) {
+                print " (\@$log_entry->{svm_revision})";
+                $self->rev_db_set($log_entry->{svm_revision}, $commit,
+                                  0, $self->svm_uuid);
+       }
+       print " = $commit ($self->{ref_id})\n";
        if (defined $_repack && (--$_repack_nr == 0)) {
                $_repack_nr = $_repack;
                # repack doesn't use any arguments with spaces in them, does it?
@@ -1046,19 +1599,32 @@ sub do_git_commit {
        return $commit;
 }
 
-sub revisions_eq {
-       my ($self, $r0, $r1) = @_;
-       return 1 if $r0 == $r1;
-       my $nr = 0;
-       $self->ra->get_log([$self->{path}], $r0, $r1,
-                          0, 0, 1, sub { $nr++ });
-       return 0 if ($nr > 1);
-       return 1;
+sub match_paths {
+       my ($self, $paths, $r) = @_;
+       return 1 if $self->{path} eq '';
+       if (my $path = $paths->{"/$self->{path}"}) {
+               return ($path->{action} eq 'D') ? 0 : 1;
+       }
+       $self->{path_regex} ||= qr/^\/\Q$self->{path}\E\//;
+       if (grep /$self->{path_regex}/, keys %$paths) {
+               return 1;
+       }
+       my $c = '';
+       foreach (split m#/#, $self->{path}) {
+               $c .= "/$_";
+               next unless ($paths->{$c} &&
+                            ($paths->{$c}->{action} =~ /^[AR]$/));
+               if ($self->ra->check_path($self->{path}, $r) ==
+                   $SVN::Node::dir) {
+                       return 1;
+               }
+       }
+       return 0;
 }
 
 sub find_parent_branch {
        my ($self, $paths, $rev) = @_;
-       return undef unless $_follow_parent;
+       return undef unless $self->follow_parent;
        unless (defined $paths) {
                my $err_handler = $SVN::Error::handler;
                $SVN::Error::handler = \&Git::SVN::Ra::skip_unknown_revs;
@@ -1075,11 +1641,11 @@ sub find_parent_branch {
        my $i;
        while (@b_path_components) {
                $i = $paths->{'/'.join('/', @b_path_components)};
-               last if $i;
+               last if $i && defined $i->{copyfrom_path};
                unshift(@a_path_components, pop(@b_path_components));
        }
-       goto not_found unless defined $i;
-       my $branch_from = $i->{copyfrom_path} or goto not_found;
+       return undef unless defined $i && defined $i->{copyfrom_path};
+       my $branch_from = $i->{copyfrom_path};
        if (@a_path_components) {
                print STDERR "branch_from: $branch_from => ";
                $branch_from .= '/'.join('/', @a_path_components);
@@ -1092,19 +1658,7 @@ sub find_parent_branch {
        print STDERR  "Found possible branch point: ",
                      "$new_url => ", $self->full_url, ", $r\n";
        $branch_from =~ s#^/##;
-       my $remotes = read_all_remotes();
-       my $gs;
-       foreach my $repo_id (keys %$remotes) {
-               my $u = $remotes->{$repo_id}->{url} or next;
-               next if $url ne $u;
-               my $fetch = $remotes->{$repo_id}->{fetch};
-               foreach my $f (keys %$fetch) {
-                       next if $f ne $branch_from;
-                       $gs = Git::SVN->new($fetch->{$f}, $repo_id, $f);
-                       last;
-               }
-               last if $gs;
-       }
+       my $gs = Git::SVN->find_by_url($new_url, $repos_root, $branch_from);
        unless ($gs) {
                my $ref_id = $self->{ref_id};
                $ref_id =~ s/\@\d+$//;
@@ -1112,18 +1666,18 @@ sub find_parent_branch {
                # just grow a tail if we're not unique enough :x
                $ref_id .= '-' while find_ref($ref_id);
                print STDERR "Initializing parent: $ref_id\n";
-               $gs = Git::SVN->init($new_url, '', $ref_id, $ref_id);
+               $gs = Git::SVN->init($new_url, '', $ref_id, $ref_id, 1);
        }
        my ($r0, $parent) = $gs->find_rev_before($r, 1);
-       if ($_follow_parent && (!defined $r0 || !defined $parent)) {
+       if (!defined $r0 || !defined $parent) {
                $gs->fetch(0, $r);
                ($r0, $parent) = $gs->last_rev_commit;
        }
-       if (defined $r0 && defined $parent && $gs->revisions_eq($r0, $r)) {
+       if (defined $r0 && defined $parent) {
                print STDERR "Found branch parent: ($self->{ref_id}) $parent\n";
-               $self->assert_index_clean($parent);
                my $ed;
                if ($self->ra->can_do_switch) {
+                       $self->assert_index_clean($parent);
                        print STDERR "Following parent with do_switch\n";
                        # do_switch works with svn/trunk >= r22312, but that
                        # is not included with SVN 1.4.3 (the latest version
@@ -1142,21 +1696,6 @@ sub find_parent_branch {
                print STDERR "Successfully followed parent\n";
                return $self->make_log_entry($rev, [$parent], $ed);
        }
-not_found:
-       print STDERR "Branch parent for path: '/",
-                    $self->rel_path, "' @ r$rev not found:\n";
-       return undef unless $paths;
-       print STDERR "Changed paths:\n";
-       foreach my $x (sort keys %$paths) {
-               my $p = $paths->{$x};
-               print STDERR "\t$p->{action}\t$x";
-               if ($p->{copyfrom_path}) {
-                       print STDERR "(from $p->{copyfrom_path}: ",
-                                    "$p->{copyfrom_rev})";
-               }
-               print STDERR "\n";
-       }
-       print STDERR '-'x72, "\n";
        return undef;
 }
 
@@ -1164,11 +1703,19 @@ sub do_fetch {
        my ($self, $paths, $rev) = @_;
        my $ed;
        my ($last_rev, @parents);
-       if ($self->{last_commit}) {
+       if (my $lc = $self->last_commit) {
+               # we can have a branch that was deleted, then re-added
+               # under the same name but copied from another path, in
+               # which case we'll have multiple parents (we don't
+               # want to break the original ref, nor lose copypath info):
+               if (my $log_entry = $self->find_parent_branch($paths, $rev)) {
+                       push @{$log_entry->{parents}}, $lc;
+                       return $log_entry;
+               }
                $ed = SVN::Git::Fetcher->new($self);
                $last_rev = $self->{last_rev};
-               $ed->{c} = $self->{last_commit};
-               @parents = ($self->{last_commit});
+               $ed->{c} = $lc;
+               @parents = ($lc);
        } else {
                $last_rev = $rev;
                if (my $log_entry = $self->find_parent_branch($paths, $rev)) {
@@ -1252,21 +1799,68 @@ sub make_log_entry {
        print $un $_, "\n" foreach @$untracked;
        my %log_entry = ( parents => $parents || [], revision => $rev,
                          log => '');
-       my $rp = $self->ra->rev_proplist($rev);
-       foreach (sort keys %$rp) {
-               my $v = $rp->{$_};
-               if (/^svn:(author|date|log)$/) {
-                       $log_entry{$1} = $v;
-               } else {
-                       print $un "  rev_prop: ", uri_encode($_), ' ',
-                                 uri_encode($v), "\n";
+
+       my $headrev;
+       my $logged = delete $self->{logged_rev_props};
+       if (!$logged || $self->{-want_revprops}) {
+               my $rp = $self->ra->rev_proplist($rev);
+               foreach (sort keys %$rp) {
+                       my $v = $rp->{$_};
+                       if (/^svn:(author|date|log)$/) {
+                               $log_entry{$1} = $v;
+                       } elsif ($_ eq 'svm:headrev') {
+                               $headrev = $v;
+                       } else {
+                               print $un "  rev_prop: ", uri_encode($_), ' ',
+                                         uri_encode($v), "\n";
+                       }
                }
+       } else {
+               map { $log_entry{$_} = $logged->{$_} } keys %$logged;
        }
        close $un or croak $!;
 
        $log_entry{date} = parse_svn_date($log_entry{date});
-       $log_entry{author} = check_author($log_entry{author});
        $log_entry{log} .= "\n";
+       my $author = $log_entry{author} = check_author($log_entry{author});
+       my ($name, $email) = defined $::users{$author} ? @{$::users{$author}}
+                                                      : ($author, undef);
+       if (defined $headrev && $self->use_svm_props) {
+               if ($self->rewrite_root) {
+                       die "Can't have both 'useSvmProps' and 'rewriteRoot' ",
+                           "options set!\n";
+               }
+               my ($uuid, $r) = $headrev =~ m{^([a-f\d\-]{30,}):(\d+)$};
+               # we don't want "SVM: initializing mirror for junk" ...
+               return undef if $r == 0;
+               my $svm = $self->svm;
+               if ($uuid ne $svm->{uuid}) {
+                       die "UUID mismatch on SVM path:\n",
+                           "expected: $svm->{uuid}\n",
+                           "     got: $uuid\n";
+               }
+               my $full_url = $self->full_url;
+               $full_url =~ s#^\Q$svm->{replace}\E(/|$)#$svm->{source}$1# or
+                            die "Failed to replace '$svm->{replace}' with ",
+                                "'$svm->{source}' in $full_url\n";
+               # throw away username for storing in records
+               remove_username($full_url);
+               $log_entry{metadata} = "$full_url\@$r $uuid";
+               $log_entry{svm_revision} = $r;
+               $email ||= "$author\@$uuid"
+       } elsif ($self->use_svnsync_props) {
+               my $full_url = $self->svnsync->{url};
+               $full_url .= "/$self->{path}" if length $self->{path};
+               my $uuid = $self->svnsync->{uuid};
+               $log_entry{metadata} = "$full_url\@$rev $uuid";
+               $email ||= "$author\@$uuid"
+       } else {
+               $log_entry{metadata} = $self->metadata_url. "\@$rev " .
+                                      $self->ra->get_uuid;
+               $email ||= "$author\@" . $self->ra->get_uuid;
+       }
+       $log_entry{name} = $name;
+       $log_entry{email} = $email;
        \%log_entry;
 }
 
@@ -1274,21 +1868,13 @@ sub fetch {
        my ($self, $min_rev, $max_rev, @parents) = @_;
        my ($last_rev, $last_commit) = $self->last_rev_commit;
        my ($base, $head) = $self->get_fetch_range($min_rev, $max_rev);
-       return if ($base > $head);
-       $self->ra->gs_fetch_loop_common($base, $head, $self);
+       $self->ra->gs_fetch_loop_common($base, $head, [$self]);
 }
 
 sub set_tree_cb {
        my ($self, $log_entry, $tree, $rev, $date, $author) = @_;
-       # TODO: enable and test optimized commits:
-       if (0 && $rev == ($self->{last_rev} + 1)) {
-               $log_entry->{revision} = $rev;
-               $log_entry->{author} = $author;
-               $self->do_git_commit($log_entry, "$rev=$tree");
-       } else {
-               $self->{inject_parents} = { $rev => $tree };
-               $self->fetch(undef, undef);
-       }
+       $self->{inject_parents} = { $rev => $tree };
+       $self->fetch(undef, undef);
 }
 
 sub set_tree {
@@ -1312,16 +1898,29 @@ sub set_tree {
 
 sub rebuild {
        my ($self) = @_;
-       print "Rebuilding $self->{db_path} ...\n";
+       my $db_path = $self->db_path;
+       return if (-e $db_path && ! -z $db_path);
+       return unless ::verify_ref($self->refname.'^0');
+       if (-f $self->{db_root}) {
+               rename $self->{db_root}, $db_path or die
+                    "rename $self->{db_root} => $db_path failed: $!\n";
+               my ($dir, $base) = ($db_path =~ m#^(.*?)/?([^/]+)$#);
+               symlink $base, $self->{db_root} or die
+                    "symlink $base => $self->{db_root} failed: $!\n";
+               return;
+       }
+       print "Rebuilding $db_path ...\n";
        my ($rev_list, $ctx) = command_output_pipe("rev-list", $self->refname);
        my $latest;
        my $full_url = $self->full_url;
+       remove_username($full_url);
        my $svn_uuid;
        while (<$rev_list>) {
                chomp;
                my $c = $_;
                die "Non-SHA1: $c\n" unless $c =~ /^$::sha1$/o;
                my ($url, $rev, $uuid) = ::cmt_metadata($c);
+               remove_username($url);
 
                # ignore merges (from set-tree)
                next if (!defined $rev || !$uuid);
@@ -1339,7 +1938,7 @@ sub rebuild {
                print "r$rev = $c\n";
        }
        command_close_pipe($rev_list, $ctx);
-       print "Done rebuilding $self->{db_path}\n";
+       print "Done rebuilding $db_path\n";
 }
 
 # rev_db:
@@ -1353,41 +1952,68 @@ sub rebuild {
 # to a revision: (41 * rev) is the byte offset.
 # A record of 40 0s denotes an empty revision.
 # And yes, it's still pretty fast (faster than Tie::File).
-# These files are disposable unless --no-metadata is set
+# These files are disposable unless noMetadata or useSvmProps is set
+
+sub _rev_db_set {
+       my ($fh, $rev, $commit) = @_;
+       my $offset = $rev * 41;
+       # assume that append is the common case:
+       seek $fh, 0, 2 or croak $!;
+       my $pos = tell $fh;
+       if ($pos < $offset) {
+               for (1 .. (($offset - $pos) / 41)) {
+                       print $fh (('0' x 40),"\n") or croak $!;
+               }
+       }
+       seek $fh, $offset, 0 or croak $!;
+       print $fh $commit,"\n" or croak $!;
+}
+
+sub mkfile {
+       my ($path) = @_;
+       unless (-e $path) {
+               my ($dir, $base) = ($path =~ m#^(.*?)/?([^/]+)$#);
+               mkpath([$dir]) unless -d $dir;
+               open my $fh, '>>', $path or die "Couldn't create $path: $!\n";
+               close $fh or die "Couldn't close (create) $path: $!\n";
+       }
+}
 
 sub rev_db_set {
-       my ($self, $rev, $commit, $update_ref) = @_;
-       length $commit == 40 or croak "arg3 must be a full SHA1 hexsum\n";
-       my ($db, $db_lock) = ($self->{db_path}, "$self->{db_path}.lock");
+       my ($self, $rev, $commit, $update_ref, $uuid) = @_;
+       length $commit == 40 or die "arg3 must be a full SHA1 hexsum\n";
+       my $db = $self->db_path($uuid);
+       my $db_lock = "$db.lock";
        my $sig;
        if ($update_ref) {
                $SIG{INT} = $SIG{HUP} = $SIG{TERM} = $SIG{ALRM} = $SIG{PIPE} =
                            $SIG{USR1} = $SIG{USR2} = sub { $sig = $_[0] };
        }
+       mkfile($db);
+
        $LOCKFILES{$db_lock} = 1;
-       if ($_no_metadata) {
+       my $sync;
+       # both of these options make our .rev_db file very, very important
+       # and we can't afford to lose it because rebuild() won't work
+       if ($self->use_svm_props || $self->no_metadata) {
+               $sync = 1;
                copy($db, $db_lock) or die "rev_db_set(@_): ",
-                                          "Failed to copy: ",
+                                          "Failed to copy: ",
                                           "$db => $db_lock ($!)\n";
        } else {
                rename $db, $db_lock or die "rev_db_set(@_): ",
-                                           "Failed to rename: ",
+                                           "Failed to rename: ",
                                            "$db => $db_lock ($!)\n";
        }
-       open my $fh, '+<', $db_lock or croak $!;
-       my $offset = $rev * 41;
-       # assume that append is the common case:
-       seek $fh, 0, 2 or croak $!;
-       my $pos = tell $fh;
-       if ($pos < $offset) {
-               for (1 .. (($offset - $pos) / 41)) {
-                       print $fh (('0' x 40),"\n") or croak $!;
-               }
+       open my $fh, '+<', $db_lock or die "Couldn't open $db_lock: $!\n";
+       _rev_db_set($fh, $rev, $commit);
+       if ($sync) {
+               $fh->flush or die "Couldn't flush $db_lock: $!\n";
+               $fh->sync or die "Couldn't sync $db_lock: $!\n";
        }
-       seek $fh, $offset, 0 or croak $!;
-       print $fh $commit,"\n" or croak $!;
        close $fh or croak $!;
        if ($update_ref) {
+               $_head = $self;
                command_noisy('update-ref', '-m', "r$rev",
                              $self->refname, $commit);
        }
@@ -1403,19 +2029,21 @@ sub rev_db_set {
 
 sub rev_db_max {
        my ($self) = @_;
-       my @stat = stat $self->{db_path} or
-                       die "Couldn't stat $self->{db_path}: $!\n";
-       ($stat[7] % 41) == 0 or
-                       die "$self->{db_path} inconsistent size:$stat[7]\n";
+       $self->rebuild;
+       my $db_path = $self->db_path;
+       my @stat = stat $db_path or return 0;
+       ($stat[7] % 41) == 0 or die "$db_path inconsistent size: $stat[7]\n";
        my $max = $stat[7] / 41;
        (($max > 0) ? $max - 1 : 0);
 }
 
 sub rev_db_get {
-       my ($self, $rev) = @_;
+       my ($self, $rev, $uuid) = @_;
        my $ret;
        my $offset = $rev * 41;
-       open my $fh, '<', $self->{db_path} or croak $!;
+       my $db_path = $self->db_path($uuid);
+       return undef unless -e $db_path;
+       open my $fh, '<', $db_path or croak $!;
        if (sysseek($fh, $offset, 0) == $offset) {
                my $read = sysread($fh, $ret, 40);
                $ret = undef if ($read != 40 || $ret eq ('0'x40));
@@ -1447,14 +2075,17 @@ sub _new {
        $_[1] = $repo_id = sanitize_remote_name($repo_id);
        my $dir = "$ENV{GIT_DIR}/svn/$ref_id";
        $_[3] = $path = '' unless (defined $path);
-       mkpath([$dir]);
-       unless (-f "$dir/.rev_db") {
-               open my $fh, '>>', "$dir/.rev_db" or croak $!;
-               close $fh or croak $!;
-       }
-       bless { ref_id => $ref_id, dir => $dir, index => "$dir/index",
-               path => $path,
-               db_path => "$dir/.rev_db", repo_id => $repo_id }, $class;
+       mkpath(["$ENV{GIT_DIR}/svn"]);
+       bless {
+               ref_id => $ref_id, dir => $dir, index => "$dir/index",
+               path => $path, config => "$ENV{GIT_DIR}/svn/config",
+               db_root => "$dir/.rev_db", repo_id => $repo_id }, $class;
+}
+
+sub db_path {
+       my ($self, $uuid) = @_;
+       $uuid ||= $self->ra_uuid;
+       "$self->{db_root}.$uuid";
 }
 
 sub uri_encode {
@@ -1463,6 +2094,10 @@ sub uri_encode {
        $f
 }
 
+sub remove_username {
+       $_[0] =~ s{^([^:]*://)[^@]+@}{$1};
+}
+
 package Git::SVN::Prompt;
 use strict;
 use warnings;
@@ -1631,7 +2266,7 @@ sub new {
 
 sub set_path_strip {
        my ($self, $path) = @_;
-       $self->{path_strip} = qr/^\Q$path\E\/?/;
+       $self->{path_strip} = qr/^\Q$path\E(\/|$)/ if length $path;
 }
 
 sub open_root {
@@ -1667,14 +2302,14 @@ sub delete_entry {
                while (<$ls>) {
                        chomp;
                        $self->{gii}->remove($_);
-                       print "\tD\t$_\n" unless $self->{q};
+                       print "\tD\t$_\n" unless $::_q;
                }
-               print "\tD\t$gpath/\n" unless $self->{q};
+               print "\tD\t$gpath/\n" unless $::_q;
                command_close_pipe($ls, $ctx);
                $self->{empty}->{$path} = 0
        } else {
                $self->{gii}->remove($gpath);
-               print "\tD\t$gpath\n" unless $self->{q};
+               print "\tD\t$gpath\n" unless $::_q;
        }
        undef;
 }
@@ -1810,7 +2445,7 @@ sub close_file {
        }
        $fb->{pool}->clear;
        $self->{gii}->update($fb->{mode_b}, $hash, $path) or croak $!;
-       print "\t$fb->{action}\t$path\n" if $fb->{action} && ! $self->{q};
+       print "\t$fb->{action}\t$path\n" if $fb->{action} && ! $::_q;
        undef;
 }
 
@@ -2197,7 +2832,7 @@ sub apply_diff {
 }
 
 package Git::SVN::Ra;
-use vars qw/@ISA $config_dir/;
+use vars qw/@ISA $config_dir $_log_window_size/;
 use strict;
 use warnings;
 my ($can_do_switch);
@@ -2206,8 +2841,7 @@ package Git::SVN::Ra;
 BEGIN {
        # enforce temporary pool usage for some simple functions
        my $e;
-       foreach (qw/get_latest_revnum rev_proplist get_file
-                   check_path get_dir get_uuid get_repos_root/) {
+       foreach (qw/get_latest_revnum get_uuid get_repos_root/) {
                $e .= "sub $_ {
                        my \$self = shift;
                        my \$pool = SVN::Pool->new;
@@ -2215,13 +2849,37 @@ BEGIN
                        \$pool->clear;
                        wantarray ? \@ret : \$ret[0]; }\n";
        }
-       eval $e;
+
+       # get_dir needs $pool held in cache for dirents to work,
+       # check_path is cacheable and rev_proplist is close enough
+       # for our purposes.
+       foreach (qw/check_path get_dir rev_proplist/) {
+               $e .= "my \%${_}_cache; my \$${_}_rev = 0; sub $_ {
+                       my \$self = shift;
+                       my \$r = pop;
+                       my \$k = join(\"\\0\", \@_);
+                       if (my \$x = \$${_}_cache{\$r}->{\$k}) {
+                               return wantarray ? \@\$x : \$x->[0];
+                       }
+                       my \$pool = SVN::Pool->new;
+                       my \@ret = \$self->SUPER::$_(\@_, \$r, \$pool);
+                       if (\$r != \$${_}_rev) {
+                               \%${_}_cache = ( pool => [] );
+                               \$${_}_rev = \$r;
+                       }
+                       \$${_}_cache{\$r}->{\$k} = \\\@ret;
+                       push \@{\$${_}_cache{pool}}, \$pool;
+                       wantarray ? \@ret : \$ret[0]; }\n";
+       }
+       $e .= "\n1;";
+       eval $e or die $@;
 }
 
 sub new {
        my ($class, $url) = @_;
        $url =~ s!/+$!!;
        return $RA if ($RA && $RA->{url} eq $url);
+       $RA->{pool}->clear if $RA;
 
        SVN::_Core::svn_config_ensure($config_dir, undef);
        my ($baton, $callbacks) = SVN::Core::auth_open_helper([
@@ -2246,7 +2904,7 @@ sub new {
                              auth_provider_callbacks => $callbacks);
        $self->{svn_path} = $url;
        $self->{repos_root} = $self->get_repos_root;
-       $self->{svn_path} =~ s#^\Q$self->{repos_root}\E/*##;
+       $self->{svn_path} =~ s#^\Q$self->{repos_root}\E(/|$)##;
        $RA = bless $self, $class;
 }
 
@@ -2269,24 +2927,15 @@ sub get_commit_editor {
        $self->SUPER::get_commit_editor($log, $cb, @lock, $pool);
 }
 
-sub uuid {
-       my ($self) = @_;
-       $self->{uuid} ||= $self->get_uuid;
-}
-
 sub gs_do_update {
        my ($self, $rev_a, $rev_b, $gs, $editor) = @_;
        my $new = ($rev_a == $rev_b);
        my $path = $gs->{path};
 
-       my $ta = $self->check_path($path, $rev_a);
-       my $tb = $new ? $ta : $self->check_path($path, $rev_b);
-       return 1 if ($tb != $SVN::Node::dir && $ta != $SVN::Node::dir);
-       if ($ta == $SVN::Node::none) {
-               $rev_a = $rev_b;
-               $new = 1;
+       if ($new && -e $gs->{index}) {
+               unlink $gs->{index} or die
+                 "Couldn't unlink index: $gs->{index}: $!\n";
        }
-
        my $pool = SVN::Pool->new;
        $editor->set_path_strip($path);
        my (@pc) = split m#/#, $path;
@@ -2350,12 +2999,39 @@ sub gs_do_switch {
 }
 
 sub gs_fetch_loop_common {
-       my ($self, $base, $head, @gs) = @_;
-       my $inc = 1000;
+       my ($self, $base, $head, $gsv, $globs) = @_;
+       return if ($base > $head);
+       my $inc = $_log_window_size;
        my ($min, $max) = ($base, $head < $base + $inc ? $head : $base + $inc);
-       foreach my $gs (@gs) {
-               if (my $last_commit = $gs->last_commit) {
-                       $gs->assert_index_clean($last_commit);
+       my %common;
+       my $common_max = scalar @$gsv;
+
+       foreach my $gs (@$gsv) {
+               my @tmp = split m#/#, $gs->{path};
+               my $p = '';
+               foreach (@tmp) {
+                       $p .= length($p) ? "/$_" : $_;
+                       $common{$p} ||= 0;
+                       $common{$p}++;
+               }
+       }
+       $globs ||= [];
+       $common_max += scalar @$globs;
+       foreach my $glob (@$globs) {
+               my @tmp = split m#/#, $glob->{path}->{left};
+               my $p = '';
+               foreach (@tmp) {
+                       $p .= length($p) ? "/$_" : $_;
+                       $common{$p} ||= 0;
+                       $common{$p}++;
+               }
+       }
+
+       my $longest_path = '';
+       foreach (sort {length $b <=> length $a} keys %common) {
+               if ($common{$_} == $common_max) {
+                       $longest_path = $_;
+                       last;
                }
        }
        while (1) {
@@ -2366,16 +3042,15 @@ sub gs_fetch_loop_common {
                        ($err) = @_;
                        skip_unknown_revs($err);
                };
-               foreach my $gs (@gs) {
-                       $self->get_log([$gs->{path}], $min, $max, 0, 1, 1, sub
-                                      { my ($paths, $rev) = @_;
-                                        push @{$revs{$rev}},
-                                             [ $gs,
-                                               dup_changed_paths($paths) ] });
-
-                       next unless ($err && $max >= $head);
-
-                       print STDERR "Path '$gs->{path}' ",
+               sub _cb {
+                       my ($paths, $r, $author, $date, $log) = @_;
+                       [ dup_changed_paths($paths),
+                         { author => $author, date => $date, log => $log } ];
+               }
+               $self->get_log([$longest_path], $min, $max, 0, 1, 1,
+                              sub { $revs{$_[1]} = _cb(@_) });
+               if ($err && $max >= $head) {
+                       print STDERR "Path '$longest_path' ",
                                     "was probably deleted:\n",
                                     $err->expanded_message,
                                     "\nWill attempt to follow ",
@@ -2384,12 +3059,10 @@ sub gs_fetch_loop_common {
                        my $hi = $max;
                        while (--$hi >= $min) {
                                my $ok;
-                               $self->get_log([$gs->{path}], $min, $hi,
-                                              0, 1, 1, sub {
-                                       my ($paths, $rev) = @_;
-                                       $ok = $rev;
-                                       push @{$revs{$rev}}, [ $gs,
-                                          dup_changed_paths($_[0])]});
+                               $self->get_log([$longest_path], $min, $hi,
+                                              0, 1, 1, sub {
+                                              $ok ||= $_[1];
+                                              $revs{$_[1]} = _cb(@_) });
                                if ($ok) {
                                        print STDERR "r$min .. r$ok OK\n";
                                        last;
@@ -2397,23 +3070,42 @@ sub gs_fetch_loop_common {
                        }
                }
                $SVN::Error::handler = $err_handler;
+
+               my %exists = map { $_->{path} => $_ } @$gsv;
                foreach my $r (sort {$a <=> $b} keys %revs) {
-                       foreach (@{$revs{$r}}) {
-                               my ($gs, $paths) = @$_;
-                               my $lr = $gs->last_rev;
-                               next if defined $lr && $lr >= $r;
-                               next if defined $gs->rev_db_get($r);
-                               if (my $log_entry = $gs->do_fetch($paths, $r)) {
+                       my ($paths, $logged) = @{$revs{$r}};
+
+                       foreach my $gs ($self->match_globs(\%exists, $paths,
+                                                          $globs, $r)) {
+                               if ($gs->rev_db_max >= $r) {
+                                       next;
+                               }
+                               next unless $gs->match_paths($paths, $r);
+                               $gs->{logged_rev_props} = $logged;
+                               if (my $last_commit = $gs->last_commit) {
+                                       $gs->assert_index_clean($last_commit);
+                               }
+                               my $log_entry = $gs->do_fetch($paths, $r);
+                               if ($log_entry) {
                                        $gs->do_git_commit($log_entry);
                                }
                        }
+                       foreach my $g (@$globs) {
+                               my $k = "svn-remote.$g->{remote}." .
+                                       "$g->{t}-maxRev";
+                               Git::SVN::tmp_config($k, $r);
+                       }
                }
                # pre-fill the .rev_db since it'll eventually get filled in
                # with '0' x40 if something new gets committed
-               foreach my $gs (@gs) {
+               foreach my $gs (@$gsv) {
                        next if defined $gs->rev_db_get($max);
                        $gs->rev_db_set($max, 0 x40);
                }
+               foreach my $g (@$globs) {
+                       my $k = "svn-remote.$g->{remote}.$g->{t}-maxRev";
+                       Git::SVN::tmp_config($k, $max);
+               }
                last if $max >= $head;
                $min = $max + 1;
                $max += $inc;
@@ -2421,6 +3113,56 @@ sub gs_fetch_loop_common {
        }
 }
 
+sub match_globs {
+       my ($self, $exists, $paths, $globs, $r) = @_;
+
+       sub get_dir_check {
+               my ($self, $exists, $g, $r) = @_;
+               my @x = eval { $self->get_dir($g->{path}->{left}, $r) };
+               return unless scalar @x == 3;
+               my $dirents = $x[0];
+               foreach my $de (keys %$dirents) {
+                       next if $dirents->{$de}->kind != $SVN::Node::dir;
+                       my $p = $g->{path}->full_path($de);
+                       next if $exists->{$p};
+                       next if (length $g->{path}->{right} &&
+                                ($self->check_path($p, $r) !=
+                                 $SVN::Node::dir));
+                       $exists->{$p} = Git::SVN->init($self->{url}, $p, undef,
+                                        $g->{ref}->full_path($de), 1);
+               }
+       }
+       foreach my $g (@$globs) {
+               if (my $path = $paths->{"/$g->{path}->{left}"}) {
+                       if ($path->{action} =~ /^[AR]$/) {
+                               get_dir_check($self, $exists, $g, $r);
+                       }
+               }
+               foreach (keys %$paths) {
+                       if (/$g->{path}->{left_regex}/ &&
+                           !/$g->{path}->{regex}/) {
+                               next if $paths->{$_}->{action} !~ /^[AR]$/;
+                               get_dir_check($self, $exists, $g, $r);
+                       }
+                       next unless /$g->{path}->{regex}/;
+                       my $p = $1;
+                       my $pathname = $g->{path}->full_path($p);
+                       next if $exists->{$pathname};
+                       $exists->{$pathname} = Git::SVN->init(
+                                             $self->{url}, $pathname, undef,
+                                             $g->{ref}->full_path($p), 1);
+               }
+               my $c = '';
+               foreach (split m#/#, $g->{path}->{left}) {
+                       $c .= "/$_";
+                       next unless ($paths->{$c} &&
+                                    ($paths->{$c}->{action} =~ /^[AR]$/));
+                       get_dir_check($self, $exists, $g, $r);
+               }
+       }
+       values %$exists;
+}
+
 sub minimize_url {
        my ($self) = @_;
        return $self->{url} if ($self->{url} eq $self->{repos_root});
@@ -2466,6 +3208,9 @@ sub skip_unknown_revs {
        # 175007 - http(s):// (this repo required authorization, too...)
        #   More codes may be discovered later...
        if ($errno == 175007 || $errno == 175002 || $errno == 160013) {
+               warn "W: Ignoring error from SVN, path probably ",
+                    "does not exist: ($errno): ",
+                    $err->expanded_message,"\n";
                return;
        }
        die "Error from SVN, ($errno): ", $err->expanded_message,"\n";
@@ -2550,8 +3295,17 @@ sub log_use_color {
 }
 
 sub git_svn_log_cmd {
-       my ($r_min, $r_max) = @_;
-       my $gs = Git::SVN->_new;
+       my ($r_min, $r_max, @args) = @_;
+       my $head = 'HEAD';
+       foreach my $x (@args) {
+               last if $x eq '--';
+               next unless ::verify_ref("$x^0");
+               $head = $x;
+               last;
+       }
+
+       my $url = (::working_head_info($head))[0];
+       my $gs = Git::SVN->find_by_url($url) || Git::SVN->_new;
        my @cmd = (qw/log --abbrev-commit --pretty=raw --default/,
                   $gs->refname);
        push @cmd, '-r' unless $non_recursive;
@@ -2715,7 +3469,7 @@ sub show_commit_normal {
                print "\n";
 
        }
-       foreach my $x (qw/raw diff/) {
+       foreach my $x (qw/raw stat diff/) {
                if ($c->{$x}) {
                        print "\n";
                        print $_ foreach @{$c->{$x}}
@@ -2744,10 +3498,10 @@ sub cmd_show_log {
        }
 
        config_pager();
-       @args = (git_svn_log_cmd($r_min, $r_max), @args);
+       @args = (git_svn_log_cmd($r_min, $r_max, @args), @args);
        my $log = command_output_pipe(@args);
        run_pager();
-       my (@k, $c, $d);
+       my (@k, $c, $d, $stat);
        my $esc_color = qr/(?:\033\[(?:(?:\d+;)*\d*)?m)*/;
        while (<$log>) {
                if (/^${esc_color}commit ($::sha1_short)/o) {
@@ -2775,6 +3529,13 @@ sub cmd_show_log {
                        push @{$c->{diff}}, $_;
                } elsif ($d) {
                        push @{$c->{diff}}, $_;
+               } elsif (/^\ .+\ \|\s*\d+\ $esc_color[\+\-]*
+                         $esc_color*[\+\-]*$esc_color$/x) {
+                       $stat = 1;
+                       push @{$c->{stat}}, $_;
+               } elsif ($stat && /^ \d+ files changed, \d+ insertions/) {
+                       push @{$c->{stat}}, $_;
+                       $stat = undef;
                } elsif (/^${esc_color}    (git-svn-id:.+)$/o) {
                        ($c->{url}, $c->{r}, undef) = ::extract_metadata($1);
                } elsif (s/^${esc_color}    //o) {
@@ -2810,6 +3571,9 @@ package Git::SVN::Migration;
 #            - info/url may remain for backwards compatibility
 #            - this is what we migrate up to this layout automatically,
 #            - this will be used by git svn init on single branches
+# v3.1 layout (auto migrated):
+#            - .rev_db => .rev_db.$UUID, .rev_db will remain as a symlink
+#              for backwards compatibility
 #
 # v4 layout: .git/svn/$repo_id/$id, refs/remotes/$repo_id/$id
 #            - this is only created for newly multi-init-ed
@@ -2932,7 +3696,10 @@ sub migrate_from_v2 {
        my $migrated = 0;
 
        foreach my $ref_id (sort keys %l_map) {
-               Git::SVN->init($l_map{$ref_id}, '', $ref_id, $ref_id);
+               eval { Git::SVN->init($l_map{$ref_id}, '', undef, $ref_id) };
+               if ($@) {
+                       Git::SVN->init($l_map{$ref_id}, '', $ref_id, $ref_id);
+               }
                $migrated++;
        }
        $migrated;
@@ -2957,7 +3724,7 @@ sub minimize_connections {
 
                my $root_ra = Git::SVN::Ra->new($ra->{repos_root});
                my $root_path = $ra->{url};
-               $root_path =~ s#^\Q$ra->{repos_root}\E/*##;
+               $root_path =~ s#^\Q$ra->{repos_root}\E(/|$)##;
                foreach my $path (keys %$fetch) {
                        my $ref_id = $fetch->{$path};
                        my $gs = Git::SVN->new($ref_id, $repo_id, $path);
@@ -3061,10 +3828,71 @@ sub DESTROY {
        command_close_pipe($self->{gui}, $self->{ctx});
 }
 
+package Git::SVN::GlobSpec;
+use strict;
+use warnings;
+
+sub new {
+       my ($class, $glob) = @_;
+       my $re = $glob;
+       $re =~ s!/+$!!g; # no need for trailing slashes
+       my $nr = ($re =~ s!^(.*)\*(.*)$!\(\[^/\]+\)!g);
+       my ($left, $right) = ($1, $2);
+       if ($nr > 1) {
+               die "Only one '*' wildcard expansion ",
+                   "is supported (got $nr): '$glob'\n";
+       } elsif ($nr == 0) {
+               die "One '*' is needed for glob: '$glob'\n";
+       }
+       $re = quotemeta($left) . $re . quotemeta($right);
+       if (length $left && !($left =~ s!/+$!!g)) {
+               die "Missing trailing '/' on left side of: '$glob' ($left)\n";
+       }
+       if (length $right && !($right =~ s!^/+!!g)) {
+               die "Missing leading '/' on right side of: '$glob' ($right)\n";
+       }
+       my $left_re = qr/^\/\Q$left\E(\/|$)/;
+       bless { left => $left, right => $right, left_regex => $left_re,
+               regex => qr/$re/, glob => $glob }, $class;
+}
+
+sub full_path {
+       my ($self, $path) = @_;
+       return (length $self->{left} ? "$self->{left}/" : '') .
+              $path . (length $self->{right} ? "/$self->{right}" : '');
+}
+
 __END__
 
 Data structures:
 
+
+$remotes = { # returned by read_all_remotes()
+       'svn' => {
+               # svn-remote.svn.url=https://svn.musicpd.org
+               url => 'https://svn.musicpd.org',
+               # svn-remote.svn.fetch=mpd/trunk:trunk
+               fetch => {
+                       'mpd/trunk' => 'trunk',
+               },
+               # svn-remote.svn.tags=mpd/tags/*:tags/*
+               tags => {
+                       path => {
+                               left => 'mpd/tags',
+                               right => '',
+                               regex => qr!mpd/tags/([^/]+)$!,
+                               glob => 'tags/*',
+                       },
+                       ref => {
+                               left => 'tags',
+                               right => '',
+                               regex => qr!tags/([^/]+)$!,
+                               glob => 'tags/*',
+                       },
+               }
+       }
+};
+
 $log_entry hashref as returned by libsvn_log_entry()
 {
        log => 'whitespace-formatted log entry