[PATCH] Avoid building object ref lists when not needed
[gitweb.git] / gitk
diff --git a/gitk b/gitk
index 6dc4b24f060e790d46b19f3510fee1e507057960..df86dceba0c097a6e2b1be9bf296ce3de014808e 100755 (executable)
--- a/gitk
+++ b/gitk
@@ -43,7 +43,7 @@ proc getcommits {rargs} {
        set parsed_args $rargs
     }
     if [catch {
-       set commfd [open "|git-rev-list --header --topo-order $parsed_args" r]
+       set commfd [open "|git-rev-list --header --topo-order --parents $parsed_args" r]
     } err] {
        puts stderr "Error executing git-rev-list: $err"
        exit 1
@@ -59,7 +59,7 @@ proc getcommits {rargs} {
 }
 
 proc getcommitlines {commfd}  {
-    global commits parents cdate children nchildren
+    global commits parents cdate children
     global commitlisted phase commitinfo nextupdate
     global stopped redisplaying leftover
 
@@ -96,7 +96,19 @@ to allow selection of commits to be displayed.)}
            set leftover {}
        }
        set start [expr {$i + 1}]
-       if {![regexp {^([0-9a-f]{40})\n} $cmit match id]} {
+       set j [string first "\n" $cmit]
+       set ok 0
+       if {$j >= 0} {
+           set ids [string range $cmit 0 [expr {$j - 1}]]
+           set ok 1
+           foreach id $ids {
+               if {![regexp {^[0-9a-f]{40}$} $id]} {
+                   set ok 0
+                   break
+               }
+           }
+       }
+       if {!$ok} {
            set shortcmit $cmit
            if {[string length $shortcmit] > 80} {
                set shortcmit "[string range $shortcmit 0 80]..."
@@ -104,10 +116,12 @@ to allow selection of commits to be displayed.)}
            error_popup "Can't parse git-rev-list output: {$shortcmit}"
            exit 1
        }
-       set cmit [string range $cmit 41 end]
+       set id [lindex $ids 0]
+       set olds [lrange $ids 1 end]
+       set cmit [string range $cmit [expr {$j + 1}] end]
        lappend commits $id
        set commitlisted($id) 1
-       parsecommit $id $cmit 1
+       parsecommit $id $cmit 1 [lrange $ids 1 end]
        drawcommit $id
        if {[clock clicks -milliseconds] >= $nextupdate} {
            doupdate 1
@@ -151,10 +165,10 @@ proc doupdate {reading} {
 
 proc readcommit {id} {
     if [catch {set contents [exec git-cat-file commit $id]}] return
-    parsecommit $id $contents 0
+    parsecommit $id $contents 0 {}
 }
 
-proc parsecommit {id contents listed} {
+proc parsecommit {id contents listed olds} {
     global commitinfo children nchildren parents nparents cdate ncleft
 
     set inhdr 1
@@ -169,30 +183,26 @@ proc parsecommit {id contents listed} {
        set nchildren($id) 0
        set ncleft($id) 0
     }
-    set parents($id) {}
-    set nparents($id) 0
+    set parents($id) $olds
+    set nparents($id) [llength $olds]
+    foreach p $olds {
+       if {![info exists nchildren($p)]} {
+           set children($p) [list $id]
+           set nchildren($p) 1
+           set ncleft($p) 1
+       } elseif {[lsearch -exact $children($p) $id] < 0} {
+           lappend children($p) $id
+           incr nchildren($p)
+           incr ncleft($p)
+       }
+    }
     foreach line [split $contents "\n"] {
        if {$inhdr} {
            if {$line == {}} {
                set inhdr 0
            } else {
                set tag [lindex $line 0]
-               if {$tag == "parent"} {
-                   set p [lindex $line 1]
-                   if {![info exists nchildren($p)]} {
-                       set children($p) {}
-                       set nchildren($p) 0
-                       set ncleft($p) 0
-                   }
-                   lappend parents($id) $p
-                   incr nparents($id)
-                   # sometimes we get a commit that lists a parent twice...
-                   if {$listed && [lsearch -exact $children($p) $id] < 0} {
-                       lappend children($p) $id
-                       incr nchildren($p)
-                       incr ncleft($p)
-                   }
-               } elseif {$tag == "author"} {
+               if {$tag == "author"} {
                    set x [expr {[llength $line] - 2}]
                    set audate [lindex $line $x]
                    set auname [lrange $line 1 [expr {$x - 1}]]
@@ -228,7 +238,8 @@ proc parsecommit {id contents listed} {
 }
 
 proc readrefs {} {
-    global tagids idtags headids idheads
+    global tagids idtags headids idheads tagcontents
+
     set tags [glob -nocomplain -types f [gitdir]/refs/tags/*]
     foreach f $tags {
        catch {
@@ -238,7 +249,8 @@ proc readrefs {} {
                set direct [file tail $f]
                set tagids($direct) $id
                lappend idtags($id) $direct
-               set contents [split [exec git-cat-file tag $id] "\n"]
+               set tagblob [exec git-cat-file tag $id]
+               set contents [split $tagblob "\n"]
                set obj {}
                set type {}
                set tag {}
@@ -253,6 +265,7 @@ proc readrefs {} {
                if {$obj != {} && $type == "commit" && $tag != {}} {
                    set tagids($tag) $obj
                    lappend idtags($obj) $tag
+                   set tagcontents($tag) $tagblob
                }
            }
            close $fd
@@ -271,6 +284,32 @@ proc readrefs {} {
            close $fd
        }
     }
+    readotherrefs refs {} {tags heads}
+}
+
+proc readotherrefs {base dname excl} {
+    global otherrefids idotherrefs
+
+    set git [gitdir]
+    set files [glob -nocomplain -types f [file join $git $base *]]
+    foreach f $files {
+       catch {
+           set fd [open $f r]
+           set line [read $fd 40]
+           if {[regexp {^[0-9a-f]{40}} $line id]} {
+               set name "$dname[file tail $f]"
+               set otherrefids($name) $id
+               lappend idotherrefs($id) $name
+           }
+           close $fd
+       }
+    }
+    set dirs [glob -nocomplain -types d [file join $git $base *]]
+    foreach d $dirs {
+       set dir [file tail $d]
+       if {[lsearch -exact $excl $dir] >= 0} continue
+       readotherrefs [file join $base $dir] "$dname$dir/" {}
+    }
 }
 
 proc error_popup msg {
@@ -295,6 +334,7 @@ proc makewindow {} {
     menu .bar
     .bar add cascade -label "File" -menu .bar.file
     menu .bar.file
+    .bar.file add command -label "Reread references" -command rereadrefs
     .bar.file add command -label "Quit" -command doquit
     menu .bar.help
     .bar add cascade -label "Help" -menu .bar.help
@@ -518,6 +558,7 @@ proc click {w} {
 proc savestuff {w} {
     global canv canv2 canv3 ctext cflist mainfont textfont
     global stuffsaved findmergefiles gaudydiff maxgraphpct
+    global maxwidth
 
     if {$stuffsaved} return
     if {![winfo viewable .]} return
@@ -528,6 +569,7 @@ proc savestuff {w} {
        puts $f [list set findmergefiles $findmergefiles]
        puts $f [list set gaudydiff $gaudydiff]
        puts $f [list set maxgraphpct $maxgraphpct]
+       puts $f [list set maxwidth $maxwidth]
        puts $f "set geometry(width) [winfo width .ctop]"
        puts $f "set geometry(height) [winfo height .ctop]"
        puts $f "set geometry(canv1) [expr [winfo width $canv]-2]"
@@ -704,21 +746,24 @@ proc assigncolor {id} {
 }
 
 proc initgraph {} {
-    global canvy canvy0 lineno numcommits lthickness nextcolor linespc
-    global mainline sidelines
+    global canvy canvy0 lineno numcommits nextcolor linespc
+    global mainline mainlinearrow sidelines
     global nchildren ncleft
+    global displist nhyperspace
 
     allcanvs delete all
     set nextcolor 0
     set canvy $canvy0
     set lineno -1
     set numcommits 0
-    set lthickness [expr {int($linespc / 9) + 1}]
     catch {unset mainline}
+    catch {unset mainlinearrow}
     catch {unset sidelines}
     foreach id [array names nchildren] {
        set ncleft($id) $nchildren($id)
     }
+    set displist {}
+    set nhyperspace 0
 }
 
 proc bindline {t id} {
@@ -730,19 +775,47 @@ proc bindline {t id} {
     $canv bind $t <Button-1> "lineclick %x %y $id 1"
 }
 
+proc drawlines {id xtra} {
+    global mainline mainlinearrow sidelines lthickness colormap canv
+
+    $canv delete lines.$id
+    if {[info exists mainline($id)]} {
+       set t [$canv create line $mainline($id) \
+                  -width [expr {($xtra + 1) * $lthickness}] \
+                  -fill $colormap($id) -tags lines.$id \
+                  -arrow $mainlinearrow($id)]
+       $canv lower $t
+       bindline $t $id
+    }
+    if {[info exists sidelines($id)]} {
+       foreach ls $sidelines($id) {
+           set coords [lindex $ls 0]
+           set thick [lindex $ls 1]
+           set arrow [lindex $ls 2]
+           set t [$canv create line $coords -fill $colormap($id) \
+                      -width [expr {($thick + $xtra) * $lthickness}] \
+                      -arrow $arrow -tags lines.$id]
+           $canv lower $t
+           bindline $t $id
+       }
+    }
+}
+
+# level here is an index in displist
 proc drawcommitline {level} {
-    global parents children nparents nchildren todo
+    global parents children nparents displist
     global canv canv2 canv3 mainfont namefont canvy linespc
     global lineid linehtag linentag linedtag commitinfo
     global colormap numcommits currentparents dupparents
-    global oldlevel oldnlines oldtodo
-    global idtags idline idheads
-    global lineno lthickness mainline sidelines
-    global commitlisted rowtextx idpos
+    global idtags idline idheads idotherrefs
+    global lineno lthickness mainline mainlinearrow sidelines
+    global commitlisted rowtextx idpos lastuse displist
+    global oldnlines olddlevel olddisplist
 
     incr numcommits
     incr lineno
-    set id [lindex $todo $level]
+    set id [lindex $displist $level]
+    set lastuse($id) $lineno
     set lineid($lineno) $id
     set idline($id) $lineno
     set ofill [expr {[info exists commitlisted($id)]? "blue": "white"}]
@@ -773,34 +846,25 @@ proc drawcommitline {level} {
        [list 0 0 0 [expr $y1 + 0.5 * $linespc + 2]]
     if {[info exists mainline($id)]} {
        lappend mainline($id) $x $y1
-       set t [$canv create line $mainline($id) \
-                  -width $lthickness -fill $colormap($id)]
-       $canv lower $t
-       bindline $t $id
-    }
-    if {[info exists sidelines($id)]} {
-       foreach ls $sidelines($id) {
-           set coords [lindex $ls 0]
-           set thick [lindex $ls 1]
-           set t [$canv create line $coords -fill $colormap($id) \
-                      -width [expr {$thick * $lthickness}]]
-           $canv lower $t
-           bindline $t $id
+       if {$mainlinearrow($id) ne "none"} {
+           set mainline($id) [trimdiagstart $mainline($id)]
        }
     }
+    drawlines $id 0
     set orad [expr {$linespc / 3}]
     set t [$canv create oval [expr $x - $orad] [expr $y1 - $orad] \
               [expr $x + $orad - 1] [expr $y1 + $orad - 1] \
               -fill $ofill -outline black -width 1]
     $canv raise $t
     $canv bind $t <1> {selcanvline {} %x %y}
-    set xt [xcoord [llength $todo] $level $lineno]
+    set xt [xcoord [llength $displist] $level $lineno]
     if {[llength $currentparents] > 2} {
        set xt [expr {$xt + ([llength $currentparents] - 2) * $linespc}]
     }
     set rowtextx($lineno) $xt
     set idpos($id) [list $x $xt $y1]
-    if {[info exists idtags($id)] || [info exists idheads($id)]} {
+    if {[info exists idtags($id)] || [info exists idheads($id)]
+       || [info exists idotherrefs($id)]} {
        set xt [drawtags $id $x $xt $y1]
     }
     set headline [lindex $commitinfo($id) 0]
@@ -813,21 +877,30 @@ proc drawcommitline {level} {
                               -text $name -font $namefont]
     set linedtag($lineno) [$canv3 create text 3 $y1 -anchor w \
                               -text $date -font $mainfont]
+
+    set olddlevel $level
+    set olddisplist $displist
+    set oldnlines [llength $displist]
 }
 
 proc drawtags {id x xt y1} {
-    global idtags idheads
+    global idtags idheads idotherrefs
     global linespc lthickness
-    global canv mainfont
+    global canv mainfont idline rowtextx
 
     set marks {}
     set ntags 0
+    set nheads 0
     if {[info exists idtags($id)]} {
        set marks $idtags($id)
        set ntags [llength $marks]
     }
     if {[info exists idheads($id)]} {
        set marks [concat $marks $idheads($id)]
+       set nheads [llength $idheads($id)]
+    }
+    if {[info exists idotherrefs($id)]} {
+       set marks [concat $marks $idotherrefs($id)]
     }
     if {$marks eq {}} {
        return $xt
@@ -852,61 +925,36 @@ proc drawtags {id x xt y1} {
        set xr [expr $x + $delta + $wid + $lthickness]
        if {[incr ntags -1] >= 0} {
            # draw a tag
-           $canv create polygon $x [expr $yt + $delta] $xl $yt\
-               $xr $yt $xr $yb $xl $yb $x [expr $yb - $delta] \
-               -width 1 -outline black -fill yellow -tags tag.$id
+           set t [$canv create polygon $x [expr $yt + $delta] $xl $yt \
+                      $xr $yt $xr $yb $xl $yb $x [expr $yb - $delta] \
+                      -width 1 -outline black -fill yellow -tags tag.$id]
+           $canv bind $t <1> [list showtag $tag 1]
+           set rowtextx($idline($id)) [expr {$xr + $linespc}]
        } else {
-           # draw a head
+           # draw a head or other ref
+           if {[incr nheads -1] >= 0} {
+               set col green
+           } else {
+               set col "#ddddff"
+           }
            set xl [expr $xl - $delta/2]
            $canv create polygon $x $yt $xr $yt $xr $yb $x $yb \
-               -width 1 -outline black -fill green -tags tag.$id
-       }
-       $canv create text $xl $y1 -anchor w -text $tag \
-           -font $mainfont -tags tag.$id
-    }
-    return $xt
-}
-
-proc updatetodo {level noshortcut} {
-    global currentparents ncleft todo
-    global mainline oldlevel oldtodo oldnlines
-    global canvy linespc mainline
-    global commitinfo lineno xspc1
-
-    set oldlevel $level
-    set oldtodo $todo
-    set oldnlines [llength $todo]
-    if {!$noshortcut && [llength $currentparents] == 1} {
-       set p [lindex $currentparents 0]
-       if {$ncleft($p) == 1 && [lsearch -exact $todo $p] < 0} {
-           set ncleft($p) 0
-           set x [xcoord $level $level $lineno]
-           set y [expr $canvy - $linespc]
-           set mainline($p) [list $x $y]
-           set todo [lreplace $todo $level $level $p]
-           set xspc1([expr {$lineno + 1}]) $xspc1($lineno)
-           return 0
+               -width 1 -outline black -fill $col -tags tag.$id
        }
-    }
-
-    set todo [lreplace $todo $level $level]
-    set i $level
-    foreach p $currentparents {
-       incr ncleft($p) -1
-       set k [lsearch -exact $todo $p]
-       if {$k < 0} {
-           set todo [linsert $todo $i $p]
-           incr i
+       set t [$canv create text $xl $y1 -anchor w -text $tag \
+                  -font $mainfont -tags tag.$id]
+       if {$ntags >= 0} {
+           $canv bind $t <1> [list showtag $tag 1]
        }
     }
-    return 1
+    return $xt
 }
 
 proc notecrossings {id lo hi corner} {
-    global oldtodo crossings cornercrossings
+    global olddisplist crossings cornercrossings
 
     for {set i $lo} {[incr i] < $hi} {} {
-       set p [lindex $oldtodo $i]
+       set p [lindex $olddisplist $i]
        if {$p == {}} continue
        if {$i == $corner} {
            if {![info exists cornercrossings($id)]
@@ -942,37 +990,219 @@ proc xcoord {i level ln} {
     return $x
 }
 
-proc drawslants {level} {
-    global canv mainline sidelines canvx0 canvy xspc1 xspc2 lthickness
-    global oldlevel oldtodo todo currentparents dupparents
+# it seems Tk can't draw arrows on the end of diagonal line segments...
+proc trimdiagend {line} {
+    while {[llength $line] > 4} {
+       set x1 [lindex $line end-3]
+       set y1 [lindex $line end-2]
+       set x2 [lindex $line end-1]
+       set y2 [lindex $line end]
+       if {($x1 == $x2) != ($y1 == $y2)} break
+       set line [lreplace $line end-1 end]
+    }
+    return $line
+}
+
+proc trimdiagstart {line} {
+    while {[llength $line] > 4} {
+       set x1 [lindex $line 0]
+       set y1 [lindex $line 1]
+       set x2 [lindex $line 2]
+       set y2 [lindex $line 3]
+       if {($x1 == $x2) != ($y1 == $y2)} break
+       set line [lreplace $line 0 1]
+    }
+    return $line
+}
+
+proc drawslants {id needonscreen nohs} {
+    global canv mainline mainlinearrow sidelines
+    global canvx0 canvy xspc1 xspc2 lthickness
+    global currentparents dupparents
     global lthickness linespc canvy colormap lineno geometry
-    global maxgraphpct
+    global maxgraphpct maxwidth
+    global displist onscreen lastuse
+    global parents commitlisted
+    global oldnlines olddlevel olddisplist
+    global nhyperspace numcommits nnewparents
+
+    if {$lineno < 0} {
+       lappend displist $id
+       set onscreen($id) 1
+       return 0
+    }
+
+    set y1 [expr {$canvy - $linespc}]
+    set y2 $canvy
+
+    # work out what we need to get back on screen
+    set reins {}
+    if {$onscreen($id) < 0} {
+       # next to do isn't displayed, better get it on screen...
+       lappend reins [list $id 0]
+    }
+    # make sure all the previous commits's parents are on the screen
+    foreach p $currentparents {
+       if {$onscreen($p) < 0} {
+           lappend reins [list $p 0]
+       }
+    }
+    # bring back anything requested by caller
+    if {$needonscreen ne {}} {
+       lappend reins $needonscreen
+    }
+
+    # try the shortcut
+    if {$currentparents == $id && $onscreen($id) == 0 && $reins eq {}} {
+       set dlevel $olddlevel
+       set x [xcoord $dlevel $dlevel $lineno]
+       set mainline($id) [list $x $y1]
+       set mainlinearrow($id) none
+       set lastuse($id) $lineno
+       set displist [lreplace $displist $dlevel $dlevel $id]
+       set onscreen($id) 1
+       set xspc1([expr {$lineno + 1}]) $xspc1($lineno)
+       return $dlevel
+    }
+
+    # update displist
+    set displist [lreplace $displist $olddlevel $olddlevel]
+    set j $olddlevel
+    foreach p $currentparents {
+       set lastuse($p) $lineno
+       if {$onscreen($p) == 0} {
+           set displist [linsert $displist $j $p]
+           set onscreen($p) 1
+           incr j
+       }
+    }
+    if {$onscreen($id) == 0} {
+       lappend displist $id
+       set onscreen($id) 1
+    }
+
+    # remove the null entry if present
+    set nullentry [lsearch -exact $displist {}]
+    if {$nullentry >= 0} {
+       set displist [lreplace $displist $nullentry $nullentry]
+    }
+
+    # bring back the ones we need now (if we did it earlier
+    # it would change displist and invalidate olddlevel)
+    foreach pi $reins {
+       # test again in case of duplicates in reins
+       set p [lindex $pi 0]
+       if {$onscreen($p) < 0} {
+           set onscreen($p) 1
+           set lastuse($p) $lineno
+           set displist [linsert $displist [lindex $pi 1] $p]
+           incr nhyperspace -1
+       }
+    }
+
+    set lastuse($id) $lineno
+
+    # see if we need to make any lines jump off into hyperspace
+    set displ [llength $displist]
+    if {$displ > $maxwidth} {
+       set ages {}
+       foreach x $displist {
+           lappend ages [list $lastuse($x) $x]
+       }
+       set ages [lsort -integer -index 0 $ages]
+       set k 0
+       while {$displ > $maxwidth} {
+           set use [lindex $ages $k 0]
+           set victim [lindex $ages $k 1]
+           if {$use >= $lineno - 5} break
+           incr k
+           if {[lsearch -exact $nohs $victim] >= 0} continue
+           set i [lsearch -exact $displist $victim]
+           set displist [lreplace $displist $i $i]
+           set onscreen($victim) -1
+           incr nhyperspace
+           incr displ -1
+           if {$i < $nullentry} {
+               incr nullentry -1
+           }
+           set x [lindex $mainline($victim) end-1]
+           lappend mainline($victim) $x $y1
+           set line [trimdiagend $mainline($victim)]
+           set arrow "last"
+           if {$mainlinearrow($victim) ne "none"} {
+               set line [trimdiagstart $line]
+               set arrow "both"
+           }
+           lappend sidelines($victim) [list $line 1 $arrow]
+           unset mainline($victim)
+       }
+    }
+
+    set dlevel [lsearch -exact $displist $id]
+
+    # If we are reducing, put in a null entry
+    if {$displ < $oldnlines} {
+       # does the next line look like a merge?
+       # i.e. does it have > 1 new parent?
+       if {$nnewparents($id) > 1} {
+           set i [expr {$dlevel + 1}]
+       } elseif {$nnewparents([lindex $olddisplist $olddlevel]) == 0} {
+           set i $olddlevel
+           if {$nullentry >= 0 && $nullentry < $i} {
+               incr i -1
+           }
+       } elseif {$nullentry >= 0} {
+           set i $nullentry
+           while {$i < $displ
+                  && [lindex $olddisplist $i] == [lindex $displist $i]} {
+               incr i
+           }
+       } else {
+           set i $olddlevel
+           if {$dlevel >= $i} {
+               incr i
+           }
+       }
+       if {$i < $displ} {
+           set displist [linsert $displist $i {}]
+           incr displ
+           if {$dlevel >= $i} {
+               incr dlevel
+           }
+       }
+    }
 
     # decide on the line spacing for the next line
     set lj [expr {$lineno + 1}]
     set maxw [expr {$maxgraphpct * $geometry(canv1) / 100}]
-    set n [llength $todo]
-    if {$n <= 1 || $canvx0 + $n * $xspc2 <= $maxw} {
+    if {$displ <= 1 || $canvx0 + $displ * $xspc2 <= $maxw} {
        set xspc1($lj) $xspc2
     } else {
-       set xspc1($lj) [expr {($maxw - $canvx0 - $xspc2) / ($n - 1)}]
+       set xspc1($lj) [expr {($maxw - $canvx0 - $xspc2) / ($displ - 1)}]
        if {$xspc1($lj) < $lthickness} {
            set xspc1($lj) $lthickness
        }
     }
-    
-    set y1 [expr $canvy - $linespc]
-    set y2 $canvy
+
+    foreach idi $reins {
+       set id [lindex $idi 0]
+       set j [lsearch -exact $displist $id]
+       set xj [xcoord $j $dlevel $lj]
+       set mainline($id) [list $xj $y2]
+       set mainlinearrow($id) first
+    }
+
     set i -1
-    foreach id $oldtodo {
+    foreach id $olddisplist {
        incr i
        if {$id == {}} continue
-       set xi [xcoord $i $oldlevel $lineno]
-       if {$i == $oldlevel} {
+       if {$onscreen($id) <= 0} continue
+       set xi [xcoord $i $olddlevel $lineno]
+       if {$i == $olddlevel} {
            foreach p $currentparents {
-               set j [lsearch -exact $todo $p]
+               set j [lsearch -exact $displist $p]
                set coords [list $xi $y1]
-               set xj [xcoord $j $level $lj]
+               set xj [xcoord $j $dlevel $lj]
                if {$xj < $xi - $linespc} {
                    lappend coords [expr {$xj + $linespc}] $y1
                    notecrossings $p $j $i [expr {$j + 1}]
@@ -983,9 +1213,10 @@ proc drawslants {level} {
                if {[lsearch -exact $dupparents $p] >= 0} {
                    # draw a double-width line to indicate the doubled parent
                    lappend coords $xj $y2
-                   lappend sidelines($p) [list $coords 2]
+                   lappend sidelines($p) [list $coords 2 none]
                    if {![info exists mainline($p)]} {
                        set mainline($p) [list $xj $y2]
+                       set mainlinearrow($p) none
                    }
                } else {
                    # normal case, no parent duplicated
@@ -999,48 +1230,175 @@ proc drawslants {level} {
                            lappend coords $xj $yb
                        }
                        set mainline($p) $coords
+                       set mainlinearrow($p) none
                    } else {
                        lappend coords $xj $yb
                        if {$yb < $y2} {
                            lappend coords $xj $y2
                        }
-                       lappend sidelines($p) [list $coords 1]
+                       lappend sidelines($p) [list $coords 1 none]
                    }
                }
            }
        } else {
            set j $i
-           if {[lindex $todo $i] != $id} {
-               set j [lsearch -exact $todo $id]
+           if {[lindex $displist $i] != $id} {
+               set j [lsearch -exact $displist $id]
            }
            if {$j != $i || $xspc1($lineno) != $xspc1($lj)
-               || ($oldlevel <= $i && $i <= $level)
-               || ($level <= $i && $i <= $oldlevel)} {
-               set xj [xcoord $j $level $lj]
-               set dx [expr {abs($xi - $xj)}]
-               set yb $y2
-               if {0 && $dx < $linespc} {
-                   set yb [expr {$y1 + $dx}]
+               || ($olddlevel < $i && $i < $dlevel)
+               || ($dlevel < $i && $i < $olddlevel)} {
+               set xj [xcoord $j $dlevel $lj]
+               lappend mainline($id) $xi $y1 $xj $y2
+           }
+       }
+    }
+    return $dlevel
+}
+
+# search for x in a list of lists
+proc llsearch {llist x} {
+    set i 0
+    foreach l $llist {
+       if {$l == $x || [lsearch -exact $l $x] >= 0} {
+           return $i
+       }
+       incr i
+    }
+    return -1
+}
+
+proc drawmore {reading} {
+    global displayorder numcommits ncmupdate nextupdate
+    global stopped nhyperspace parents commitlisted
+    global maxwidth onscreen displist currentparents olddlevel
+
+    set n [llength $displayorder]
+    while {$numcommits < $n} {
+       set id [lindex $displayorder $numcommits]
+       set ctxend [expr {$numcommits + 10}]
+       if {!$reading && $ctxend > $n} {
+           set ctxend $n
+       }
+       set dlist {}
+       if {$numcommits > 0} {
+           set dlist [lreplace $displist $olddlevel $olddlevel]
+           set i $olddlevel
+           foreach p $currentparents {
+               if {$onscreen($p) == 0} {
+                   set dlist [linsert $dlist $i $p]
+                   incr i
                }
-               lappend mainline($id) $xi $y1 $xj $yb
            }
        }
+       set nohs {}
+       set reins {}
+       set isfat [expr {[llength $dlist] > $maxwidth}]
+       if {$nhyperspace > 0 || $isfat} {
+           if {$ctxend > $n} break
+           # work out what to bring back and
+           # what we want to don't want to send into hyperspace
+           set room 1
+           for {set k $numcommits} {$k < $ctxend} {incr k} {
+               set x [lindex $displayorder $k]
+               set i [llsearch $dlist $x]
+               if {$i < 0} {
+                   set i [llength $dlist]
+                   lappend dlist $x
+               }
+               if {[lsearch -exact $nohs $x] < 0} {
+                   lappend nohs $x
+               }
+               if {$reins eq {} && $onscreen($x) < 0 && $room} {
+                   set reins [list $x $i]
+               }
+               set newp {}
+               if {[info exists commitlisted($x)]} {
+                   set right 0
+                   foreach p $parents($x) {
+                       if {[llsearch $dlist $p] < 0} {
+                           lappend newp $p
+                           if {[lsearch -exact $nohs $p] < 0} {
+                               lappend nohs $p
+                           }
+                           if {$reins eq {} && $onscreen($p) < 0 && $room} {
+                               set reins [list $p [expr {$i + $right}]]
+                           }
+                       }
+                       set right 1
+                   }
+               }
+               set l [lindex $dlist $i]
+               if {[llength $l] == 1} {
+                   set l $newp
+               } else {
+                   set j [lsearch -exact $l $x]
+                   set l [concat [lreplace $l $j $j] $newp]
+               }
+               set dlist [lreplace $dlist $i $i $l]
+               if {$room && $isfat && [llength $newp] <= 1} {
+                   set room 0
+               }
+           }
+       }
+
+       set dlevel [drawslants $id $reins $nohs]
+       drawcommitline $dlevel
+       if {[clock clicks -milliseconds] >= $nextupdate
+           && $numcommits >= $ncmupdate} {
+           doupdate $reading
+           if {$stopped} break
+       }
     }
 }
 
+# level here is an index in todo
+proc updatetodo {level noshortcut} {
+    global ncleft todo nnewparents
+    global commitlisted parents onscreen
+
+    set id [lindex $todo $level]
+    set olds {}
+    if {[info exists commitlisted($id)]} {
+       foreach p $parents($id) {
+           if {[lsearch -exact $olds $p] < 0} {
+               lappend olds $p
+           }
+       }
+    }
+    if {!$noshortcut && [llength $olds] == 1} {
+       set p [lindex $olds 0]
+       if {$ncleft($p) == 1 && [lsearch -exact $todo $p] < 0} {
+           set ncleft($p) 0
+           set todo [lreplace $todo $level $level $p]
+           set onscreen($p) 0
+           set nnewparents($id) 1
+           return 0
+       }
+    }
+
+    set todo [lreplace $todo $level $level]
+    set i $level
+    set n 0
+    foreach p $olds {
+       incr ncleft($p) -1
+       set k [lsearch -exact $todo $p]
+       if {$k < 0} {
+           set todo [linsert $todo $i $p]
+           set onscreen($p) 0
+           incr i
+           incr n
+       }
+    }
+    set nnewparents($id) $n
+
+    return 1
+}
+
 proc decidenext {{noread 0}} {
-    global parents children nchildren ncleft todo
-    global canv canv2 canv3 mainfont namefont canvy linespc
+    global ncleft todo
     global datemode cdate
     global commitinfo
-    global currentparents oldlevel oldnlines oldtodo
-    global lineno lthickness
-
-    # remove the null entry if present
-    set nullentry [lsearch -exact $todo {}]
-    if {$nullentry >= 0} {
-       set todo [lreplace $todo $nullentry $nullentry]
-    }
 
     # choose which one to do next time around
     set todol [llength $todo]
@@ -1076,73 +1434,43 @@ proc decidenext {{noread 0}} {
        return -1
     }
 
-    # If we are reducing, put in a null entry
-    if {$todol < $oldnlines} {
-       if {$nullentry >= 0} {
-           set i $nullentry
-           while {$i < $todol
-                  && [lindex $oldtodo $i] == [lindex $todo $i]} {
-               incr i
-           }
-       } else {
-           set i $oldlevel
-           if {$level >= $i} {
-               incr i
-           }
-       }
-       if {$i < $todol} {
-           set todo [linsert $todo $i {}]
-           if {$level >= $i} {
-               incr level
-           }
-       }
-    }
     return $level
 }
 
 proc drawcommit {id} {
     global phase todo nchildren datemode nextupdate
-    global startcommits numcommits ncmupdate
+    global numcommits ncmupdate displayorder todo onscreen
 
     if {$phase != "incrdraw"} {
        set phase incrdraw
-       set todo $id
-       set startcommits $id
+       set displayorder {}
+       set todo {}
        initgraph
-       drawcommitline 0
-       updatetodo 0 $datemode
-    } else {
-       if {$nchildren($id) == 0} {
-           lappend todo $id
-           lappend startcommits $id
+    }
+    if {$nchildren($id) == 0} {
+       lappend todo $id
+       set onscreen($id) 0
+    }
+    set level [decidenext 1]
+    if {$level == {} || $id != [lindex $todo $level]} {
+       return
+    }
+    while 1 {
+       lappend displayorder [lindex $todo $level]
+       if {[updatetodo $level $datemode]} {
+           set level [decidenext 1]
+           if {$level == {}} break
        }
-       set level [decidenext 1]
-       if {$level == {} || $id != [lindex $todo $level]} {
-           return
-       }
-       while 1 {
-           drawslants $level
-           drawcommitline $level
-           if {[updatetodo $level $datemode]} {
-               set level [decidenext 1]
-               if {$level == {}} break
-           }
-           set id [lindex $todo $level]
-           if {![info exists commitlisted($id)]} {
-               break
-           }
-           if {[clock clicks -milliseconds] >= $nextupdate
-               && $numcommits >= $ncmupdate} {
-               doupdate 1
-               if {$stopped} break
-           }
+       set id [lindex $todo $level]
+       if {![info exists commitlisted($id)]} {
+           break
        }
     }
+    drawmore 1
 }
 
 proc finishcommits {} {
     global phase
-    global startcommits
     global canv mainfont ctext maincursor textcursor
 
     if {$phase != "incrdraw"} {
@@ -1151,9 +1479,7 @@ proc finishcommits {} {
            -font $mainfont -tags textitems
        set phase {}
     } else {
-       set level [decidenext]
-       drawslants $level
-       drawrest $level [llength $startcommits]
+       drawrest
     }
     . config -cursor $maincursor
     settextcursor $textcursor
@@ -1171,54 +1497,38 @@ proc settextcursor {c} {
 }
 
 proc drawgraph {} {
-    global nextupdate startmsecs startcommits todo ncmupdate
+    global nextupdate startmsecs ncmupdate
+    global displayorder onscreen
 
-    if {$startcommits == {}} return
+    if {$displayorder == {}} return
     set startmsecs [clock clicks -milliseconds]
     set nextupdate [expr $startmsecs + 100]
     set ncmupdate 1
     initgraph
-    set todo [lindex $startcommits 0]
-    drawrest 0 1
+    foreach id $displayorder {
+       set onscreen($id) 0
+    }
+    drawmore 0
 }
 
-proc drawrest {level startix} {
+proc drawrest {} {
     global phase stopped redisplaying selectedline
-    global datemode currentparents todo
+    global datemode todo displayorder
     global numcommits ncmupdate
-    global nextupdate startmsecs startcommits idline
+    global nextupdate startmsecs
 
+    set level [decidenext]
     if {$level >= 0} {
        set phase drawgraph
-       set startid [lindex $startcommits $startix]
-       set startline -1
-       if {$startid != {}} {
-           set startline $idline($startid)
-       }
        while 1 {
-           if {$stopped} break
-           drawcommitline $level
+           lappend displayorder [lindex $todo $level]
            set hard [updatetodo $level $datemode]
-           if {$numcommits == $startline} {
-               lappend todo $startid
-               set hard 1
-               incr startix
-               set startid [lindex $startcommits $startix]
-               set startline -1
-               if {$startid != {}} {
-                   set startline $idline($startid)
-               }
-           }
            if {$hard} {
                set level [decidenext]
                if {$level < 0} break
-               drawslants $level
-           }
-           if {[clock clicks -milliseconds] >= $nextupdate
-               && $numcommits >= $ncmupdate} {
-               doupdate 0
            }
        }
+       drawmore 0
     }
     set phase {}
     set drawmsecs [expr [clock clicks -milliseconds] - $startmsecs]
@@ -1727,14 +2037,40 @@ proc commit_descriptor {p} {
     return "$p ($l)"
 }
 
+# append some text to the ctext widget, and make any SHA1 ID
+# that we know about be a clickable link.
+proc appendwithlinks {text} {
+    global ctext idline linknum
+
+    set start [$ctext index "end - 1c"]
+    $ctext insert end $text
+    $ctext insert end "\n"
+    set links [regexp -indices -all -inline {[0-9a-f]{40}} $text]
+    foreach l $links {
+       set s [lindex $l 0]
+       set e [lindex $l 1]
+       set linkid [string range $text $s $e]
+       if {![info exists idline($linkid)]} continue
+       incr e
+       $ctext tag add link "$start + $s c" "$start + $e c"
+       $ctext tag add link$linknum "$start + $s c" "$start + $e c"
+       $ctext tag bind link$linknum <1> [list selectline $idline($linkid) 1]
+       incr linknum
+    }
+    $ctext tag conf link -foreground blue -underline 1
+    $ctext tag bind link <Enter> { %W configure -cursor hand2 }
+    $ctext tag bind link <Leave> { %W configure -cursor $curtextcursor }
+}
+
 proc selectline {l isnew} {
     global canv canv2 canv3 ctext commitinfo selectedline
     global lineid linehtag linentag linedtag
-    global canvy0 linespc parents nparents children nchildren
+    global canvy0 linespc parents nparents children
     global cflist currentid sha1entry
-    global commentend idtags idline
+    global commentend idtags idline linknum
 
     $canv delete hover
+    normalline
     if {![info exists lineid($l)] || ![info exists linehtag($l)]} return
     $canv delete secsel
     set t [eval $canv create rect [$canv bbox $linehtag($l)] -outline {{}} \
@@ -1798,6 +2134,7 @@ proc selectline {l isnew} {
 
     $ctext conf -state normal
     $ctext delete 0.0 end
+    set linknum 0
     $ctext mark set fmark.0 0.0
     $ctext mark gravity fmark.0 left
     set info $commitinfo($id)
@@ -1811,7 +2148,6 @@ proc selectline {l isnew} {
        $ctext insert end "\n"
     }
  
-    set commentstart [$ctext index "end - 1c"]
     set comment {}
     if {[info exists parents($id)]} {
        foreach p $parents($id) {
@@ -1825,26 +2161,9 @@ proc selectline {l isnew} {
     }
     append comment "\n"
     append comment [lindex $info 5]
-    $ctext insert end $comment
-    $ctext insert end "\n"
 
     # make anything that looks like a SHA1 ID be a clickable link
-    set links [regexp -indices -all -inline {[0-9a-f]{40}} $comment]
-    set i 0
-    foreach l $links {
-       set s [lindex $l 0]
-       set e [lindex $l 1]
-       set linkid [string range $comment $s $e]
-       if {![info exists idline($linkid)]} continue
-       incr e
-       $ctext tag add link "$commentstart + $s c" "$commentstart + $e c"
-       $ctext tag add link$i "$commentstart + $s c" "$commentstart + $e c"
-       $ctext tag bind link$i <1> [list selectline $idline($linkid) 1]
-       incr i
-    }
-    $ctext tag conf link -foreground blue -underline 1
-    $ctext tag bind link <Enter> { %W configure -cursor hand2 }
-    $ctext tag bind link <Leave> { %W configure -cursor $curtextcursor }
+    appendwithlinks $comment
 
     $ctext tag delete Comments
     $ctext tag remove found 1.0 end
@@ -2654,12 +2973,13 @@ proc listboxsel {} {
 
 proc setcoords {} {
     global linespc charspc canvx0 canvy0 mainfont
-    global xspc1 xspc2
+    global xspc1 xspc2 lthickness
 
     set linespc [font metrics $mainfont -linespace]
     set charspc [font measure $mainfont "m"]
     set canvy0 [expr 3 + 0.5 * $linespc]
     set canvx0 [expr 3 + 0.5 * $linespc]
+    set lthickness [expr {int($linespc / 9) + 1}]
     set xspc1(0) $linespc
     set xspc2 $linespc
 }
@@ -2819,15 +3139,102 @@ proc linehover {} {
     $canv raise $t
 }
 
+proc clickisonarrow {id y} {
+    global mainline mainlinearrow sidelines lthickness
+
+    set thresh [expr {2 * $lthickness + 6}]
+    if {[info exists mainline($id)]} {
+       if {$mainlinearrow($id) ne "none"} {
+           if {abs([lindex $mainline($id) 1] - $y) < $thresh} {
+               return "up"
+           }
+       }
+    }
+    if {[info exists sidelines($id)]} {
+       foreach ls $sidelines($id) {
+           set coords [lindex $ls 0]
+           set arrow [lindex $ls 2]
+           if {$arrow eq "first" || $arrow eq "both"} {
+               if {abs([lindex $coords 1] - $y) < $thresh} {
+                   return "up"
+               }
+           }
+           if {$arrow eq "last" || $arrow eq "both"} {
+               if {abs([lindex $coords end] - $y) < $thresh} {
+                   return "down"
+               }
+           }
+       }
+    }
+    return {}
+}
+
+proc arrowjump {id dirn y} {
+    global mainline sidelines canv
+
+    set yt {}
+    if {$dirn eq "down"} {
+       if {[info exists mainline($id)]} {
+           set y1 [lindex $mainline($id) 1]
+           if {$y1 > $y} {
+               set yt $y1
+           }
+       }
+       if {[info exists sidelines($id)]} {
+           foreach ls $sidelines($id) {
+               set y1 [lindex $ls 0 1]
+               if {$y1 > $y && ($yt eq {} || $y1 < $yt)} {
+                   set yt $y1
+               }
+           }
+       }
+    } else {
+       if {[info exists sidelines($id)]} {
+           foreach ls $sidelines($id) {
+               set y1 [lindex $ls 0 end]
+               if {$y1 < $y && ($yt eq {} || $y1 > $yt)} {
+                   set yt $y1
+               }
+           }
+       }
+    }
+    if {$yt eq {}} return
+    set ymax [lindex [$canv cget -scrollregion] 3]
+    if {$ymax eq {} || $ymax <= 0} return
+    set view [$canv yview]
+    set yspan [expr {[lindex $view 1] - [lindex $view 0]}]
+    set yfrac [expr {$yt / $ymax - $yspan / 2}]
+    if {$yfrac < 0} {
+       set yfrac 0
+    }
+    $canv yview moveto $yfrac
+}
+
 proc lineclick {x y id isnew} {
-    global ctext commitinfo children cflist canv
+    global ctext commitinfo children cflist canv thickerline
 
     unmarkmatches
     unselectline
+    normalline
+    $canv delete hover
+    # draw this line thicker than normal
+    drawlines $id 1
+    set thickerline $id
     if {$isnew} {
-       addtohistory [list lineclick $x $x $id 0]
+       set ymax [lindex [$canv cget -scrollregion] 3]
+       if {$ymax eq {}} return
+       set yfrac [lindex [$canv yview] 0]
+       set y [expr {$y + $yfrac * $ymax}]
+    }
+    set dirn [clickisonarrow $id $y]
+    if {$dirn ne {}} {
+       arrowjump $id $dirn $y
+       return
+    }
+
+    if {$isnew} {
+       addtohistory [list lineclick $x $y $id 0]
     }
-    $canv delete hover
     # fill the details pane with info about this line
     $ctext conf -state normal
     $ctext delete 0.0 end
@@ -2860,6 +3267,14 @@ proc lineclick {x y id isnew} {
     $cflist delete 0 end
 }
 
+proc normalline {} {
+    global thickerline
+    if {[info exists thickerline]} {
+       drawlines $thickerline 0
+       unset thickerline
+    }
+}
+
 proc selbyid {id} {
     global idline
     if {[info exists idline($id)]} {
@@ -3053,7 +3468,6 @@ proc mktag {} {
 
 proc domktag {} {
     global mktagtop env tagids idtags
-    global idpos idline linehtag canv selectedline
 
     set id [$mktagtop.sha1 get]
     set tag [$mktagtop.tag get]
@@ -3078,6 +3492,13 @@ proc domktag {} {
 
     set tagids($tag) $id
     lappend idtags($id) $tag
+    redrawtags $id
+}
+
+proc redrawtags {id} {
+    global canv linehtag idline idpos selectedline
+
+    if {![info exists idline($id)]} return
     $canv delete tag.$id
     set xt [eval drawtags $id $idpos($id)]
     $canv coords $linehtag($idline($id)) $xt [lindex $idpos($id) 2]
@@ -3153,6 +3574,68 @@ proc wrcomcan {} {
     unset wrcomtop
 }
 
+proc listrefs {id} {
+    global idtags idheads idotherrefs
+
+    set x {}
+    if {[info exists idtags($id)]} {
+       set x $idtags($id)
+    }
+    set y {}
+    if {[info exists idheads($id)]} {
+       set y $idheads($id)
+    }
+    set z {}
+    if {[info exists idotherrefs($id)]} {
+       set z $idotherrefs($id)
+    }
+    return [list $x $y $z]
+}
+
+proc rereadrefs {} {
+    global idtags idheads idotherrefs
+    global tagids headids otherrefids
+
+    set refids [concat [array names idtags] \
+                   [array names idheads] [array names idotherrefs]]
+    foreach id $refids {
+       if {![info exists ref($id)]} {
+           set ref($id) [listrefs $id]
+       }
+    }
+    foreach v {tagids idtags headids idheads otherrefids idotherrefs} {
+       catch {unset $v}
+    }
+    readrefs
+    set refids [lsort -unique [concat $refids [array names idtags] \
+                       [array names idheads] [array names idotherrefs]]]
+    foreach id $refids {
+       set v [listrefs $id]
+       if {![info exists ref($id)] || $ref($id) != $v} {
+           redrawtags $id
+       }
+    }
+}
+
+proc showtag {tag isnew} {
+    global ctext cflist tagcontents tagids linknum
+
+    if {$isnew} {
+       addtohistory [list showtag $tag 0]
+    }
+    $ctext conf -state normal
+    $ctext delete 0.0 end
+    set linknum 0
+    if {[info exists tagcontents($tag)]} {
+       set text $tagcontents($tag)
+    } else {
+       set text "Tag: $tag\nId:  $tagids($tag)"
+    }
+    appendwithlinks $text
+    $ctext conf -state disabled
+    $cflist delete 0 end
+}
+
 proc doquit {} {
     global stopped
     set stopped 100
@@ -3170,6 +3653,7 @@ set textfont {Courier 9}
 set findmergefiles 0
 set gaudydiff 0
 set maxgraphpct 50
+set maxwidth 16
 
 set colors {green red blue magenta darkgrey brown orange}