怎样避免 DOM 中批量插入元素时新插入的节点被聚焦?

做了一个页面, 每当页面向下滚动, 底部将会插入新元素..
http://repo.tiye.me/osx-fonts-view/
但不好的地方是, 新插入的元素似乎要获取焦点(或者删除元素时候获取焦点?..)
这个结果是滚动条并不能流畅滑动了..
是否有办法可以阻止不必要的聚焦动作?

因为页面上用了 <input>, 我尝试去掉替换回到 <div>, 依然会抢夺焦点..