Все очень просто, если одна или обе точки отрезка полигона выходят далеко за границы экрана, то его отображение становится ну очень приблизительным. Поэтому и наблюдаются такие эффекты.
Кстати, можете сделать одну проверку. Выделите примерно такую же область полигональным выделением и включите "Отображать последнее выделение" и попробуйте поизучать его в разных масштабах. Там отрисовка сделана чуток по-другому.