Ушустряем нереально работу Postgre. Актуально для PT3 и HM

у меня был майнинг 3-4 месяца с 2ух лимитов. я не разу не делал analyze, как сделал - заняло около 5 мин.

Комп AMD Athlon II X2 24 (2.81 Ghz), 2 гига ОЗУ
Настроил конфиг как здесь:
Но скорость импорта медленная очень:



Почему так медленно? Это может быть из-за того, что у меня PostgreSQL стоит на диске С, а папка data - на D?
Как можно увеличить скорость до 200 рук/сек, как тут писали, а то у меня максимум 6-7 рук/сек

Попробуй сделать Reindex. Для существенного увеличения скорости нужен быстрый диск SSD или WD Raptor, а лучше сразу Raid0 на SSD ~600$ за 2 винта Intel X25-M 80ГБ или 500$ за OCZ Colossus 128ГБ

парни, а может кто нибудь дать копию файла к РТ3 уже настроеную с хорошей скоростью?

Кстати у себя заметил такой финт. Ставлю на импорт, например, пришедший майнинг, тыщ 40 рук в среднем. Начинается процесс очень медленно порой. Сначала с 10р\с, постепенно будет подниматься подниматься, потом долго остается в районе 30-40р\с, а потом уже и импорт закончился)) Хотя, когда импортил 2мио рук, то все таки скорость поднялась до 100 со временем. И однажды заметил, что после того как поставил импортироваться руки - сразу по прошествии тысяч 5-7 рук нажимаю отмену. А потом тут же сразу заново импорт делаю этих рук. Скорость сразу на второй попытке прыгает на 40-60, потом поднимается до 80-100 и так и остается. Когда импортил за не сколько дней сразу, то такой метод тоже нормально помогал: старт\стоп\старт - сначала 10-20, вторая попытка сразу 60 и до 120 ушло)

Может кто подскажет о какой переменной идет речь?

[Зарегистрироваться?]

Задача включить логирование запросов ХМ к базе, хочется некоторые запросу ручками поконструировать - нужны примеры.

__________________
Мой дневник: Продаю карты

Нашел.

Кстати, по теме топика - приведенные параметры действительно ушустряют работу. Но для тех у кого нет УПСа, что будет с базой если отлючиться питание во время импорта?

__________________
Мой дневник: Продаю карты

Я так понимаю, для этого нужно
logging_collector = ON
log_directory ='pg_log'
log_filename ='postgresql-%Y-%m-%d_%H%M%S.log'
log_statement ='all'
ИМХО, если сделать
fsync = off
synchronous_commit = off
то есть вероятность, что при внезапном выключении не сохранятся какие-то руки. Но это не проблема. В таких редких случаях можно просто переимпортировать последние HH. Теоретически, при аварийном выключении может повредиться сама база данных, и настройки на это ни как не влияют.

Спасибо, в итоге сделал чуть по другому.
В настройках ХМ есть переменная LogDatabaseCommands, ставим её в True и потом лезем в логи ХМ.

__________________
Мой дневник: Продаю карты

Скажите как убрать логи? Я их поставил значения как тут, но они всё равно сохраняются(логи после импорта рук в базу)
ВОТ:
og_destination ='stderr' # Valid values are combinations of
# stderr, csvlog, syslog and eventlog,
# depending on platform. csvlog
# requires logging_collector to be on.

# This is used when logging to stderr:
logging_collector = off # Enable capturing of stderr and csvlog
# into log files. Required to be on for
# csvlogs.
# (change requires restart)

То есть вся строка должна выглядеть так:
effective_cache_size = 1333MB
??


П.С. И прикрепить уже тему стикером!

Было бы здорово ещё если бы Падонок подвёл итоги и оформил красиво тему и стиекром её!!)

Здесь написано:[Зарегистрироваться?]
# Find the following configurations:

* "shared_buffers = xMB" and set this number equal to about 1/4 of your total memory. That is, if you have 2GB of RAM, set this to 512MB.
* "work_mem = xMB" and set this value equal to about 1/64 of your total memory. That is, if you have 2GB of RAM, set this to 32MB.
* "maintenance_work_mem = xMB" and set this value equal to about 1/16 of your total memory. That is, if you have 2GB of RAM, set this to 128MB.
Note: work_mem and maintentance_work_mem by default are commented out in the configuration file (e.g. has a # in front of them), so make sure to remove those symbols to put the changes into effect.


То есть чтобы это имело эффект во всех из этих параметров вначале строки нужно убрать символ #:? Или только в 2х последних?
Но про первую строку ещё в первом посте писали, что нужно убрать там символ, так нужно или нет??!!
Может чтобы изменения имели эффект нужно везде удалять символ #:??

Да вот же оно! Просто надо выложить и картинки вставить...
Ещё на первой странице.. А никто не оценил:(

Настроил б*ть.

Изображения

 

Символ # это символ комментария. Все, что стоит справа от этого символа и до конца строки игнорируется. Т.е. если перед строка начинается с #, то она пропускается, и все что в ней написано ни на что не влияет. По умолчанию все строки начинаются с этого символа, если хочешь поменять какой-то параметр, то символ убираешь.

Параметр
shared_buffers под виндой нельзя выставлять больше 1024MB. Постгрес не будет запускаться. Скорее всего у тебя проблема в этом параметре. Кроме того, на всех форумах пишут, что больше 512МБ делать его нет смысла, т.к. скорость работы не меняется.
Итоги подвести к сожалению сейчас не могу, хочу сначала покрутить параметы
checkpoint_segments и checkpoint_timeout
попробую сделать их побольше, на пример
checkpoint_segments = 32
checkpoint_timeout = 10min
предположительно должно заметно ускорить импорт.

Сделал тут себе сегодня новую базу (использую настройки указанные на второй страницы топика), чтобы проимпортить 5 млн рук.

Я иногда останавливаю импорт чтобы сделать Вакум (на ХМ говорят помогает), так вот после 500К остановил, сделал Вакум - запустил снова.. и обнаружил что Постгресс начал кушать очень много памяти, в топе таск менеджера висят три процесса по 500МБ + ХМ 200 с лишним МБ.

В итоге ХП сваливается в своп и скорость импорта драматически падает.

Понизил размеры буферов, теперь процессы жрут мегов по 150 и все нормально вертиться.

На компе оперативки 4Гб.

__________________
Мой дневник: Продаю карты

Попробовал установить эти параметры. Скорость импорта увеличилась с 120 до 160 h/s. Проверьте плиз кто-нить у себя и отпишитесь, для достоверности.

Надо как-то набраться терпения, и хорошенько поэкспериментировать с размером shared_buffers. Очень неприятно, когда запущенный PT и TableScan съедают все память. Я не уверен, что этот парамет сильно влияет на скорость импорта. В первую очередь он должен влиять скорость выборки данных из базы, а на импорт новых данных он влияет скорее косвенно. Возможно 150-200MB будет оптимальным вариантом. Нужно тестить....

Сейчас поставлю в районе 150К рук в большую базу, последние руки грузились в районе 70 h/s. По результату отпишусь.

__________________
Мой дневник: Продаю карты

У меня со всеми опциями предложенными Pad0n0k на компе 6GB DDR3, весь покерный софт на винчестере SSD128, процессор i7, Windows на SSD64GB.
Во всех базах примерно 4кк рук, баз 5, импорчу в новую базу(где нету ещё рук) и... Скорость стартует с 300 и за пару секунд доходит до 600, потом быстро падает до 200, и дальше уже медленне(минут за 7) спускается до 70(после добавленных опций checkpoint_segments = 32
checkpoint_timeout = 10min стала 80).
Это нормально? Мне кажется я сделал что-то не так...
Со стандартным конфигом скорость была 30.
Hosekeping и reindex конечно делаю через день.

У меня Q9650 @3.6, 4Гб и 300Гб VelicoRaptor, думал вот поставля себе SSD и получу реальный прыжок в скорости - а оказывается нет ((

Сорри за офф.

__________________
Мой дневник: Продаю карты