Oduvan's Web Blog » PosgreSQL http://www.lyabah.com Fri, 30 Jul 2010 16:48:37 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 Highload++ 2008: Производительность PostgreSQL, Николай Самохвалов http://www.lyabah.com/index.php/2009/04/10/highload-2008-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d1%8c-postgresql-%d0%bd%d0%b8%d0%ba%d0%be%d0%bb%d0%b0%d0%b9-%d1%81%d0%b0%d0%bc/ http://www.lyabah.com/index.php/2009/04/10/highload-2008-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d1%8c-postgresql-%d0%bd%d0%b8%d0%ba%d0%be%d0%bb%d0%b0%d0%b9-%d1%81%d0%b0%d0%bc/#comments Fri, 10 Apr 2009 07:08:52 +0000 Oduvan http://www.lyabah.com/?p=305 patient-monitoring-connectivityПосмотрел его доклад, впечатлился, решил вынести некоторые сноски.

Сравнение большого числа баз данных

Системы мониторинга и анализа:

Contrib/pgbanch – простая программа для запуска benchmark тестов PostgreSQL
Cacti(www.cacti.net)/Nagious (www.nagios.org) – системы мониторинга различных параметров системы
Bonnie++(sourceforge.net/projects/bonnie) тестирование винта и файловой системы
pgFouine(pgfouine.projects.postgresql.org) – анализатор логов. Написан на пхп

Статьи

PostgreSQL Hardware Performance Tuning
Performance Tuning
Настройка производительности
Инструкция по оптимизации
GUCs: A Three Hour Tour

Также упоминался connection pooler from Skype pgBouncer

Если у кого то есть еще интересные ссылки по теме, то кидайте, буду только рад. Спасибо.

Share and Enjoy:
  • Facebook
  • LinkedIn
  • del.icio.us
  • StumbleUpon
  • MySpace
  • Reddit
  • Digg
  • Google Bookmarks
  • Technorati
  • email
  • Print
  • Sphinn
  • Mixx
  • Blogplay
  • Add to favorites
  • Linkter
  • Live
  • MSN Reporter
  • NewsVine
  • RSS
  • Yahoo! Bookmarks
  • Yahoo! Buzz
  • Yigg
]]> http://www.lyabah.com/index.php/2009/04/10/highload-2008-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d1%8c-postgresql-%d0%bd%d0%b8%d0%ba%d0%be%d0%bb%d0%b0%d0%b9-%d1%81%d0%b0%d0%bc/feed/ 1 Django + PostgreSQL + Sphinx. Правильный поиск для вашего проекта. http://www.lyabah.com/index.php/2009/04/02/django-postgresql-sphinx-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d1%8c%d0%bd%d1%8b%d0%b9-%d0%bf%d0%be%d0%b8%d1%81%d0%ba-%d0%b4%d0%bb%d1%8f-%d0%b2%d0%b0%d1%88%d0%b5%d0%b3%d0%be-%d0%bf%d1%80%d0%be/ http://www.lyabah.com/index.php/2009/04/02/django-postgresql-sphinx-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d1%8c%d0%bd%d1%8b%d0%b9-%d0%bf%d0%be%d0%b8%d1%81%d0%ba-%d0%b4%d0%bb%d1%8f-%d0%b2%d0%b0%d1%88%d0%b5%d0%b3%d0%be-%d0%bf%d1%80%d0%be/#comments Thu, 02 Apr 2009 20:42:12 +0000 Oduvan http://www.lyabah.com/?p=291
Мои результаты мне давно известны,
я только не знаю, как я к ним приду.
К. Гаусс

У меня плохая память, я конечно над ней работаю, но все же она плохая. Вообще все говорят, что это отличная отмазка, и снятие любой ответственности. По сути да, отмазка конечно супер, но отвечать все равно приедается. Собственно одна из причин того, что я завел этот блог и есть моя плохая память, т.к. до многих вещей необходимо доходить по нескольку раз. Пока ты просто не возьмёшь это и где то не запишеш. Главное не забывать в нем писать :)

Доделал один сайт, и поиск к нему решил прикрутить не стандартный фуллтекст индекс из PostgreSQL а прицепить сюды енджин сторонний. Выбор мой остановился на Shinx ( сразу скажу, я не проводил углублённых анализов, на тему какой же движок заюзать. Это не надо пока. ) . Да, и есть маленькое затруднение в поиске инфы — я когда гуглил, то все время переципался через генератор документации для питона, с таким же названием.

Так. От слов к делу.

на форуме у них нашёл описание настройки под Debian. Так что ниже кратко:

  1. adduser –system –home /var/sphinx –uid 999 –disabled-password –disabled-login sphinx
  2.  
  3. mkdir /var/shpinx/bin
  4. mkdir /var/shpinx/etc
  5. mkdir /var/shpinx/log
  6. mkdir /var/shpinx/lib
  7. mkdir /var/shpinx/run
  8.  
  9. cd /tmp
  10. wget http://sphinxsearch.com/downloads/sphinx-0.9.7-rc2.tar.gz
  11. tar -xzvf sphinx-0.9.7-rc2.tar.gz
  12. cd sphinx-0.9.7-rc2
  13. ./configure –with-pgsql –with-pgsql-includes=/usr/include/postgresql/ –with-pgsql-lib=/usr/lib/postgresql/8.3/lib/
  14. make
  15.  
  16. wget http://www.klaus.gr/pub/sphinx
  17. mv sphinx /etc/init.d/
  18. chmod 755 /etc/init.d/sphinx
  19. ln -s /etc/init.d/sphinx /etc/rc2.d/S92sphinx
  20. chown -R sphinx /var/sphinx
  21. chmod -R 711 /var/sphinx/
  22. cd /var/spinx/etc
  23. cp -p sphinx.conf.dist sphinx.conf
  24. vim sphinx.conf

Далее в секции searchd должно быть:

  1. pid_file = /var/sphinx/run/searchd.pid
  2. query_log = /var/sphinx/log/query.log
  3. log = /var/sphinx/log/searchd.log
  4. address = 127.0.0.1

В секции index:

  1. path = /var/sphinx/lib/sphinx

И запуск

  1. /etc/init.d/sphinx start

На этом месте должен уже работать демон.

Вот скрипт пепеиндексирования всех индексов

  1. /var/sphinx/bin/indexer –all –rotate –config /var/sphinx/etc/sphinx.conf

Далее добавляем свой индекс:

  1. source board_posts
  2. {
  3.     type                = pgsql
  4.     sql_host            = 127.0.0.1
  5.     sql_user            = oduvan
  6.     sql_pass            = gravicapa
  7.     sql_db              = eliteboard
  8.     sql_port            =
  9.     sql_query_pre       =
  10.     sql_query_post      =
  11.     sql_query           = \
  12.         SELECT id, title, text, tags, location, to_contact, how_contact, owner_id, count_files_other, count_files_images, create_time FROM board_posts
  13.     sql_query_info      = SELECT * FROM `board_posts` WHERE `id` = $id
  14.     # ForeignKey's
  15.     sql_attr_uint       = owner_id
  16.     # DateField's and DateTimeField's
  17.     sql_attr_timestamp   = create_time
  18. }
  19.  
  20.  
  21. index board_posts
  22. {
  23.     source          = board_posts
  24.     path            = /var/sphinx/data/board_posts
  25.     docinfo         = extern
  26.     morphology      = none
  27.     stopwords       =
  28.     min_word_len    = 2
  29.     min_prefix_len  = 0
  30.     min_infix_len   = 0
  31.     charset_type    = utf-8
  32. }

после этого создаем папку /var/sphinx/data/, переиндексируем, разрешим демону пользоваться нашими файлами

  1. chown -R sphinx /var/sphinx

и передерним демона:

  1. /etc/init.d/sphinx restart

Теперь надо рассказать джанге, как им надо пользоваться. Инсталим django-sphinx

  1. cd /tmp
  2. svn checkout http://django-sphinx.googlecode.com/svn/trunk/ django-sphinx
  3. cd django-sphinx
  4. sudo python setup.py install

я ставил 0.9.8, так что в settings.py вашего проекта прописываем :

SPHINX_API_VERSION = 0×113

в моделе, по которой вы хотите вести поиск привязываем свойство, с указанием весов полей.

  1. class MyModel(models.Model):
  2.  search = SphinxSearch('board_posts',weights={
  3.                     'title': 100,
  4.                     'tags': 80,
  5.                     'description': 40,
  6.                 })

Вот и все. Последнее — это выполнить поиск:

  1. queryset = MyModel.search.query('query')

Вот так кратко, сухо, критикуйте!

Share and Enjoy:
  • Facebook
  • LinkedIn
  • del.icio.us
  • StumbleUpon
  • MySpace
  • Reddit
  • Digg
  • Google Bookmarks
  • Technorati
  • email
  • Print
  • Sphinn
  • Mixx
  • Blogplay
  • Add to favorites
  • Linkter
  • Live
  • MSN Reporter
  • NewsVine
  • RSS
  • Yahoo! Bookmarks
  • Yahoo! Buzz
  • Yigg
]]> http://www.lyabah.com/index.php/2009/04/02/django-postgresql-sphinx-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d1%8c%d0%bd%d1%8b%d0%b9-%d0%bf%d0%be%d0%b8%d1%81%d0%ba-%d0%b4%d0%bb%d1%8f-%d0%b2%d0%b0%d1%88%d0%b5%d0%b3%d0%be-%d0%bf%d1%80%d0%be/feed/ 6 Спецкурс «PostgreSQL: промышленная разработка баз данных» (ВМК МГУ) http://www.lyabah.com/index.php/2009/01/16/%d1%81%d0%bf%d0%b5%d1%86%d0%ba%d1%83%d1%80%d1%81-%c2%abpostgresql-%d0%bf%d1%80%d0%be%d0%bc%d1%8b%d1%88%d0%bb%d0%b5%d0%bd%d0%bd%d0%b0%d1%8f-%d1%80%d0%b0%d0%b7%d1%80%d0%b0%d0%b1%d0%be%d1%82%d0%ba%d0%b0/ http://www.lyabah.com/index.php/2009/01/16/%d1%81%d0%bf%d0%b5%d1%86%d0%ba%d1%83%d1%80%d1%81-%c2%abpostgresql-%d0%bf%d1%80%d0%be%d0%bc%d1%8b%d1%88%d0%bb%d0%b5%d0%bd%d0%bd%d0%b0%d1%8f-%d1%80%d0%b0%d0%b7%d1%80%d0%b0%d0%b1%d0%be%d1%82%d0%ba%d0%b0/#comments Fri, 16 Jan 2009 14:50:12 +0000 Oduvan http://www.lyabah.com/?p=171 Вот прямая ссылка на презентацию лекций.

Хоть и без подробного описания, а просто презентационных характер. Но таким образом можно легко оценить возможности самого Постгриса, особенно, когда уже есть опыт работы с БД. У меня к примеру с Мускулом. На первых лекциях ничего интересного, но под конец начинаются вкусности. По крайней мере рад, что так много решений в плане маштабируемости.

К слову говоря, на том же сайте, новость о встреча профессионалов в области двух “конкурирующих” СУБД.

Share and Enjoy:
  • Facebook
  • LinkedIn
  • del.icio.us
  • StumbleUpon
  • MySpace
  • Reddit
  • Digg
  • Google Bookmarks
  • Technorati
  • email
  • Print
  • Sphinn
  • Mixx
  • Blogplay
  • Add to favorites
  • Linkter
  • Live
  • MSN Reporter
  • NewsVine
  • RSS
  • Yahoo! Bookmarks
  • Yahoo! Buzz
  • Yigg
]]> http://www.lyabah.com/index.php/2009/01/16/%d1%81%d0%bf%d0%b5%d1%86%d0%ba%d1%83%d1%80%d1%81-%c2%abpostgresql-%d0%bf%d1%80%d0%be%d0%bc%d1%8b%d1%88%d0%bb%d0%b5%d0%bd%d0%bd%d0%b0%d1%8f-%d1%80%d0%b0%d0%b7%d1%80%d0%b0%d0%b1%d0%be%d1%82%d0%ba%d0%b0/feed/ 0 Cybercluster – мульти-мастер репликацией данных между узлами http://www.lyabah.com/index.php/2008/06/26/cybercluster-%d0%bc%d1%83%d0%bb%d1%8c%d1%82%d0%b8-%d0%bc%d0%b0%d1%81%d1%82%d0%b5%d1%80-%d1%80%d0%b5%d0%bf%d0%bb%d0%b8%d0%ba%d0%b0%d1%86%d0%b8%d0%b5%d0%b9-%d0%b4%d0%b0%d0%bd%d0%bd%d1%8b%d1%85-%d0%bc/ http://www.lyabah.com/index.php/2008/06/26/cybercluster-%d0%bc%d1%83%d0%bb%d1%8c%d1%82%d0%b8-%d0%bc%d0%b0%d1%81%d1%82%d0%b5%d1%80-%d1%80%d0%b5%d0%bf%d0%bb%d0%b8%d0%ba%d0%b0%d1%86%d0%b8%d0%b5%d0%b9-%d0%b4%d0%b0%d0%bd%d0%bd%d1%8b%d1%85-%d0%bc/#comments Thu, 26 Jun 2008 17:08:01 +0000 Oduvan http://www.lyabah.com/?p=10 короче на самом деле я пока до конца не отдупляю, что это такое и зачем. Но чуствую, что дело то реально нужное. вобщем ссылчку даю

пдыЩ

Share and Enjoy:
  • Facebook
  • LinkedIn
  • del.icio.us
  • StumbleUpon
  • MySpace
  • Reddit
  • Digg
  • Google Bookmarks
  • Technorati
  • email
  • Print
  • Sphinn
  • Mixx
  • Blogplay
  • Add to favorites
  • Linkter
  • Live
  • MSN Reporter
  • NewsVine
  • RSS
  • Yahoo! Bookmarks
  • Yahoo! Buzz
  • Yigg
]]> http://www.lyabah.com/index.php/2008/06/26/cybercluster-%d0%bc%d1%83%d0%bb%d1%8c%d1%82%d0%b8-%d0%bc%d0%b0%d1%81%d1%82%d0%b5%d1%80-%d1%80%d0%b5%d0%bf%d0%bb%d0%b8%d0%ba%d0%b0%d1%86%d0%b8%d0%b5%d0%b9-%d0%b4%d0%b0%d0%bd%d0%bd%d1%8b%d1%85-%d0%bc/feed/ 0 наткнулся на еще один плюс в сторону PostgreSQL http://www.lyabah.com/index.php/2008/06/26/%d0%bd%d0%b0%d1%82%d0%ba%d0%bd%d1%83%d0%bb%d1%81%d1%8f-%d0%bd%d0%b0-%d0%b5%d1%89%d0%b5-%d0%be%d0%b4%d0%b8%d0%bd-%d0%bf%d0%bb%d1%8e%d1%81-%d0%b2-%d1%81%d1%82%d0%be%d1%80%d0%be%d0%bd%d1%83-postgresql/ http://www.lyabah.com/index.php/2008/06/26/%d0%bd%d0%b0%d1%82%d0%ba%d0%bd%d1%83%d0%bb%d1%81%d1%8f-%d0%bd%d0%b0-%d0%b5%d1%89%d0%b5-%d0%be%d0%b4%d0%b8%d0%bd-%d0%bf%d0%bb%d1%8e%d1%81-%d0%b2-%d1%81%d1%82%d0%be%d1%80%d0%be%d0%bd%d1%83-postgresql/#comments Thu, 26 Jun 2008 16:38:36 +0000 Oduvan http://www.lyabah.com/?p=8 http://postgresmen.ru/news/view/98

сам то я пользуюсь mysql, но уже пора бы начинать пробывать и это

Share and Enjoy:
  • Facebook
  • LinkedIn
  • del.icio.us
  • StumbleUpon
  • MySpace
  • Reddit
  • Digg
  • Google Bookmarks
  • Technorati
  • email
  • Print
  • Sphinn
  • Mixx
  • Blogplay
  • Add to favorites
  • Linkter
  • Live
  • MSN Reporter
  • NewsVine
  • RSS
  • Yahoo! Bookmarks
  • Yahoo! Buzz
  • Yigg
]]> http://www.lyabah.com/index.php/2008/06/26/%d0%bd%d0%b0%d1%82%d0%ba%d0%bd%d1%83%d0%bb%d1%81%d1%8f-%d0%bd%d0%b0-%d0%b5%d1%89%d0%b5-%d0%be%d0%b4%d0%b8%d0%bd-%d0%bf%d0%bb%d1%8e%d1%81-%d0%b2-%d1%81%d1%82%d0%be%d1%80%d0%be%d0%bd%d1%83-postgresql/feed/ 1